GPT-5 모델 업그레이드, 성능 벤치마크, GPT-4o/4.5 비교
드디어 GPT-5가 오픈되었네요. 작년부터 나온다 안나온다 하다가 느닥없이 GPT-4.5가 나오곤 했는데요, 드디어 우리나라에도 8월 8일 새벽에 오픈되었습니다. 이번 글에서는 새롭게 등작한 GPT-5가 기존 GPT 버전과 무엇이 다른지 간단하게 정리해 보도록 …
Corpus(말뭉치) 준비와 데이터 전처리 – 한국어 AI 모델 만들기 #2
오늘은 나만의 한국어 AI 모델 만들기 두 번째 이야기로, 한국어 학습을 위한 가장 기본적인 Corpus(말뭉치)에 대해 정리하겠습니다. 최근 인공지능(AI)이 사람처럼 글을 쓰고, 질문에 답하고, 번역까지 하는 모습을 자주 보게 됩니다. …
나만의 한국어 AI 모델 만들기 #1 – SentencePiece와 GPT-2 토크나이저
오늘은 나만의 한국어 AI 모델 만들기의 첫 번째 이야기로 자연어 처리의 기본이 되는 토크나이저(tokenizer)에 대해 이야기해 보겠습니다. 영어를 기본으로 다루는 BPE와 보다 더 다양한 언어에 적합한 sentenepiece에 대해 정리해 보려 …
소형 언어 모델로 한국어 AI 만들기 – 생성형 AI 만들기 #2
지난 글에서는 한국어 AI를 구축하기 위해서, HyperCLOVA의 토크나이저를 GPT-2 Medium 모델에 이식하는 과정을 정리해 봤어요. 한국어에 특화된 토크나이저를 적용함으로써 한국어 문장 구성에 대한 학습 효과를 높이려는 시도였죠. 오늘은 그 실험 …
HyperCLOVA의 Tokenizer로 한국어 AI 생성하기 – 생성형 AI 만들기 #1
그동안 대형 언어 모델, Tokenizer는 물론, AI (인공지능) 기술과 관련하여 다양한 이야기를 해 왔습니다. 이제부터는 지금까지 다뤄본 기술들을 기반으로 실제 나만의 생성형 AI 모델을 만들어 보고자 합니다. 개인 프로젝트다 보니 …