나만의 한국어 AI 모델 만들기 #1 – SentencePiece와 GPT-2 토크나이저
오늘은 나만의 한국어 AI 모델 만들기의 첫 번째 이야기로 자연어 처리의 기본이 되는 토크나이저(tokenizer)에 대해 이야기해 보겠습니다. 영어를 기본으로 다루는 BPE와 보다 더 다양한 언어에 적합한 sentenepiece에 대해 정리해 보려 …
AI 글쓰기의 한계 #1 – 왜 GPT는 사람처럼 글을 못 쓸까?
AI 글쓰기와 관련하여 최근 나온 심박한 뉴스는 AI를 이용해서 자기소개서나 면접을 봐서 기업에 부정 합격했다는 뉴스라고 생각해요. 물론 아직 국내 보다는 해외 이슈가 더 많은 것 같기는 합니다만, 개인적으로 이런 …