나만의 한국어 AI 모델 만들기 #1 – SentencePiece와 GPT-2 토크나이저
오늘은 나만의 한국어 AI 모델 만들기의 첫 번째 이야기로 자연어 처리의 기본이 되는 토크나이저(tokenizer)에 대해 이야기해 보겠습니다. 영어를 기본으로 다루는 BPE와 보다 더 다양한 언어에 적합한 sentenepiece에 대해 정리해 보려 …
오늘은 나만의 한국어 AI 모델 만들기의 첫 번째 이야기로 자연어 처리의 기본이 되는 토크나이저(tokenizer)에 대해 이야기해 보겠습니다. 영어를 기본으로 다루는 BPE와 보다 더 다양한 언어에 적합한 sentenepiece에 대해 정리해 보려 …
오늘은 최근 공개됐던 OpenAI Codex cli를 다뤄볼게요. Ai Agent와 별개로 공개되며 뭔가 매우 자율적으로 결과를 제시할 것으로 기대를 모았던 도구였습니다. 기본적인 개념과 설치 방법을 정리하고 마지막에는 간단하게 실행 결과까지 확인해 …
이번에는 지난번 OpenAI API와 Gemini API의 차이점에 이어서 실제로 API를 이용하여 Gemini AI 모델이 사용자의 꿈을 해석해 주는 웹앱을 직접 만들어보는 과정을 코드와 함께 소개해 볼게요. Gemini API를 사용한 꿈 …
이번에는 Google AI, Gemini API에 대해 살펴보겠습니다. 물론, 지금까지 OpenAI API와 관련하여 여러가지를 다뤄봤으므로 이후 계속해서 Gemini API와 어떤 차이가 있고 어떤 특징들이 있는지 이 둘을 비교하며 정리해 보겠습니다. Google …
AI 글쓰기와 관련하여 최근 나온 심박한 뉴스는 AI를 이용해서 자기소개서나 면접을 봐서 기업에 부정 합격했다는 뉴스라고 생각해요. 물론 아직 국내 보다는 해외 이슈가 더 많은 것 같기는 합니다만, 개인적으로 이런 …