Corpus(말뭉치) 준비와 데이터 전처리 – 한국어 AI 모델 만들기 #2
오늘은 나만의 한국어 AI 모델 만들기 두 번째 이야기로, 한국어 학습을 위한 가장 기본적인 Corpus(말뭉치)에 대해 정리하겠습니다. 최근 인공지능(AI)이 사람처럼 글을 쓰고, 질문에 답하고, 번역까지 하는 모습을 자주 보게 됩니다. …
오늘은 나만의 한국어 AI 모델 만들기 두 번째 이야기로, 한국어 학습을 위한 가장 기본적인 Corpus(말뭉치)에 대해 정리하겠습니다. 최근 인공지능(AI)이 사람처럼 글을 쓰고, 질문에 답하고, 번역까지 하는 모습을 자주 보게 됩니다. …
오늘부터는 지식 증류(Knowledge Distillation)에 대해서 다뤄보도록 하겠습니다. 지금까지 파인튜닝(Fine-tuning)이나 강화학습(Reinforcement Learning)에 대해 몇 번 다뤄봤지만, 지식 증류에 대해서는 처음 다뤄보게 되겠습니다. 지식 증류(Knowledge Distillation) 최근 대규모 인공지능 모델(Large Language Models, …
최근 기술 트렌드 관련 소식을 보다 보면 온디바이스(On-Device)라는 말을 자주 접하게 됩니다. 언 듯 생각하면, 서버와 클라이언트 관계에서 ‘다시 클라이언트 중심의 생태계로 가는 걸까?’라는 생각을 하게 됩니다. 그런 의미로 오늘은 …
이번에는 Google AI, Gemini API에 대해 살펴보겠습니다. 물론, 지금까지 OpenAI API와 관련하여 여러가지를 다뤄봤으므로 이후 계속해서 Gemini API와 어떤 차이가 있고 어떤 특징들이 있는지 이 둘을 비교하며 정리해 보겠습니다. Google …
AI 글쓰기와 관련하여 최근 나온 심박한 뉴스는 AI를 이용해서 자기소개서나 면접을 봐서 기업에 부정 합격했다는 뉴스라고 생각해요. 물론 아직 국내 보다는 해외 이슈가 더 많은 것 같기는 합니다만, 개인적으로 이런 …