Corpus(말뭉치) 준비와 데이터 전처리 – 한국어 AI 모델 만들기 #2
오늘은 나만의 한국어 AI 모델 만들기 두 번째 이야기로, 한국어 학습을 위한 가장 기본적인 Corpus(말뭉치)에 대해 정리하겠습니다. 최근 인공지능(AI)이 사람처럼 글을 쓰고, 질문에 답하고, 번역까지 하는 모습을 자주 보게 됩니다. …
HyperCLOVA의 Tokenizer로 한국어 AI 생성하기 – 생성형 AI 만들기 #1
그동안 대형 언어 모델, Tokenizer는 물론, AI (인공지능) 기술과 관련하여 다양한 이야기를 해 왔습니다. 이제부터는 지금까지 다뤄본 기술들을 기반으로 실제 나만의 생성형 AI 모델을 만들어 보고자 합니다. 개인 프로젝트다 보니 …
Llama 3.2 3b 와 Llama 3.1 8b 비교, 변화와 성능 차이
며칠 전 Meta에서 Llama 3.2를 발표했습니다. Llama 3.1을 발표한지 얼마 되지도 않았는데, 또 다른 버전이 발표했습니다. Meta가 상당히 적극적으로 움직이고 있는 모양새입니다. 이번 발표한 Llama3.2는 어떤 변화가 있는지 알아보고 발표된 …
랭체인(LangChain)으로 Llama 3.1의 능력 향상하기 – 2nd
랭체인(LangChain)으로 라마(llama 3.1)의 능력을 높이는 방법, 오늘은 그 두 번째 이야기로, 프롬프트 체이닝 (Prompt Chaining)에 대해 설명해 보고자 합니다. 랭체인(LangChain)으로 Llama 3.1의 능력 향상하기 지난 글에서는 랭체인을 이용하여 라마와 주고 …