Corpus(말뭉치) 준비와 데이터 전처리 – 한국어 AI 모델 만들기 #2
오늘은 나만의 한국어 AI 모델 만들기 두 번째 이야기로, 한국어 학습을 위한 가장 기본적인 Corpus(말뭉치)에 대해 정리하겠습니다. 최근 인공지능(AI)이 사람처럼 글을 쓰고, 질문에 답하고, 번역까지 하는 모습을 자주 보게 됩니다. …
나만의 한국어 AI 모델 만들기 #1 – SentencePiece와 GPT-2 토크나이저
오늘은 나만의 한국어 AI 모델 만들기의 첫 번째 이야기로 자연어 처리의 기본이 되는 토크나이저(tokenizer)에 대해 이야기해 보겠습니다. 영어를 기본으로 다루는 BPE와 보다 더 다양한 언어에 적합한 sentenepiece에 대해 정리해 보려 …
LangChain으로 Llama 3.1 AI 모델의 자연어 처리 능력 향상하기
오늘은 LangChain을 이용해서 llama 3.1의 부족한 부분을 보완하는 기능을 구현해 보도록 하겠습니다. 물론, LangChain의 개념과 특징에 대해서도 당연히 정리해 보도록 하겠습니다. LangChain과 Llama 3.1 Meta의 Llama 3.1이 발표된 후 우리는 …
Ollama로 Meta의 Llama 3.1 설치하기. AI 언어 모델 활용법
지난 글에서 Ollama 플랫폼에 대해 알아봤습니다. Ollama에서 다루는 인공지능 언어 모델 중 라마 3.1에 대해서도 간단하게 정리했었는데요, 이번` 글에서는 이 Meta의 Llama 3.1을 설치하고 간단한 메시지를 주고받는 것 까지 진행해 …
Ollama를 통해 알아보는 최신 인공지능 언어 모델, Llama 3.1 등
이번 글에서는 최근 급속도로 발전하고 있는 인공지능 언어 기술 중 관련 모델들을 쉽게 설치하고 실행할 수 있도록 도와주는 플랫폼인 Ollama에 대해 간단히 요약해 보고, Ollama에서 다루고 있는 인공지능 언어 모델들은 …