목차
지난 글에서 Ollama 플랫폼에 대해 알아봤습니다. Ollama에서 다루는 인공지능 언어 모델 중 라마 3.1에 대해서도 간단하게 정리했었는데요, 이번` 글에서는 이 Meta의 Llama 3.1을 설치하고 간단한 메시지를 주고받는 것 까지 진행해 보겠습니다.
Ollama 플랫폼을 이용한 Llama 3.1 설치
지난 7월 23일 Meta는 최신 인공지능 언어 모델 라마 3.1 (Llama)을 공개했습니다. 총 3개지 버전으로 가장 높은 성능의 405b와 70b, 그리고 작지만 빠른 8b 버전을 홈페이지를 통해 공개했어요.
위 홈페이지에서 라마 3.1을 직접 다운로드할 수도 있습니다만, 설치가 더 편리한 Ollama를 통해 다운 및 설치해 보려 합니다. Ollama의 특징과 사용하는 이유에 대해서는 바로 전 글에서 정리했으므로, 여기에서는 생략하고 바로 설치 과정으로 넘어 가겠습니다.
설치 1. Ollama 플랫폼
라마를 설치 전 먼저 Ollama를 다운 및 설치해야 합니다. Ollama 홈페이지에 접속하여 “Download”를 클릭합니다.
자신의 OS를 선택하고 다운로드를 진행 합니다. 저는 윈도우를 선택하고 다운로드를 눌러 설치 파일을 다운로드 받습니다.
다운로드한 설치 파일을 실행합니다. “Install”을 클릭하여 설치를 진행합니다.
설치가 완료되면 별다른 화면은 없고 우측 작업 표시 줄에 설치 완료 창이 나타나고 곧 사라집니다.
설치 2. 라마 3.1 (Llama3.1)
먼저 Ollama에서 설치 가능한 라마 3.1 모델과 버전을 확인합니다. Ollama 홈페이지에서 Model 메뉴를 선택하여 이동합니다.
llama3.1 모델을 선택합니다.
앞서 얘기한 바와 같이 llama3.1에는 총 3가지 버전이 있습니다. 대형 서버가 아닌 PC에 설치하므로 가장 용량이 작은 8b를 선택합니다.
우측 중앙에 나타나는 command를 확인하세요.
llama 3.1 버전의 8b를 선택했으므로, ollama를 이용하여 llama3.1을 설치할 때의 명령어는 다음과 같습니다.
ollama run llama3.1:8b
이제 cmd를 열고 위 명령어를 입력합니다.
제 PC는 5년 전 조립한 보급형 PC임에도 4.7기가바이트를 다운로드 하고 설치하는 데에는 오래 걸리지 않았습니다. 최신 게임용 PC나 고성능 맥북에서는 더 빠르게 설치될 것 같네요.
설치가 완료되면 “Send a message” 위에 커서가 깜빡입니다. 아래 그림처럼 “너 자신을 소개해줘”라고 입력했습니다.
라마의 대답은 아래와 같습니다.
자신을 소개합니다.
내이름은 LLaMa, Llama는 Large Language Model Meta AI의 약자인데요.
나는 인공지능이며 언어 처리에 특화된 모델입니다.
내가 이해하고 응답할 수 있는 주제와 형식에는 제한이 있지만, 대화를 시작하는 것에서부터 미리 작성된 텍스트를 생성하거나 설명서를 만들기까지 다양한 작업을 수행할 수 있습니다.
현재의 자식과 정보는 2021년 6월에 정확히 기록되었으며, 이후 발생한 뉴스와 사건들은 알려지지 않은 상태입니다.
지난 번 라마 3.0 버전에서는 한글 사용할 수 없었는데, 이번 버전에서는 한글 사용이 가능해 진 것 같아요. 한 두개 오류가 있어 보이지만, 크게 눈에 거슬리는 것은 없고 꽤 한글을 잘 사용하고 있는 모습이에요.
자, 여기까지 메타의 라마 3.1을 설치하고 살짝 사용해 봤습니다. 다른 무엇보다 직관적으로 챗GPT와 다른 점은 UI의 불편함 같죠? 다음 글에서는 UI 부분을 어떻게 빠르게 개선해 보는지 가능하면 챗GPT의 UI와 비슷하게 하려면 어떻게 할 수 있는 지에 대해 알아보겠습니다.