SentencePiece 토크나이저 정의와 HF 래핑 – 나만의 모델 만들기 #3
오늘은 오랜만에 다시 “나만의 한국어 AI 만들기”의 3번째 이야기로 SentencePiece 토크나이저를 정의하고 Hugging face 라이브러리로 wrapping하는 방법까지 살펴 보겠습니다. 나만의 AI 만들기 프로젝트는 지난 7월 초에 시작했어요. 오늘이 9월 3일인데, …
파이썬 Transformer(트랜스포머) #1 – 감정 분석부터 Self-Attention
자연어 처리(NLP)는 인간의 언어를 기계가 이해하고 생성하는 기술로, Transformer(트랜스포머) 모델의 등장은 이런 자연어 처리 기술을 매우 고도화할 수 있게 만들었어요.이번 글에서는 Transformer의 이론적 배경, 핵심 구성 요소, Hugging Face 플랫폼과의 …
Llama3.1 (Ollama)과 Python Flask로 나만의 웹UI 만들기
이번 글에서는 지난 번에 이어서 llama3.1과 메시지를 주고 받는 방법으로 UI를 어떻게 하면 더 편리하게, 더 개별적으로 만드는 방법에 대해 살펴보려 합니다. 오늘은 파이썬을 이용하여 직접적으로 UI를 만들어 보도록 하겠습니다. …