HyperCLOVA의 Tokenizer로 한국어 AI 생성하기 – 생성형 AI 만들기 #1
그동안 대형 언어 모델, Tokenizer는 물론, AI (인공지능) 기술과 관련하여 다양한 이야기를 해 왔습니다. 이제부터는 지금까지 다뤄본 기술들을 기반으로 실제 나만의 생성형 AI 모델을 만들어 보고자 합니다. 개인 프로젝트다 보니 …
LoRA와 QLoRA로 VRAM 부담 줄이기 – 미세조정(PEFT) 기술 #1
이번 글부터는 미세조정(Fine-tunning)에 대해 또 이야기를 해 보겠습니다. 최근 여러 가지 이유로 또다시 AI 모델을 다루고 있는데요, 이전에는 그냥 미세조정 모델을 실험해 봤다면 이번에는 조금 장기 기획으로 나만의 목표에 이르는 …
Qwen3-0.6B fine-tuning 단계별 실습 #2-1 한국어 글쓰기 모델 만들기
오늘은 파인튜닝(fine-tuning)을 다시한번 실행해 보도록 하겠습니다. 지난 번에는 Llama3.2 1b 모델을 기준으로 저사양 PC에서 8일이나 걸려서 진행해 봤죠. 물론, 그 때의 결과는 사실 그다지 좋지 못했어요. 로컬PC 사양으로 다시 실행할 …
파이썬 Transformer(트랜스포머) #1 – 감정 분석부터 Self-Attention
자연어 처리(NLP)는 인간의 언어를 기계가 이해하고 생성하는 기술로, Transformer(트랜스포머) 모델의 등장은 이런 자연어 처리 기술을 매우 고도화할 수 있게 만들었어요.이번 글에서는 Transformer의 이론적 배경, 핵심 구성 요소, Hugging Face 플랫폼과의 …
파인 튜닝(llama fine tuning) 방법 #3 – 저사양 PC도 가능한 파인 튜닝
지금까지 라마 파인 튜닝을 위한 모델을 찾았고, 이 모델이 정상 작동하는지 확인하기 위한 방법으로 Ollama 플랫폼으로 생성하여 Docker를 통해 질문과 답변을 받아 보는 방식 등을 확인해 봤습니다. 또, 파인 튜닝에 …