LoRA와 QLoRA로 VRAM 부담 줄이기 – 미세조정(PEFT) 기술 #1
이번 글부터는 미세조정(Fine-tunning)에 대해 또 이야기를 해 보겠습니다. 최근 여러 가지 이유로 또다시 AI 모델을 다루고 있는데요, 이전에는 그냥 미세조정 모델을 실험해 봤다면 이번에는 조금 장기 기획으로 나만의 목표에 이르는 …
Qwen3-0.6B fine-tuning 단계별 실습 #2-1 한국어 글쓰기 모델 만들기
오늘은 파인튜닝(fine-tuning)을 다시한번 실행해 보도록 하겠습니다. 지난 번에는 Llama3.2 1b 모델을 기준으로 저사양 PC에서 8일이나 걸려서 진행해 봤죠. 물론, 그 때의 결과는 사실 그다지 좋지 못했어요. 로컬PC 사양으로 다시 실행할 …
AI 모델 경량화를 위한 방법 – 지식 증류, 양자화, Pruning 비교 #2
오늘은 지난 글에서 다뤘던 지식 증류에 이어서 AI 모델 경량화 방법에 대해 살펴보겠습니다. 생성형 AI 모델의 생성과 성능 향상과 관련한 기술들 만큼이나 모델 경량화 기술 역시 큰 관심을 받고 있습니다. …
지식 증류(Knowledge Distillation) – AI 모델 경량화를 위한 방법 #1
오늘부터는 지식 증류(Knowledge Distillation)에 대해서 다뤄보도록 하겠습니다. 지금까지 파인튜닝(Fine-tuning)이나 강화학습(Reinforcement Learning)에 대해 몇 번 다뤄봤지만, 지식 증류에 대해서는 처음 다뤄보게 되겠습니다. 지식 증류(Knowledge Distillation) 최근 대규모 인공지능 모델(Large Language Models, …
Llamafile vs. Ollama – LLM 실행과 모델 배포를 위한 최적의 선택 #1
LLM 모델을 실행하는 모듈이라면 Ollama 플랫폼이 유명하죠. 물론, 우리도 여러 차례 다양한 주제로 Ollama를 사용해 보기도 했고요. 최근 들어 LLM 모델을 더 효율적으로 배포하고 활용할 수 있도록 하는 다양한 도구들이 …