LoRA와 QLoRA로 VRAM 부담 줄이기 – 미세조정(PEFT) 기술 #1
이번 글부터는 미세조정(Fine-tunning)에 대해 또 이야기를 해 보겠습니다. 최근 여러 가지 이유로 또다시 AI 모델을 다루고 있는데요, 이전에는 그냥 미세조정 모델을 실험해 봤다면 이번에는 조금 장기 기획으로 나만의 목표에 이르는 …
AI 모델 경량화를 위한 방법 – 지식 증류, 양자화, Pruning 비교 #2
오늘은 지난 글에서 다뤘던 지식 증류에 이어서 AI 모델 경량화 방법에 대해 살펴보겠습니다. 생성형 AI 모델의 생성과 성능 향상과 관련한 기술들 만큼이나 모델 경량화 기술 역시 큰 관심을 받고 있습니다. …
양자화로 LLM 모델의 경량화 방법 – Quantization #1
이번에는 양자화(Quantization) 기술에 대해 정리해 보겠습니다. 오픈 소스로 공개되는 인공지능 언어 모델이 점점 더 많이 등장하고 있지만, 이러한 모델들은 상당히 고사양일 수록 그 모델 사이즈도 상당히 거대한 경우가 많습니다. 이러한 …