소형 언어 모델로 한국어 AI 만들기 – 생성형 AI 만들기 #2
지난 글에서는 한국어 AI를 구축하기 위해서, HyperCLOVA의 토크나이저를 GPT-2 Medium 모델에 이식하는 과정을 정리해 봤어요. 한국어에 특화된 토크나이저를 적용함으로써 한국어 문장 구성에 대한 학습 효과를 높이려는 시도였죠. 오늘은 그 실험 …
AI 모델 경량화를 위한 방법 – 지식 증류, 양자화, Pruning 비교 #2
오늘은 지난 글에서 다뤘던 지식 증류에 이어서 AI 모델 경량화 방법에 대해 살펴보겠습니다. 생성형 AI 모델의 생성과 성능 향상과 관련한 기술들 만큼이나 모델 경량화 기술 역시 큰 관심을 받고 있습니다. …
지식 증류(Knowledge Distillation) – AI 모델 경량화를 위한 방법 #1
오늘부터는 지식 증류(Knowledge Distillation)에 대해서 다뤄보도록 하겠습니다. 지금까지 파인튜닝(Fine-tuning)이나 강화학습(Reinforcement Learning)에 대해 몇 번 다뤄봤지만, 지식 증류에 대해서는 처음 다뤄보게 되겠습니다. 지식 증류(Knowledge Distillation) 최근 대규모 인공지능 모델(Large Language Models, …