AI 모델 경량화를 위한 방법 – 지식 증류, 양자화, Pruning 비교 #2
오늘은 지난 글에서 다뤘던 지식 증류에 이어서 AI 모델 경량화 방법에 대해 살펴보겠습니다. 생성형 AI 모델의 생성과 성능 향상과 관련한 기술들 만큼이나 모델 경량화 기술 역시 큰 관심을 받고 있습니다. …
지식 증류(Knowledge Distillation) – AI 모델 경량화를 위한 방법 #1
오늘부터는 지식 증류(Knowledge Distillation)에 대해서 다뤄보도록 하겠습니다. 지금까지 파인튜닝(Fine-tuning)이나 강화학습(Reinforcement Learning)에 대해 몇 번 다뤄봤지만, 지식 증류에 대해서는 처음 다뤄보게 되겠습니다. 지식 증류(Knowledge Distillation) 최근 대규모 인공지능 모델(Large Language Models, …
DeepSeek-R1이 생성형 AI에 미치는 영향. 강화학습만으로 가능?
오늘은 지난 글에 이어서 최근 이슈가 되고 있는 DeepSeek-R1 (딥씨크) 모델에 대해서 기존 생성형 인공지능 AI과 무엇이 다른 것인지, 어떤 특징을 갖고 있는 것인지, 그리고 이러한 차이점이 기존 생성형 인공지능 …