양자화로 LLM 모델의 경량화 방법 – Quantization #1
이번에는 양자화(Quantization) 기술에 대해 정리해 보겠습니다. 오픈 소스로 공개되는 인공지능 언어 모델이 점점 더 많이 등장하고 있지만, 이러한 모델들은 상당히 고사양일 수록 그 모델 사이즈도 상당히 거대한 경우가 많습니다. 이러한 …
이번에는 양자화(Quantization) 기술에 대해 정리해 보겠습니다. 오픈 소스로 공개되는 인공지능 언어 모델이 점점 더 많이 등장하고 있지만, 이러한 모델들은 상당히 고사양일 수록 그 모델 사이즈도 상당히 거대한 경우가 많습니다. 이러한 …
최근 생성형 인공지능과 관련하여 AI Agent(인공지능 에이전트)라는 단어가 자주 등장하고 있습니다. 이는 사용자의 요청을 받아서 내용을 분석 및 판단하여 스스로 적절한 작업을 수행하는 인공지능이라 할 수 있습니다. 즉, 진정한 개인 …
최근에도 Openai의 GPT를 긴장하게 만드는 새로운 인공지능 모델이 속속 출현하고 있습니다. 오늘은 일론 머스크의 인공지능 스타트업 xAI의 Grok3 모델과 중국의 DeepSeek-R1의 기술적 차이점과 의미를 분석하여 정리해 보겠습니다. DeepSeek-R1과 Grok3의 차이점 …
오늘은 지난 글에 이어서 최근 이슈가 되고 있는 DeepSeek-R1 (딥씨크) 모델에 대해서 기존 생성형 인공지능 AI과 무엇이 다른 것인지, 어떤 특징을 갖고 있는 것인지, 그리고 이러한 차이점이 기존 생성형 인공지능 …
오늘은 RAG(검색 증강 생성: Retrieval-Augmented Generation) 기술에 대해 이야기해 보겠습니다. 저희 블로그에서는 Meta의 라마(llama) 모델을 주제로 여러 이야기를 해왔는데요, 항상 아쉬운 것은 라마 모델은 학습된 데이터만을 사용하기 때문에 최근 정보와 …