LoRA와 QLoRA로 VRAM 부담 줄이기 – 미세조정(PEFT) 기술 #1
이번 글부터는 미세조정(Fine-tunning)에 대해 또 이야기를 해 보겠습니다. 최근 여러 가지 이유로 또다시 AI 모델을 다루고 있는데요, 이전에는 그냥 미세조정 모델을 실험해 봤다면 이번에는 조금 장기 기획으로 나만의 목표에 이르는 …
Llamafile vs. Ollama – LLM 실행과 모델 배포를 위한 최적의 선택 #1
LLM 모델을 실행하는 모듈이라면 Ollama 플랫폼이 유명하죠. 물론, 우리도 여러 차례 다양한 주제로 Ollama를 사용해 보기도 했고요. 최근 들어 LLM 모델을 더 효율적으로 배포하고 활용할 수 있도록 하는 다양한 도구들이 …
양자화로 LLM 모델의 경량화 방법 – Quantization #1
이번에는 양자화(Quantization) 기술에 대해 정리해 보겠습니다. 오픈 소스로 공개되는 인공지능 언어 모델이 점점 더 많이 등장하고 있지만, 이러한 모델들은 상당히 고사양일 수록 그 모델 사이즈도 상당히 거대한 경우가 많습니다. 이러한 …
OpenAI의 GPT-4.5 발표. 왜 지금일까? AI 시장의 경쟁와 동향
미국 시간으로 2025년 2월 27일, Openai는 GPT의 최신 모델 GPT-4.5를 발표했습니다. 2023년 GPT-4가 발표된 이후 거의 매년 업그레이드된 모델을 발표하고 있습니다. OpenAI의 GPT-4.5 발표. 왜 지금일까? GPT-4.5, 어떤 변화가 있을까? …
생성형 인공지능의 진화, RAG 기술이 주는 실시간 정보 #104
오늘은 RAG(검색 증강 생성: Retrieval-Augmented Generation) 기술에 대해 이야기해 보겠습니다. 저희 블로그에서는 Meta의 라마(llama) 모델을 주제로 여러 이야기를 해왔는데요, 항상 아쉬운 것은 라마 모델은 학습된 데이터만을 사용하기 때문에 최근 정보와 …