온디바이스 AI와 클라우드 컴퓨팅 한계 – 실시간 인공지능 트렌드 #1
최근 기술 트렌드 관련 소식을 보다 보면 온디바이스(On-Device)라는 말을 자주 접하게 됩니다. 언 듯 생각하면, 서버와 클라이언트 관계에서 ‘다시 클라이언트 중심의 생태계로 가는 걸까?’라는 생각을 하게 됩니다. 그런 의미로 오늘은 …
Llamafile vs. Ollama – LLM 실행과 모델 배포를 위한 최적의 선택 #1
LLM 모델을 실행하는 모듈이라면 Ollama 플랫폼이 유명하죠. 물론, 우리도 여러 차례 다양한 주제로 Ollama를 사용해 보기도 했고요. 최근 들어 LLM 모델을 더 효율적으로 배포하고 활용할 수 있도록 하는 다양한 도구들이 …
Google AI Gemini API 무료 사용 방법과 OpenAI와 차이점 #1
이번에는 Google AI, Gemini API에 대해 살펴보겠습니다. 물론, 지금까지 OpenAI API와 관련하여 여러가지를 다뤄봤으므로 이후 계속해서 Gemini API와 어떤 차이가 있고 어떤 특징들이 있는지 이 둘을 비교하며 정리해 보겠습니다. Google …
머신러닝과 딥러닝 차이, 파이썬 인공지능 기초 개념 #1
오늘은 머신러닝과 딥러닝에 대해 정리해 보겠습니다. 인공지능 기술 중 가장 잘 알려진 챗GPT와 같은 생성형 AI를 포함하여 이러한 인공지능 기술의 핵심 중의 핵심, 기본 중의 기본이 되는 머신러닝과 딥러닝에 대해 …
양자화로 LLM 모델의 경량화 방법 – Quantization #1
이번에는 양자화(Quantization) 기술에 대해 정리해 보겠습니다. 오픈 소스로 공개되는 인공지능 언어 모델이 점점 더 많이 등장하고 있지만, 이러한 모델들은 상당히 고사양일 수록 그 모델 사이즈도 상당히 거대한 경우가 많습니다. 이러한 …