Ollama

로컬 LLM 실행 도구 Ollama의 설치와 활용.

로컬 LLM 실행 도구 Ollama의 설치와 활용.

3 posts · 아카이브에서 필터로 보기

[Repo Review] llmfit 코드 리뷰: 내 하드웨어에 맞는 로컬 LLM을 어떻게 추천할까

들어가며 로컬에서 Large Language Model(LLM)을 실행할 때 모델의 파라미터 수만으로는 적합성을 판단하기 어렵습니다. 같은 모델도 양자화 방식, GPU 메모리, 실행 runtime, context 길이에 따라 필요한 메모리와 생성 속도가 달라집니다. 모델을 내려받은 뒤에야 이러한 차이를 발견하면 상당한 시간과 저장 공간을 소비하게 됩...

[가이드] Ollama + LangChain 실전 가이드 - ChatOllama 사용하기

이전 포스트에서는 Python 코드에서 Ollama 명령어를 활용하여 로컬에서 LLM을 호출하는 방법을 알아보았습니다. [이전 포스트 보러가기](https://velog.io/@euisuk-chung/%EA%B0%80%EC%9D%B4%EB%93%9C-Python%EC%97%90%EC%84%9C-Ollama-%EC%82%AC%EC%9A%A9...

[가이드] Python에서 Ollama 사용하기: 설치부터 AI 에이전트 만들기

🌟 개요 Ollama는 로컬 환경에서 대규모 언어 모델(LLM, Large Language Model)을 간단히 실행하고 Python 프로젝트에 통합할 수 있도록 도와주는 프레임워크입니다. 해당 포스트에서는 Ollama의 설치 방법부터 Python SDK 사용법, 실제 활용 예제(챗봇 구현, 자동화 에이전트 개발)까지 단계별로 살펴봅니다. (사용...