1
2
# Linux
curl -sS https://ollama.ai/install.sh | bash

1
ollama pull exaone3.5:7.8b

1
ollama run exaone3.5:7.8b

1
pip install ollama

1
2
3
4
import ollama

result = ollama.generate(model='exaone3.5:7.8b', prompt='우주는 왜 어두운가요?')
print(result['response'])

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import ollama

model_name = 'exaone3.5:7.8b'
messages = [
    {"role": "system", "content": "당신은 친절한 인공지능 어시스턴트입니다."},
    {"role": "user", "content": "안녕하세요!"},
]

response = ollama.chat(model=model_name, messages=messages)
print("Bot:", response.message.content)

while True:
    user_input = input("You: ")
    if not user_input:
        break
    messages.append({"role": "user", "content": user_input})
    response = ollama.chat(model=model_name, messages=messages)
    answer = response.message.content
    print("Bot:", answer)
    messages.append({"role": "assistant", "content": answer})

1
$ python chatSLM.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
Bot: 안녕하세요! 👋  어떻게 도와드릴까요? 무엇이 궁금하신가요? 😄

You: 안녕! 반가워  
Bot: 안녕하세요! 👋  환영합니다! 무엇을 도와드릴까요? 😊  
     어떤 주제에 대해 이야기하고 싶으신가요? 🗣️
     
You: 스콜이 뭐야?  
Bot: "스콜"이라는 용어가 문맥에 따라 조금 다를 수 있지만,  
     주로 두 가지 의미로 이해될 수 있습니다:

     1. **동물**: 스콜은 아프리카와 아시아 일부 지역에 서식하는  
        작은 포식자 동물로, 종종 "작은 고양이"라고 불리며  
        정확한 학명은 _Felis serval_입니다.

     2. **언어/속어**: 특정 지역에서 쓰이는 속어나 별칭일 수도 있습니다.  
        구체적인 맥락이 있다면 더 정확히 설명해 드릴 수 있어요.

You: 비 엄청 오는 것도 스콜 아닌가?  
Bot: 맞아요! 🌧️ "스콜"은 특히 **짧고 강렬한 집중 호우**를 가리키는 말로도 자주 사용됩니다.

     아프리카 열대 기후에서 흔히 볼 수 있는 현상으로,  
     갑자기 시작되어 몇 분에서 몇 시간 동안 굉장히 세게 쏟아지다가  
     급작스럽게 멈추는 특성을 가지고 있습니다.  

     이런 특징적인 날씨 현상을 설명할 때 "스콜"이라는 단어가 쓰입니다! 👍

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import ollama

text = '''
Ollama는 대규모 언어 모델(LLM)을 로컬에서 직접 실행할 수 있도록 도와주는 오픈소스 도구입니다.
이를 통해 사용자는 인터넷 연결 없이도 고성능 언어 모델을 실행할 수 있으며,
외부 API 호출 없이 텍스트 생성, 문서 요약, 질문 응답 등의 다양한 자연어 처리(NLP) 작업을 수행할 수 있습니다.
특히, 민감한 데이터를 다루는 환경에서는 데이터 프라이버시를 보장할 수 있고,
클라우드 기반 요금 부담 없이 자원의 효율적 사용이 가능해 비용 절감에도 큰 도움이 됩니다.
Ollama는 다양한 오픈소스 모델을 지원하며, 명령줄 인터페이스(CLI) 및 Python SDK를 통해 손쉽게 통합할 수 있습니다.
'''

prompt = f"""
다음 텍스트를 한 문장으로 요약해 주세요:
\"\"\"\n{text}\n\"\"\"
"""

result = ollama.generate(model='exaone3.5:7.8b', prompt=prompt)
print("Summary:", result['response'])

1
2
3
4
5
6
7
import ollama

code_prompt = "숫자가 소수(Prime Number)인지 확인하는 코드 작성해줘"

response = ollama.generate(model='exaone3.5:7.8b', prompt=code_prompt)

print(response['response'])

1
2
3
def add_two_numbers(a: int, b: int) -> int:
    """두 숫자를 더해 반환합니다."""
    return a + b

1
2
3
4
5
6
7
8
9
system_message = {
    "role": "system", 
    "content": "당신은 수학 계산을 도와주는 AI입니다. 필요시 'add_two_numbers' 함수를 호출해 계산하세요."
}
user_message = {
    "role": "user", 
    "content": "10 + 10은 얼마인가요?"
}
messages = [system_message, user_message]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
model='exaone3.5:7.8b'

response = ollama.chat(
    model=model, 
    messages=messages,
    tools=[add_two_numbers]
)

if response.message.tool_calls:
    for tool_call in response.message.tool_calls:
        func_name = tool_call.function.name
        args = tool_call.function.arguments
        if func_name == "add_two_numbers":
            result = add_two_numbers(**args)
            print("Function output:", result)
            messages.append({"role": "assistant", "content": f"The result is {result}."})
            follow_up = ollama.chat(model=model, messages=messages)
            print("Assistant (final):", follow_up.message.content)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import ollama

model_name = 'llama3.1:8b'

response = ollama.chat(
    model= model_name,
    messages=messages,
    tools=[add_two_numbers]
)

if response.message.tool_calls:
    for tool_call in response.message.tool_calls:
        func_name = tool_call.function.name
        args = tool_call.function.arguments
        if func_name == "add_two_numbers":
            result = add_two_numbers(**args)
            print("Function output:", result)
            messages.append({"role": "assistant", "content": f"The result is {result}."})
            follow_up = ollama.chat(model=model_name, messages=messages)
            print("Assistant (final):", follow_up.message.content)

1
2
3
4
5
6
7
8
9
10
11
12
13
[User Message] ──▶  [LLM: I want to call add_two_numbers(10, 10)]
                         │
                         ▼
                     [SDK detects tool_call]
                         │
                         ▼
                     [Python code executes add_two_numbers(10, 10)]
                         │
                         ▼
                     [Result (20) is inserted into conversation history]
                         │
                         ▼
                     [LLM generates follow-up: "The result is 20."]