개인 AI 챗봇 구축 가이드: Ollama를 활용한 무료 로컬 LLM 설정

인공지능(AI) 챗봇은 이제 우리 일상생활과 업무에 깊숙이 들어와 있습니다. OpenAI의 ChatGPT와 같은 서비스를 사용하는 것도 좋지만, 개인 정보를 보호하고 더욱 자유로운 맞춤 설정을 원한다면 어떨까요? 이 글에서는 Ollama라는 도구를 사용하여 무료로 로컬 환경에서 실행되는 자신만의 AI 챗봇을 구축하는 방법을 소개합니다. 단 몇 줄의 코드로 챗봇을 만들고, 원하는 대로 개성을 부여할 수 있습니다. 지금부터 Ollama를 이용한 개인 AI 챗봇 구축의 모든 것을 알아봅시다.

Ollama란 무엇인가?

Ollama는 다양한 대규모 언어 모델(LLM)을 로컬 환경에서 쉽게 실행할 수 있도록 해주는 도구입니다. Llama 3, deepseek-R1, Phi-4, Mistral, Gemma 2와 같은 최신 모델들을 macOS, Linux, Windows에서 간편하게 사용할 수 있도록 지원합니다.

Ollama를 사용하면 인터넷 연결 없이도 AI 챗봇을 구동할 수 있어 개인 정보 보호에 유리하며, 모델을 자유롭게 맞춤 설정하여 자신만의 독특한 챗봇을 만들 수 있습니다.

Ollama 다운로드 및 설치

Ollama를 사용하기 위한 첫 번째 단계는 Ollama 웹사이트(ollama.com)에서 해당 운영체제에 맞는 버전을 다운로드하여 설치하는 것입니다.

설치 과정은 매우 간단하며, 몇 번의 클릭만으로 완료할 수 있습니다. 설치가 완료되면 터미널 또는 명령 프롬프트를 열어 Ollama 명령어를 사용할 준비가 됩니다.

터미널에서 Ollama 실행 확인

Ollama가 제대로 설치되었는지 확인하기 위해 터미널 또는 명령 프롬프트에서 ollama 명령어를 실행해봅니다.

Ollama가 정상적으로 실행되면 사용 가능한 명령어 목록이 표시됩니다. 만약 Ollama를 찾을 수 없다는 오류 메시지가 나타난다면, 시스템 환경 변수 설정을 확인하거나 Ollama를 다시 설치해야 할 수 있습니다.

모델 풀링(Pulling): Ollama 레지스트리에서 모델 다운로드

Ollama를 통해 챗봇을 실행하려면 먼저 언어 모델을 다운로드해야 합니다. Ollama는 다양한 모델을 제공하는 레지스트리를 제공하며, ollama pull <모델 이름> 명령어를 사용하여 원하는 모델을 다운로드할 수 있습니다.

예를 들어, Llama 3.2 모델을 다운로드하려면 ollama pull llama3.2 명령어를 실행합니다. 모델 다운로드에는 시간이 다소 소요될 수 있으며, 인터넷 연결 상태에 따라 달라집니다.

Ollama 리스트 명령어를 이용해 로컬에 존재하는 모델 확인

ollama list 명령어를 사용하면 현재 로컬 환경에 다운로드된 모델 목록을 확인할 수 있습니다.

이 명령어를 통해 어떤 모델을 사용할 수 있는지, 어떤 모델을 다시 다운로드해야 하는지 쉽게 파악할 수 있습니다.

로컬 챗봇 실행: Ollama Run 명령어

모델 다운로드가 완료되면 ollama run <모델 이름> 명령어를 사용하여 챗봇을 실행할 수 있습니다.

예를 들어, Llama 3.2 모델을 실행하려면 ollama run llama3.2 명령어를 입력합니다. 챗봇이 실행되면 터미널에서 질문을 입력하고 챗봇의 응답을 확인할 수 있습니다.

챗봇 템플릿 맞춤 설정

Ollama는 챗봇의 응답 스타일과 개성을 정의하는 템플릿을 맞춤 설정할 수 있는 기능을 제공합니다. 템플릿은 챗봇이 질문에 어떻게 응답해야 하는지에 대한 지침을 제공하며, 이를 통해 챗봇의 페르소나를 설정할 수 있습니다.

템플릿은 텍스트 파일 형태로 작성되며, Ollama 실행 시 --template 옵션을 사용하여 지정할 수 있습니다.

챗봇 페르소나 설정

챗봇에 특정 페르소나를 부여하면 더욱 재미있고 유용한 챗봇을 만들 수 있습니다. 템플릿을 통해 챗봇이 특정 인물이나 캐릭터처럼 응답하도록 설정할 수 있습니다. 예를 들어, 챗봇이 배트맨처럼 응답하도록 만들거나, 특정 분야의 전문가처럼 응답하도록 설정할 수 있습니다.

페르소나 설정은 챗봇의 활용도를 높이고 사용자 경험을 향상시키는 데 도움이 됩니다.

로컬 환경 설정

Ollama를 사용하여 챗봇을 실행하기 전에 로컬 환경을 설정해야 합니다. 이 과정은 가상 환경을 만들고 필요한 종속성을 설치하는 것을 포함합니다. 가상 환경은 프로젝트별로 격리된 환경을 제공하여 종속성 충돌을 방지하고 프로젝트 관리를 용이하게 해줍니다.

가상 환경을 설정하려면 다음 단계를 따르세요.

1. 프로젝트 디렉터리 생성: 챗봇 프로젝트를 위한 새로운 디렉터리를 만듭니다.
2. 가상 환경 생성: 터미널 또는 명령 프롬프트에서 python3 -m venv <가상 환경 이름> 명령어를 실행하여 가상 환경을 만듭니다. (Windows에서는 python -m venv <가상 환경 이름> 사용)
3. 가상 환경 활성화: 가상 환경을 활성화하려면 다음 명령어를 실행합니다. (macOS/Linux: source <가상 환경 이름>/bin/activate, Windows: <가상 환경 이름>\Scripts\activate)
4. 필요한 종속성 설치: pip install langchain ollama 명령어를 실행하여 LangChain과 Ollama를 설치합니다.

파이썬 코드 작성

이제 챗봇을 실행하는 파이썬 코드를 작성할 차례입니다. 다음은 Ollama를 사용하여 간단한 챗봇을 만드는 예제 코드입니다.

from langchain_ollama import OllamaLLM
from langchain.prompts import ChatPromptTemplate

template = """
You are a helpful assistant.
Answer the following questions.
"""
prompt = ChatPromptTemplate.from_template(template)

llm = OllamaLLM(model="llama3.2")
chain = prompt | llm

question = input("질문을 입력하세요 (종료하려면 'quit' 입력): ")
response = chain.invoke({"question": question})
print(f"챗봇 응답: {response}")

이 코드는 LangChain과 Ollama를 사용하여 챗봇을 만들고, 사용자로부터 질문을 받아 챗봇의 응답을 출력합니다. 템플릿을 수정하여 챗봇의 페르소나와 응답 스타일을 맞춤 설정할 수 있습니다.

챗봇 실행 및 상호 작용

파이썬 코드를 저장하고 실행하면 터미널에서 챗봇과 상호 작용할 수 있습니다. 질문을 입력하고 Enter 키를 누르면 챗봇이 응답을 생성하여 출력합니다. quit 또는 exit 명령어를 입력하여 챗봇을 종료할 수 있습니다.