ollama - llm을 쉽게 내컴에서 실행

https://ollama.ai

로컬에서 간단하게 llm 모델을 테스트 해볼수 있는 방법을 소개합니다.

1. ollama 설치

https://ollama.ai/download/mac

• mac :

  • binary다운받고 app폴더로 이동하면 끝

• linux :

  • curl https://ollama.ai/install.sh | sh

• docker :

  • docker run -d -p 21434:11434 --name ollama ollama/ollama

2. ollama 실행

실행시키면 모델을 다운받고 시작합니다.

# docker exec -it ollama bash # 만약 도커를 쓰면
ollama run llama2

잘된다.

참고

모델은 학습 내용에 따라서 이름이 다릅니다. 7b, 70b 등이 있습니다.

각 모델에는 또 타입이 있습니다. 대충 아래와 같다고 보면 됩니다.

model 타입

1. Chat 모델:

   • 설명: 채팅과 대화에 최적화된 모델

   • 예시: 챗봇이나 대화 시스템에 사용돼서 사람과 자연스럽게 대화하는 데 적합해요.

2. Instruct 모델:

   • 설명: 지시사항을 따르도록 최적화된 모델

   • 예시: 주어진 지시에 따라 특정 작업을 수행하거나 지시를 이해하고 실행하는 데 효과적으로 사용돼요.

3. Text 모델: (가장 기본 모델)

   • 설명: 텍스트를 자동으로 완성하거나 생성하는 모델이에요.

   • 예시: 문장이나 단락을 작성하거나 완성할 때 도움이 되어요.

ollama-webui

https://teamsmiley.gitbook.io/devops/ai/ollama/ollama-webui

ollama-docker

https://teamsmiley.gitbook.io/devops/ai/ollama/ollama-docker