ollama - llm을 쉽게 내컴에서 실행

https://ollama.ai

로컬에서 간단하게 llm 모델을 테스트 해볼수 있는 방법을 소개합니다.

1. ollama 설치

실행시키면 모델을 다운받고 시작합니다.

# docker exec -it ollama bash # 만약 도커를 쓰면
ollama run llama2

잘된다.

모델은 학습 내용에 따라서 이름이 다릅니다. 7b, 70b 등이 있습니다.

각 모델에는 또 타입이 있습니다. 대충 아래와 같다고 보면 됩니다.

Chat 모델:
- 설명: 채팅과 대화에 최적화된 모델
- 예시: 챗봇이나 대화 시스템에 사용돼서 사람과 자연스럽게 대화하는 데 적합해요.
Instruct 모델:
- 설명: 지시사항을 따르도록 최적화된 모델
- 예시: 주어진 지시에 따라 특정 작업을 수행하거나 지시를 이해하고 실행하는 데 효과적으로 사용돼요.
Text 모델: (가장 기본 모델)
- 설명: 텍스트를 자동으로 완성하거나 생성하는 모델이에요.
- 예시: 문장이나 단락을 작성하거나 완성할 때 도움이 되어요.

Last updated 11 months ago