ollama docker

기존에는 systemd로 패키지를 설치후 사용햇다. docker로 사용해보자.

https://ollama.ai/blog/ollama-is-now-available-as-an-official-docker-image

docker run

실행

docker run -d \
          -p 21434:11434 \
          --name ollama \
          ollama/ollama

외부 오픈 포트는 적당히 바꾸자.

docker exec -it ollama bash
ollama run llama2

잘 된다.

api로 테스트 (on host)

curl -X POST http://localhost:21434/api/generate -d '{
  "model": "llama2",
  "prompt":"Why is the sky blue?"
}'

docker-compose 사용

version: '3.8'
services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    ports:
      - 21434:11434
    restart: unless-stopped

docker exec -it ollama bash
ollama run llama2

curl -X POST http://localhost:21434/api/generate -d '{
  "model": "llama2",
  "prompt":"Why is the sky blue?"
}'

개선

docker를 지우고 다시 생성하면 모델을 다시 다운해야하는 문제

마운트를 해서 해결하자.

docker run -d \
          -v ~/.ollama:/root/.ollama \
          -p 21434:11434 \
          --name ollama \
          ollama/ollama

version: '3.8'
services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    ports:
      - 21434:11434
    restart: unless-stopped
    volumes:
      - ~/.ollama:/root/.ollama

홈 디렉토리에 .ollama 폴더에 마운트해서 이제 docker를 지우고 다시 생성해도 모델을 다시 다운받지 않는다.

docker exec -it ollama bash

root@c4efa0c84132:/# ollama list
NAME                      	ID          	SIZE  	MODIFIED
llama2-uncensored:70b-chat	bdd0ec2f5ec5	38 GB 	25 hours ago
llama2-uncensored:7b-chat 	44040b922233	3.8 GB	24 hours ago
mistral:latest            	1ab49bc0b6a8	4.1 GB	26 hours ago