ollama webui

https://github.com/ollama-webui/ollama-webui

1. prerequisite

webui가 api호출을 ollama server에 요청하는데 ollama server가 기본적으로 외부 트래픽을 허용하지 않아서 다음처럼 수정후 실행해야한다.

• cors를 * 로 허용

• ip 대역폭을 0.0.0.0/0 으로 허용해서 모든 트래픽 허용

실행하기전에 기존에 실행해둔  ollama api를 0.0.0.0 에서 접속이 가능하게 해야한다. 기본적으로는 localhost라는 이름만 가능하다. cors도 추가해야한다.

```sh
curl http://localhost:11434 => ok
curl http://hostname:11434  => nogood
curl http://hostip:11434    => nogood

export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_ORIGINS=*
ollama serve

systemd에서 실행

mkdir -p /etc/systemd/system/ollama.service.d
echo '[Service]' >>/etc/systemd/system/ollama.service.d/environment.conf
echo 'Environment="OLLAMA_HOST=0.0.0.0:11434"' >>/etc/systemd/system/ollama.service.d/environment.conf
echo 'Environment="OLLAMA_ORIGINS=*"' >>/etc/systemd/system/ollama.service.d/environment.conf

systemctl daemon-reload
systemctl restart ollama

curl http://localhost:11434 => ok
curl http://hostname:11434  => ok
curl http://hostip:11434    => ok

webui실행

git repo를 클론해서 build를 해도 되지만 난 소스코드를 수정할 이유가 없으므로 다음처럼 진행한다.

192.168.4.61: hostip

docker run -d -p 3000:8080 --name ollama-webui --restart always \
-e OLLAMA_API_BASE_URL='http://192.168.4.61:11434/api' \
-e PUBLIC_API_BASE_URL='http://192.168.4.61:11434/api' \
ghcr.io/ollama-webui/ollama-webui:main

실행해보면 화면이 잘나오고 질문에 답변이 잘 나온다.

docker compose로 처리

version: '3.8'
services:
  ollama-webui:
    image: ghcr.io/ollama-webui/ollama-webui:main
    container_name: ollama-webui
    ports:
      - 3000:8080
    environment:
      - 'OLLAMA_API_BASE_URL=http://192.168.4.61:11434/api'
      - 'PUBLIC_API_BASE_URL=http://192.168.4.61:11434/api'
    restart: unless-stopped

setting

setting메뉴를 잘 확인하자.

json으로 결과가 나오면 request mode를 json으로 바꾸면 된다.