ollama webui
https://github.com/ollama-webui/ollama-webui

1. prerequisite
webui가 api호출을 ollama server에 요청하는데 ollama server가 기본적으로 외부 트래픽을 허용하지 않아서 다음처럼 수정후 실행해야한다.
cors를 * 로 허용
ip 대역폭을 0.0.0.0/0 으로 허용해서 모든 트래픽 허용
실행하기전에 기존에 실행해둔 ollama api를 0.0.0.0 에서 접속이 가능하게 해야한다. 기본적으로는 localhost라는 이름만 가능하다. cors도 추가해야한다.
```sh
curl http://localhost:11434 => ok
curl http://hostname:11434 => nogood
curl http://hostip:11434 => nogood
export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_ORIGINS=*
ollama serve
systemd에서 실행
mkdir -p /etc/systemd/system/ollama.service.d
echo '[Service]' >>/etc/systemd/system/ollama.service.d/environment.conf
echo 'Environment="OLLAMA_HOST=0.0.0.0:11434"' >>/etc/systemd/system/ollama.service.d/environment.conf
echo 'Environment="OLLAMA_ORIGINS=*"' >>/etc/systemd/system/ollama.service.d/environment.conf
systemctl daemon-reload
systemctl restart ollama
curl http://localhost:11434 => ok
curl http://hostname:11434 => ok
curl http://hostip:11434 => ok
webui실행
git repo를 클론해서 build를 해도 되지만 난 소스코드를 수정할 이유가 없으므로 다음처럼 진행한다.
192.168.4.61: hostip
docker run -d -p 3000:8080 --name ollama-webui --restart always \
-e OLLAMA_API_BASE_URL='http://192.168.4.61:11434/api' \
-e PUBLIC_API_BASE_URL='http://192.168.4.61:11434/api' \
ghcr.io/ollama-webui/ollama-webui:main
실행해보면 화면이 잘나오고 질문에 답변이 잘 나온다.
docker compose로 처리
version: '3.8'
services:
ollama-webui:
image: ghcr.io/ollama-webui/ollama-webui:main
container_name: ollama-webui
ports:
- 3000:8080
environment:
- 'OLLAMA_API_BASE_URL=http://192.168.4.61:11434/api'
- 'PUBLIC_API_BASE_URL=http://192.168.4.61:11434/api'
restart: unless-stopped

setting
setting메뉴를 잘 확인하자.
json으로 결과가 나오면 request mode를 json으로 바꾸면 된다.

Last updated
Was this helpful?