# ollama - llm을 쉽게 내컴에서 실행

https://ollama.ai

로컬에서 간단하게 llm 모델을 테스트 해볼수 있는 방법을 소개합니다.

## 1. ollama 설치

[https://ollama.ai/download/mac](https://ollama.ai/download/mac)

* mac :
  * binary다운받고 app폴더로 이동하면 끝
* linux :
  * `curl https://ollama.ai/install.sh | sh`
* docker :
  * `docker run -d -p 21434:11434 --name ollama ollama/ollama`

## 2. ollama 실행

실행시키면 모델을 다운받고 시작합니다.

```sh
# docker exec -it ollama bash # 만약 도커를 쓰면
ollama run llama2
```

![](https://3379277180-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MaoWGMVdC3ztoOAzHPq%2Fuploads%2Fgit-blob-f34421ea54d07a9135b758565ad83848660bb5a0%2F2023-12-17-08-19-12.png?alt=media)

잘된다.

## 참고

모델은 학습 내용에 따라서 이름이 다릅니다. 7b, 70b 등이 있습니다.

각 모델에는 또 타입이 있습니다. 대충 아래와 같다고 보면 됩니다.

### model 타입

1. **Chat 모델:**
   * **설명:** 채팅과 대화에 최적화된 모델
   * **예시:** 챗봇이나 대화 시스템에 사용돼서 사람과 자연스럽게 대화하는 데 적합해요.
2. **Instruct 모델:**
   * **설명:** 지시사항을 따르도록 최적화된 모델
   * **예시:** 주어진 지시에 따라 특정 작업을 수행하거나 지시를 이해하고 실행하는 데 효과적으로 사용돼요.
3. **Text 모델:** (가장 기본 모델)
   * **설명:** 텍스트를 자동으로 완성하거나 생성하는 모델이에요.
   * **예시:** 문장이나 단락을 작성하거나 완성할 때 도움이 되어요.

## ollama-webui

[https://teamsmiley.gitbook.io/devops/ai/ollama/ollama-webui](https://teamsmiley.gitbook.io/devops/ai/ollama/ollama-webui)

## ollama-docker

[https://teamsmiley.gitbook.io/devops/ai/ollama/ollama-docker](https://teamsmiley.gitbook.io/devops/ai/ollama/ollama-docker)
