SDXL - text to image

Stable Diffusion

reference

• https://stability.ai/stable-diffusion

• https://huggingface.co/stabilityai

• https://huggingface.co/stabilityai/sdxl-turbo

history

Version	Release Date	Notes
SD 1.4	August 2022	Released as open source
SD 1.5	October 2022	Became the standard for many custom models
SD 2.0	November 2022	Updated to V2.1 in December 2022
SDXL 1.0	July 2023	Latest version of Stable Diffusion

Model	Native Resolution
SD 1.5	512x512, 768x768, 512x768, 768x512, 640x832, 832x640
SDXL 1.0	1024x1024, 896x1152, 1152x896, 832x1216, 1216x832, 768x1344, 1344x768, 640x1536, 1526x640

목표

API를 사용해서 텍스트를 이미지로 만들어보는 부분을 먼저 살펴보고 이후에는 로컬에서 사용이 가능하게 해보자.

stability.ai API 사용

https://platform.stability.ai/account/keys 여기에서 api생성. api를 만들어서 curl로 이용하면된다.

https://clipdrop.co/stable-diffusion-turbo 에서 사용 가능하다.

https://playground.com 이런것도 잇는데 이런건 dreamstudio의 api를 쓰는거같은데? api키를 제공하지는 않는다. email로 만 하라고 하는데 아무래도 비용이 들어가는듯. 500장 무료라고 해서 써볼려고 햇는데 안될듯.

billing

https://platform.stability.ai/docs/getting-started/credits-and-billing

https://platform.stability.ai/pricing

크레딧 가격은 1,000크레딧당 10달러로, 약 5,000개의 SDXL 1.0 이미지에 충분한 크레딧입니다.

10달러에 5000개. 프롬프트를 바꿔가면서 하기 때문에 한달에 100달러 정도 생각하면될거같다.

프롬프트를 잘써서 리퀘스트를 줄이면 좀 될듯.

prompt guide

https://dreamstudio.ai/prompt-guide 가이드도 봐도 될거같다.

https://platform.stability.ai/docs/api-reference#tag/v1generation/operation/textToImage

api를 쓰면 되는거같은데 curl로 그냥 날려도 되고

sdxl on local server

로컬에서 실행해보자.

pytorch가 필요하다.

Dockerfile 생성

vi Dockerfile
```

```Dockerfile
FROM pytorch/pytorch:2.1.2-cuda12.1-cudnn8-runtime

WORKDIR /app

RUN apt update

RUN python -m pip install diffusers[torch] transformers accelerate --upgrade

docker-compose.yaml 생성

vi docker-compose.yaml

version: '3.8'
services:
  sdxl:
    build:
      context: .
      dockerfile: Dockerfile
    container_name: sdxl
    command: ['sleep', '6000']
    restart: unless-stopped
    ports:
      - 8000:8000
    volumes:
      - ./app:/app/
    deploy:
      resources:
        reservations:
          devices:
            - driver: 'nvidia'
              capabilities: [gpu]
              count: all

docker-compose up -d --build
docker exec -it sdxl bash

확인

이제 docker에서 pytorch가 되는거 확인해보자.

import torch
print(torch.__version__)

결과가 나오면 성공이다.

huggingface에서 오픈소스로 제공하는 다음 라이브러리를 사용하여 실행해보자. https://github.com/huggingface/diffusers

사용법은 다음 참조 : https://huggingface.co/docs/diffusers/tutorials/tutorial_overview

https://huggingface.co/stabilityai

많은 모델이 잇고 나는 stabilityai/sdxl-turbo 이걸 이용하려고함.

A pipeline is a quick and easy way to run a model for inference, requiring no more than four lines of code to generate an image:

파이프라인은 추론을 위해 모델을 실행하는 빠르고 쉬운 방법으로, 이미지를 생성하는 데 코드가 4줄 이상 필요하지 않습니다:

from diffusers import DiffusionPipeline
import torch

pipeline = DiffusionPipeline.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16)
pipeline.to("cuda")
pipeline("An image of a squirrel in Picasso style").images[0]
image.save("test.png")

그림이 이제 생성이 된다.

쉽다.

sd-turbo 모델은 다음과 같은 코드이다

from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained(
	"stabilityai/sd-turbo", torch_dtype=torch.float16, variant="fp16"
).to("cuda")
generator = torch.Generator("cuda").manual_seed(31)
image = pipeline("cat riding elephant", generator=generator).images[0]
image.save("test.png")