Stable diffusion AI Install(그림 그리는 오픈소스 AI 설치 및 활용)

설치 링크 

1. NMKD Stable Diffusion GUI : NMKD Stable Diffusion GUI - AI Image Generator by N00MKRAD (itch.io)

4GB 이상의 VRAM을 가진 Nvidia 카드 필요(cuda 가속 활용), 원터치 설치 가능하지만 python을 standalone로 내장하고 있어서 관련 에러날 수 있더군요.

2. Stable Diffusion GRisk GUI 0.1 : Stable Diffusion GRisk GUI 0.1 by GRisk (itch.io)

유료 버전과 무료 버전이 따로 있으며, 무료 버전에는 기능 제한이 있습니다.

3. Stable Diffusion web UI - AUTOMATIC1111 AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI (github.com)

Nvidia, AMD 카드 모두 사용가능하고 기능이 다양한 오픈소스 프로그램입니다. Web UI 제공

설치 방법

1. Install Python 3.10.6, checking "Add Python to PATH"
2. Install git.
3. Download the stable-diffusion-webui repository, for example by running git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git.
4. Place model.ckpt in the models directory (see dependencies for where to get it).
5. (Optional) Place GFPGANv1.4.pth in the base directory, alongside webui.py (see dependencies for where to get it).
6. Run webui-user.bat from Windows Explorer as normal, non-administrator, user.

Stable Diffusion web UI 기능 요약

Prompt : 생성할 이미지를 지정합니다. 쉼표로 키워드를 나누고, ()로 강화, []로 약화시킵니다. Negative Prompt는 반대로 피해야할 이미지를 지정합니다. 특정 색이나 사물의 생성을 피하는데 사용합니다.

Sampling steps : AI가 이미지를 생성하는데 필요한 계산 횟수를 지정합니다. 너무 낮으면 이미지가 뭉게진 만들다만 상태로 나오고 지나치면 계산에 시간이 오래 걸립니다. 높은 값일수록 이미지가 디테일해지는 경향이 있지만 반드시 높다고 좋은 결과가 나오지는 않습니다. 20~60 정도의 값을 추천합니다.

Sampling method : 이미지를 생성하는데 사용하는 샘플러의 종류를 지정합니다. 샘플러마다 다른 종류의 이미지가 생성됩니다. Euler a또는 DDIM을 자주 사용합니다. 

Batch count : 한번에 생성하는 이미지의 숫자를 지정합니다. 

Batch size : Batch count 1회당 생성되는 이미지의 숫자를 지정합니다. 

CFG Scale : 입력된 Prompt(명령어)를 얼마나 충실하게 따를지 정도를 지정합니다. 너무 낮으면 상관없는 이미지가 나오고 지나치면 일그러진 이미지가 나옵니다. 6~8 정도가 적당합니다. 경우에 따라서는 낮추거나 올리는게 도움이 될 때도 있습니다.

Width/Height : 생성될 이미지의 해상도를 지정합니다. 자신의 Vram에 따라서 최대 해상도가 다릅니다. 기본은 512x512입니다. 해상도가 사양보다 높으면 에러가 나옵니다.

메모리가 부족할 경우 이미지 생성속도를 느리게하는 방법을 사용할 수 있습니다.

webui-user.bat를 우클릭 > 편집 > 메모장을 열어서 "set COMMANDLINE_ARGS=" 항목 다음에 자신의 사양에 맞는 텍스트를 추가합니다.

4GB VRAM이 있고 512x512 (또는 최대 640x640) 이미지를 만들려면

--medvram

4GB VRAM이 있고 512x512 이미지를 만들고 싶지만 --medvram을 입력해도 메모리 부족 오류가 발생하면

--medvram --opt-split-attention

4GB VRAM이 있고 512x512 이미지를 만들려는 경우에도 여전히 메모리 부족 오류가 발생하면

--lowvram --always-batch-cond-uncond --opt-split-attention

4GB VRAM이 있고 이미지를 사용할 수 있는 것보다 크게 만들려면

--lowvram --opt-split-attention

VRAM이 더 많고 일반적으로 만들 수 있는 것보다 큰 이미지를 만들려면 (예: 512x512 대신 1024x1024)

--medvram --opt-split-attention

생성된 이미지가 녹색이거나 검정색이면 다음 텍스트를 추가

--precision full --no-half 

Seed : 이미지 생성에 사용되는 시드값을 지정합니다. -1로 지정하면 랜덤값이 들어갑니다. 마음에 드는 이미지가 생성되면 prompt와 시드값을 저장해서 다시 사용하면 동일한 이미지를 얻을 수 있습니다. 

Scripts : 사용할 추가 기능들을 지정합니다.

Stable Diffusion 학습 모델 다운로드

1. sd-v1-4.ckpt(가장 많이 활용되는 범용 오픈소스 모델) - https://drive.yerf.org/wl/?id=EBfTrmcCCUAGaQBXVIj5lJmEhjoP1tgl

2. Danbooru의 이미지를 대량으로 활용해 추가 학습 waifu-diffusion 모델(Anime 전용) - https://thisanimedoesnotexist.ai/downloads/wd-v1-2-full-ema.ckpt

3. Trin art(Anime 전용) - https://huggingface.co/naclbit/trinart_stable_diffusion_v2


Stable Diffusion 옵션 검색엔진 및 기타
https://lexica.art/

위 사이트에서 이미지 검색 뒤 이미지마다 나와있는 keyword, seed를 사용하면 비슷한 이미지가 생성되는데요.

seed는 stable diffusion에 활용되는 난수이며, keyword는 이미지 생성에 필요한 가이드라인입니다.

https://clipdrop.co/relight - AI를 활용해 이미지에 광원을 추가해주는 사이트

22/09/24 결과물 추가(RTX3080, 5800X, 64GB RAM)