스테이블 디퓨전 (stable diffusion)은 독일에서 개발된 딥러닝 인공지능 모델인데요. 컴퓨터 사용 리소스를 줄여 4GB이하의 RAM을 가진 컴퓨터에서도 사용할 수 있다는 것이 가장 큰 장점입니다. 또한 오픈소스로 공개했기 때문에 일반인도 쉽게 사용이 가능하죠.
AI 이미지 생성 플랫폼 중에서는 높은 인지도와 기술력을 자랑하기 때문에 많은 분들이 사용하고 계십니다. AI분야가 워낙 변화가 빠른 분야이다보니 매번 설치방법과 사용방법이 조금씩 변하고 있는데요. 현재 가장 최신 방법을 소개해드리도록 하겠습니다.
스테이블 디퓨전 (stable diffusion) 설치 전 준비사항
1. 모델 (model)
스테이블 디퓨전을 사용할때는 어느 화풍으로 그림을 그릴 것인가를 먼저 선택해야하는데요. 이것을 checkpoint 혹은 model이라고 부릅니다. 예를 들면 피카소 모델을 선택할 것인지 반고흐 모델을 선택할 것인지 등 입니다. 그 모델을 선택했다고 해서 다른 화풍을 학습하지 못하는 것은 아니지만 기본적인 베이스대로 그림을 그리기 때문에 처음 모델 선택이 그림을 좌우한다고 할 수 있습니다.
이번 게시글에서는 YesMix라는 모델을 사용해보도록 하겠습니다.
모델을 다운로드 하셨다면 구글 드라이브에 들어간 뒤 [sd/stable-diffusion-webui/models/Stable-diffusion]에 넣어주시면 됩니다.
모델을 올바른 경로에 넣으셨다면 web ui에 들어가 좌측 상단에서 모델을 선택해주시면 모델 적용은 끝입니다.
2. 로라 (lora) / 임베딩 (embedding) / 하이퍼 네트워크 (hyper network)
lora, embedding, hyper network 는 이미지 생선을 위한 보조 모델 인데요. 체크포인트 보다는 조금 더 디테일한 부분을 담당합니다. 또한 학습된 데이터와 유사한 그림을 그릴 수 있게 해주죠. 이 세가지 용어는 모두 AI에서 사용되는 전문 용어로 정확한 이해는 필요하지 않습니다.
하지만 세가지의 차이점을 간단하게 설명해드리도록 하겠습니다. lora는 주로 피사체를 위주로 학습하는데요. 원하는 그림을 생성할 수 있을만큼 영향력이 큰 학습방법 입니다. 또한 용량이나 GPU의 요구성능이 그렇게 많이 필요하지 않기때문에 많은 분들이 사용하시고 계십니다.
embedding은 모델에 영향을 주지 않고 추가 학습을 하는 방법인데요. 로라보다 영향력이 작아 자유롭게 사용이 가능하고 용량이 가볍지만 원하는 특징이 나타나지 않을 수 있습니다.
hyper network는 임베딩과 유사한데요. 로라는 뇌의 일부를 이식해 변형 시키는 것이고 로라는 공부를 시키는 것이라면 하이퍼 네트워크는 각인을 시키는 것이라고 볼 수 있습니다. 로라보다 작은 영향력을 행사하지만 용량은 로라와 비슷한 수준이기에 저는 로라를 사용하는 것을 추천 드립니다.
3. VAE
VAE(Variational Autoencoder)는 그림을 보정해주는 역할인데요. 그림을 좀더 고화질로 뽑아주는 기능을 합니다. 만약 다른 사람들의 그림보다 퀄리티가 떨어진다는 느낌을 받으셨다면 VAE를 적용하지 않았을 가능성이 큽니다.
이 중 가장 하단의 파일을 다운 받아주시면 됩니다. LFS라는 버튼을 눌러주시면 바로 다운로드가 가능합니다.
4. 네거티브 프롬프트
마지막으로 네거티브 프롬프트는 ai이미지가 가지고 있었던 문제점인 손가락이 여러개 나오는 등의 디테일한 문제들을 해결해주는 역할입니다.
스테이블 디퓨전 (stable diffusion) 설치하기
스테이블 디퓨전은 사실 오픈 소스로 공개되었지만 개발자가 아니라면 쉽게 사용하기 힘든 것이 사실인데요. 아래의 링크는 기존에 Stable Diffusion Web UI 설치 페이지로 알려진 깃허브 개인 개발자 페이지 입니다.
Stable Diffusion Web UI부터 컴퓨터에 직접 설치하는 방법까지 담겨있는데요. 클릭 하신 뒤 밑으로 내리면 [Installation and Running]이라는 항목이 나오는데 여기에서 [Installation on Windows 10/11 with NVidia-GPUs using release package] 부분이 윈도우용 PC 설치 방법입니다.
깃허브 페이지에서 우측에 위치한 [Releases] 항목을 누르면 v1.0.0-pre 버전을 찾을 수 있는데요. 가장 아래쪽까지 내린 후 [Asset] 항목을 클릭하시면 [sd.webui.zip] 파일을 다운 받을 수 있습니다.
만약 파일을 찾기 힘들다면 아래의 다운로드 버튼을 눌러도 동일한 압축 파일을 다운 받을 수 있습니다. 만약 다운로드가 되지 않는다면 댓글로 남겨주세요.
다운을 받은 후 압축을 해제한 뒤 [update.bat]를 먼저 눌러 최신 버전으로 업데이트 해주세요. 그 뒤 [run.bat] 파일을 클릭해주면 스테이블 디퓨전 (stable diffusion)의 설치가 완료 된 것입니다. 처음 다운시에는 시간이 오래 걸릴 수 있습니다.
스테이블 디퓨전 (stable diffusion) 실행하기
스테이블 디퓨전 (stable diffusion)의 설치 및 실행이 완료 되었다면 주 모델인 YesMix와 보조 모델인 lora,VAE 등을 적용해 사용하면 됩니다.
주모델의 변경 방법은 위에 모델에서 설명한 것 처럼 컴퓨터에서 [sdwebui]폴더-[webui]폴더-[models]폴더-[Stable-diffusion] 내에 넣으시면 됩니다. 보조 모델도 동일한 방식으로 설치가 가능합니다.
스테이블 디퓨전 (stable diffusion) 설치하지 않고 사용하는 법
만약 스테이블 디퓨전을 설치하지 않고 사용하고 싶다면 스테이블 디퓨전을 개발한 Stability.ai에서 웹사이트에서 바로 실행하는 스테이블 디퓨전을 구현한 Dream Studio 웹사이트를 이용해주시면 되는데요.
Dream Studio에 들어가 계정 생성 후 로그인을 먼저 해주세요. 하지만 Dream Studio은 유료인데요. 계정 생성시 25크레딧을 제공해주기 때문에 처음엔 무료로 사용이 가능합니다. 또한 Dream Studio은 크레딧을 구매해 사용하는 방식으로 10달러로 1000크레딧을 구매할 수 있습니다.
구글 계정과 연동해 사용이 가능하고 Dream Studio 계정을 계속 만든다면 25크레딧을 계속 받을 수 있어 무료로 사용도 가능합니다.