더 나은 결과를 위해 안정된 확산을 사용하여 Ai로 Arch Viz 프로젝트를 수행하세요!

콘텐츠 목차

1. 안내
2. Stable Diffusion이란?
   1. 딥 러닝과 텍스트-이미지 생성 모델
   2. 실제 작업에서의 활용성
   3. GPU 계산과 요구 사항
3. 설치 방법
   1. 표준 소프트웨어 설치와의 차이
   2. Windows 설치 파일 다운로드
   3. Git 설치
   4. Stable Diffusion 다운로드
   5. 필수적인 체크포인트 모델 다운로드
4. 다양한 모델
   1. 체크포인트 모델 소개
   2. 모델 다운로드 방법
   3. 모델 혼합 및 생성
5. 인터페이스 소개
   1. 프롬프트 활용 방법
   2. 음수 프롬프트 사용법
6. 이미지 생성과 세부 설정
   1. 샘플링 단계 조절
   2. 샘플링 방식 선택
   3. 해상도 조절 및 업스케일링
   4. 이미지 생성 배치 설정
   5. CFG 스케일 조절
7. 이미지-이미지 변환
   1. 포토샵에서의 사용법
   2. 이미지 인페인트 기능 사용법
8. 요약
9. 자주 묻는 질문 및 답변
10. 참고 자료

Stable Diffusion: 딥 러닝을 통한 텍스트-이미지 생성

지금부터는 2022년에 발표된 딥 러닝 기술인 Stable Diffusion에 대해 알아보겠습니다. Stable Diffusion은 텍스트 설명을 바탕으로 상세한 이미지를 생성하는 모델입니다. 이 모델은 실제 작업에서 사용하기 어려운 많은 인공지능 도구와는 달리 획기적인 성과를 보여줍니다. Vivid-Vision의 개발자들은 스튜디오 투어 중에 이 모델을 사용하는 방법을 우리에게 보여주었는데, 정말로 영감이 되었습니다. 아직 해당 동영상을 보지 않으셨다면, 설명란에 링크가 있으니 확인해보세요.

Stable Diffusion이란?

Stable Diffusion은 텍스트-이미지 생성을 위한 딥 러닝 모델입니다. 이 모델은 텍스트 설명을 입력받아 상세하고 다양한 이미지를 생성하는 능력을 갖추고 있습니다. 텍스트를 입력하면 Stable Diffusion은 그에 기반하여 가상의 이미지를 생성합니다. 이 모델의 큰 장점은 실제와 거의 구분이 없을 정도로 실제적인 이미지를 생성할 수 있다는 점입니다. 이 모델을 사용하여 다양한 시각 효과를 만들어내거나 예술적인 이미지를 생성할 수 있습니다.

딥 러닝과 텍스트-이미지 생성 모델

Stable Diffusion은 딥 러닝 기술을 기반으로 한 텍스트-이미지 생성 모델입니다. 딥 러닝은 컴퓨터가 인간의 뇌 신경 구조를 모방하여 데이터로부터 학습하는 기술입니다. 이를 사용하여 텍스트로부터 이미지를 생성하는 모델은 많은 분야에서 유용하게 활용될 수 있습니다. Stable Diffusion은 텍스트 입력을 이해하고 이를 이미지로 변환하는 과정에서 딥 러닝 알고리즘을 사용합니다.

실제 작업에서의 활용성

많은 인공지능 도구들은 아직 현업에서 실용적으로 사용하기 어렵습니다. 그러나 Stable Diffusion은 다릅니다. Vivid-Vision의 개발자들이 스튜디오 투어 중에 우리에게 보여준 것처럼, Stable Diffusion은 실제 작업에 활용할 수 있는 모델입니다. 예를 들어, 디자인 작업에서 텍스트 기반의 이미지 생성은 큰 도움이 될 수 있습니다. Stable Diffusion을 사용하면 텍스트 기반으로 원하는 이미지를 생성할 수 있으며, 디자인 작업에서의 생산성을 크게 향상시킬 수 있습니다.

GPU 계산과 요구 사항

Stable Diffusion을 사용하기 위해서는 GPU 계산이 필요합니다. 최소 4GB의 VRAM을 갖춘 디스크릿 Nvidia 비디오 카드가 장착된 컴퓨터가 필요합니다. 통합 GPU는 작업에 적합하지 않습니다. AI 작업은 사전 실험을 거치는 과정이 많기 때문에 좋은 GPU 환경에서 작업하면 작업 과정을 크게 빠르게 할 수 있습니다. 다행히도, 저는 이번 동영상의 스폰서인 Nvidia Studio로부터 Nvidia GeForce RTX 4090 카드를 받았습니다. 이 카드는 현재 최고의 GPU 카드입니다. 이제 시작하기에는 좋은 시기입니다. 수요가 매우 높아지고 있으며, 결과가 명확하게 알려져 있기 때문입니다.

설치 방법

Stable Diffusion을 설치하는 방법에 대해 알아보겠습니다. 표준 소프트웨어와는 달리 설치 과정이 간단하지 않기 때문에 이 부분을 자세히 설명한 블로그 포스트를 준비했습니다. 설치 과정을 충분히 이해하고 싶으시다면, 설명란에 있는 블로그 링크를 확인해보세요. 블로그 포스트에는 자세한 설명, 링크, 복사 및 붙여넣기할 내용이 포함되어 있으므로, 여기서는 간단하게 설명하겠습니다.

1. 블로그 포스트에서 제공하는 링크로 이동하여 Windows 설치 파일을 다운로드합니다.
2. 최신 버전보다 낮은 버전의 설치 파일을 다운로드하는 것이 중요합니다. 최신 버전은 작동하지 않을 수 있습니다.
3. 제공된 링크를 사용하여 Git을 다운로드하고 기본 설정으로 설치합니다.
4. Stable Diffusion을 다운로드해야 합니다. 이 과정은 일반적인 파일 다운로드와는 다릅니다.
5. Command Prompt를 엽니다. 기본 폴더에 설치하는 경우에는 그대로 진행하면 됩니다. 특정 위치를 선택하려면 해당 폴더로 이동한 후 "cmd"를 입력합니다.
6. 블로그 포스트에서 제공하는 코드를 복사하여 붙여넣은 후 Enter 키를 누릅니다.
7. 이로써 모든 설치가 완료되었습니다. 이제 해당 폴더에 체크포인트 모델을 다운로드해야 합니다. 이에 대한 설명은 이후에 다루도록 하겠습니다.

다양한 모델

Stable Diffusion을 사용하면 도트라인 효과, 그림자 추가, 모델 특성 조작 등 다양한 종류의 모델을 생성할 수 있습니다. 여기서는 가장 인기 있는 체크포인트 모델에 초점을 맞출 것이며, 나머지는 선택 사항입니다. 체크포인트 모델은 미리 학습된 Stable Diffusion 가중치 파일로, 일반적인 또는 특정 종류의 이미지를 생성할 수 있습니다. 모델이 생성할 수 있는 이미지는 학습 데이터에 기반하여 결정되며, 모델마다 파일 크기는 일반적으로 2GB에서 7GB 사이입니다. 보면서 모델을 선택하는 것이 중요한데, 이 부분을 염두에 두고 설명하는 것이 좋습니다. 이를 위해 블로그 포스트에는 인기 있는 모델 다운로드 링크가 포함되어 있습니다. Reliberate 모델과 Stable Diffusion 1.5를 기반으로 한 모델은 특히 유용하며, 해당 모델의 예시 이미지와 프롬프트도 함께 확인할 수 있는 웹사이트 링크도 제공되어 학습 및 테스트에 좋습니다.

체크포인트 모델 소개

체크포인트(Checkpoint) 모델은 Stable Diffusion에 기반한 사전 훈련된 가중치 파일입니다. 이 모델은 다양한 종류의 이미지를 생성할 수 있으며, 그 종류는 모델 학습 데이터에 기반합니다. 예를 들어, 고양이 이미지가 포함되지 않은 경우 모델은 고양이 이미지를 생성할 수 없습니다. 또한, 고양이 이미지로만 모델을 훈련시킨 경우 고양이 이미지만 생성할 수 있습니다. 이러한 체크포인트 모델 파일은 일반적으로 2GB에서 7GB 정도의 용량을 가지고 있습니다. 아래는 동일한 프롬프트로 생성된 4개의 이미지 예시입니다. 각 이미지는 다른 모델을 사용하여 생성되었습니다. 결과를 비교해보면 모델에 따라 이미지가 얼마나 다른지 알 수 있습니다. 기본 모델은 그다지 좋지 않으며 사용하지 않는 것을 권장합니다. 좋은 결과를 얻기 위해서는 모델 선택이 중요합니다. 블로그 포스트에는 인기 있는 모델 다운로드를 위한 링크가 포함되어 있으니 참고하세요.

모델 다운로드 방법

모델 다운로드는 블로그 포스트에 제공된 웹사이트에서 진행할 수 있습니다. 해당 웹사이트에서는 다양한 모델을 확인할 수 있으며, 예시 이미지와 함께 프롬프트도 확인할 수 있어 학습과 테스트에 유용합니다. 모델을 다운로드한 후, 설치 과정에서 사용한 폴더와 같은 위치에 모델을 저장하면 됩니다. Stable Diffusion을 다시 실행할 때 해당 모델을 선택할 수 있습니다. 이를 통해 다양한 모델들을 혼합하여 사용할 수도 있습니다. 모델을 혼합해보는 극단적인 시나리오를 시연해보겠습니다. 실제감 있는 모델과 만화스런 모델을 동시에 사용해보겠습니다. 이때, multiplier 값을 0.5로 설정하면 두 모델 모두 동일하게 적용됩니다. 사용자 지정 이름도 추가할 수 있습니다. 모델을 합치는 기능을 사용하면 새로운 모델을 선택할 수 있습니다. 같은 이미지를 생성해 보겠습니다. 결과는 상호적인 모델들의 중간 형태로 생성됩니다. 이 기능은 정말로 유용합니다.

인터페이스 소개

이제 Stable Diffusion의 인터페이스에 대해 알아보겠습니다. 먼저, 프롬프트 기능을 소개하겠습니다. 이미지를 생성하기 위해 프롬프트를 작성하고 '생성' 버튼을 클릭하면 이미지가 생성됩니다. 시드(seed) 값이 -1로 설정되어 있기 때문에 매번 다른 결과가 생성됩니다. 예를 들어, seed 값을 1로 변경하면 항상 동일한 결과를 얻을 수 있습니다. 부정적인 프롬프트 옵션도 있습니다. 이곳에 작성한 내용은 이미지에 나타나지 않습니다. 프롬프트에서 지우고 싶은 부분을 제외하거나 명확한 지침을 남길 수 있습니다.

실시간 생성 및 GPU 가속

이미지 생성은 실시간으로 진행되며, 제가 화면 녹화를 가속시킨 것이 아닙니다. 제 새로운 RTX 4090 그래픽 카드 덕분에 이미지가 신속하게 생성됩니다. 마찬가지로 VRay GPU도 놀라울 정도로 빠릅니다. 이 전에도 VRay GPU에 대한 튜토리얼을 게시한 적이 있습니다. 해당 튜토리얼을 통해 VRay GPU의 사용 방법을 알 수 있으니 참고해보세요. 제가 테스트에 사용한 3개의 그래픽 카드와 CPU를 사용한 2개의 렌더 시간은 다음과 같습니다. 그래픽 카드를 사용한 경우 렌더링 성능이 훨씬 빨랐음을 알 수 있습니다. Nvidia Studio는 하드웨어 뿐만 아니라 Autodesk, Chaos 등의 소프트웨어 개발사와 협력하여 소프트웨어 최적화를 통해 이러한 탁월한 결과를 얻을 수 있었습니다. 또한 Nvidia Studio Driver를 GeForce Experience 앱에서 다운로드하여 설치할 수 있습니다. 이 드라이버는 보다 안정적이기 때문에 중요합니다. 최근에는 비디오 편집 소프트웨어에서 문제가 발생하는 등 불안정한 상황이었는데, 스튜디오 드라이버를 설치하니 문제가 바로 해결되었습니다.

이미지 생성과 세부 설정

Stable Diffusion의 이미지 생성 및 세부 설정에 대해 알아보겠습니다. 먼저, 샘플링 단계 조정 기능입니다. 이 기능은 이미지의 품질을 제어합니다. 단계를 더 많이 설정할수록 이미지의 품질이 올라갑니다. 하지만 최대로 설정하는 것은 좋지 않습니다. 왜냐하면 렌더 시간이 오래 걸릴 수 있기 때문입니다. 예를 들어, 5에서 20으로 단계를 15만큼 늘리면 품질의 차이가 큽니다. 그러나 다시 15만큼 늘려도 차이가 눈에 띄지 않습니다. 보통 20에서 40 사이가 가장 적절한 단계 범위입니다. 그 이상으로 늘릴 경우 차이는 거의 미미하지만 기다려야 하는 시간이 더 길어집니다. 다음은 샘플링 방식에 대해 알아보겠습니다. 여러 가지 옵션 중 많이 사용되는 방법은 요약본 메소드(Summary Method)입니다. 기본값으로 설정되어 있으며, 좋은 결과를 제공한다고 알려져 있습니다. 한번 방법을 변경해보고 이미지를 생성해보겠습니다. 결과가 더 좋아진다고 생각합니다.

해상도 조절 및 업스케일링

고해상도 이미지를 생성할 수 없는 것은 아쉬운 부분입니다. 여기서 해상도를 높이면 결과가 엉망이 됩니다. 왜냐하면 대부분의 모델은 512 또는 768 픽셀의 최대 해상도를 가지기 때문입니다. Stable Diffusion은 이 경우 16개의 이미지를 생성하여 이들을 조합하려고 합니다. 이 모델로 최대 768 픽셀까지 생성할 수 있습니다. 더 큰 이미지를 생성하는 방법을 알려드리겠습니다. 먼저, 'hires fix'를 활성화해야 합니다. 해상도는 512로 유지하고 'upscale by' 옵션을 사용하면 됩니다. 값이 2이면 1024px, 값이 4이면 2048px의 이미지를 얻을 수 있습니다. 소음 강도(Denoising Strength)는 생성된 대형 이미지가 원본과 얼마나 유사한지를 결정합니다. 값이 낮을수록 이미지가 원본에 더 가까워집니다. 또한, 업스케일러를 선택해야 합니다. 저는 이 업스케일러를 추천합니다. 다운로드해야 하지만 블로그 포스트에 자세한 내용이 있으니 참고하세요. 이번에는 높은 소음 강도로 생성해보겠습니다. 이미지가 크게 달라지는 것을 볼 수 있습니다. 소음 강도를 낮춰보겠습니다. 이제 매우 유사한 결과를 얻을 수 있습니다.

이미지 생성 배치 설정

배치 수(batch count)를 늘리면 한 번에 8개의 이미지를 생성할 수 있습니다. 이미지들은 순차적으로 생성됩니다. 이 기능은 많은 이미지를 생성한 후 가장 좋은 결과물을 선택할 수 있게 해주는 훌륭한 기능입니다. 이미지가 마음에 든다면 시드를 확인하여 나중에 재생성할 수 있습니다. 이는 일괄 처리 크기(batch size)도 마찬가지입니다. 이미지들이 동시에 생성되기 때문에 결과가 더 빨리 나옵니다. 제 경우에는 결과가 빠릅니다.

CFG 스케일 조절

CFG 스케일은 프롬프트의 중요성을 결정하는 요소입니다. 값이 높을수록 프롬프트의 중요성이 증가하며 품질이 떨어집니다. 값이 낮을수록 품질은 더 좋아지지만 결과는 더욱 무작위적입니다. 보통 4~10 사이가 적절한 값입니다. 이제 기본적인 내용을 알아봤으니 재밌는 부분으로 넘어가 보겠습니다. 이미지-이미지 변환에 대해 알아보겠습니다.

이미지-이미지 변환

이제 이미지-이미지 변환에 대해 알아보겠습니다. Photoshop에서 시작해보겠습니다. 여기서는 3D 인물을 개선하고자 합니다. 최대 생성 가능한 해상도가 768px임을 기억하세요. 이에 맞게 이미지를 자르고 저장합니다. Stable Diffusion으로 돌아가 이미지-이미지 탭으로 이동한 다음 'inpaint' 옵션을 선택합니다. 편집기로 이미지를 끌어다 놓습니다. 끌어다 놓은 이미지 위에 브러시를 활성화하고 생성하고자 하는 부분을 그림으로 가리킵니다. 프롬프트도 작성해보겠습니다. 최대 크기를 768x768로 설정한 후 이 옵션을 '마스크 전용'으로 설정하세요. 이렇게 하면 품질이 높아집니다. 마스크 영역만 768px로 설정되고, 나머지는 이미지에 맞게 축소됩니다. 이미지를 생성해보겠습니다. 결과가 원하는 장면과 일치하지 않는 것 같습니다. 이는 소음 강도가 꽤 높게 설정되어 있기 때문입니다. 소음 강도를 낮춰보겠습니다. 이미지를 더 생성한 다음 중에서 가장 좋은 이미지를 선택합니다. Photoshop에 배치합니다. 훨씬 좋아지지 않았나요? 특히 머리카락과 수건이 매우 실감납니다. 자연스러운 연결을 위해 인물을 마스킹합니다. 그리고 이미지의 크기를 원래대로 확장합니다. 이제 3D 인물의 편리성과 사실적인 결과를 모두 얻을 수 있게 되었습니다. 그럼 이번에는 녹지에 대한 또 다른 예시를 확인해보겠습니다. 이미지를 자르지 않고 큰 렌더를 직접 사용할 수 있습니다. 4~5년 전에 제작한 이 이미지에서 녹지를 개선해보겠습니다. 나무 위에 물갈퀴를 그려보겠습니다. 이번에는 프롬프트를 추가하고, 사이즈도 늘려보겠습니다. 5K 픽셀의 이미지이기 때문에 생성된 영역이 작습니다. 큰 영역을 그리면 품질이 떨어질 수 있음을 염두에 두세요. 소음 강도를 낮춰보겠습니다. '전체 이미지만'을 선택하는 것이 좋지 않음을 보여드리겠습니다. 그러면 전체 이미지(768px)가 생성됩니다. '마스크 전용'으로 변경해보겠습니다. 이제 이미지의 가로는 5K이지만 생성된 일부분만 768px입니다. 기본 샘플링 방법이 더 좋은 결과를 제공한다고 확인했습니다. 다시 변경해보겠습니다. 그러면 나무가 너무 비슷해질 정도로 유사한 이미지가 생성됩니다. 기본값으로 변경하겠습니다. 멋진 기능 중 하나는 마스크를 지우고 생성된 이미지를 가지고 놀 수 있다는 점입니다. 또 다른 영역을 그린 후 다시 생성할 수 있습니다. 다시 그러면서 반복해보겠습니다. 약 10분 정도 소요한 결과입니다. 정말 좋지 않습니까? 결과는 더 자연스럽고 부드럽고 사실적이며, 형태는 거의 동일하게 유지됩니다. 전경 나무의 차이가 큽니다. 모델이 그래픽에 대해 원하는 결과를 제공하지 못했습니다. 이 비디오가 도움이 되었기를 바랍니다. 여러분께 시간을 절약하는 데 도움이 되었으면 좋겠습니다. Autodesk 3ds Max에서 건축 시각화에 관한 자세한 내용은 제 강의를 참조하세요. 또한, 같은 주제로 여러 영상을 만들었으니 참고하시기 바랍니다. 잠시 후에 또 찾아뵙겠습니다. 감사합니다.

하이라이트

• Stable Diffusion은 텍스트-이미지 생성을 위한 딥 러닝 모델입니다.
• GPU 계산을 요구하며, 디스크릿 Nvidia 비디오 카드가 필요합니다.
• Stable Diffusion은 다양한 종류의 모델을 생성할 수 있으며, 체크포인트 모델이 가장 인기 있습니다.
• 인터페이스를 사용하여 프롬프트를 작성하고 이미지를 생성할 수 있습니다.
• 이미지 생성과 관련된 다양한 설정이 가능하며, 품질과 속도 조절이 중요합니다.
• 이미지-이미지 변환기를 사용하여 이미지를 개선하고 수정할 수 있습니다.

자주 묻는 질문 및 답변

Q: Stable Diffusion은 어떻게 사용되는가? A: Stable Diffusion은 주로 디자인 작업, 시각 효과 제작, 예술적 이미지 생성 등에 사용됩니다.

Q: Stable Diffusion을 사용하려면 어떤 하드웨어가 필요한가? A: Stable Diffusion은 따로 GPU를 필요로 합니다. 최소 4GB VRAM을 갖춘 디스크릿 Nvidia 비디오 카드가 필요합니다.

Q: Stable Diffusion은 어떤 종류의 모델을 생성할 수 있는가? A: Stable Diffusion으로는 다양한 종류의 모델을 생성할 수 있습니다. 체크포인트 모델은 가장 인기가 있으며, 특정 이미지 유형에 맞게 모델을 선택할 수 있습니다.

Q: Stable Diffusion의 이미지 생성 속도와 품질을 조절할 수 있는가? A: 이미지 생성 속도와 품질을 조절할 수 있습니다. 샘플링 단계, 샘플링 방식, 해상도 등 다양한 설정을 이용하여 원하는 결과를 얻을 수 있습니다.

Q: Stable Diffusion은 어떻게 이미지를 개선하고 수정할 수 있는가? A: 이미지 목적에 맞게 프롬프트를 작성하고 이미지-이미지 변환 탭을 사용하여 이미지를 개선하고 수정할 수 있습니다.