[Stable Diffusion] ComfyUI 팁 및 AnimateDiff를 활용한 동영상 변환

Stable Diffusion (SD) 모델을 활용해서 사진이나 영상(=사진의 집합)을 만들 수 있다.

이때 Web UI나 ComfyUI를 통해서 SD 모델을 쉽게 사용할 수 있는데 (모두 SD 모델을 사용할 수 있는 환경이지만 UI가 다르다고 이해하면 된다), ComfyUI 쪽이 dependency 문제에서 더 자유롭고, workflow를 저장하기 더 좋으며, 각각의 과정에 대한 이해를 더 쉽게 할 수 있다는 장점이 있어보였다.

 

ComfyUI는 아래에서 설치가 가능하다.

https://github.com/comfyanonymous/ComfyUI

GitHub - comfyanonymous/ComfyUI: The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface

 

개념에 대해 파악하기 위해서 먼저 예제 워크플로우를 불러와서 실행해보면 좋다. 워크플로우 JSON 파일이나 이미지를 드래그하면 불러올 수 있다. 아래에서 여러가지 예제들을 확인할 수 있다.

https://comfyanonymous.github.io/ComfyUI_examples/

ComfyUI Examples

 

ComfyUI 사용 팁들을 정리해보면 아래와 같다.

1. 부가적인 기능(ComfyUI-Manager 등)은 custom_nodes/ 폴더 아래 설치할 수 있다 (!git clone https://github.com/ltdrdata/ComfyUI-Manager.git "./custom_nodes/ComfyUI-Manager").
2. 워크플로우를 실행하면 Queue에 쌓이는데, 만약 취소해야 한다면 "View Queue"를 클릭하여 실행 중인 작업을 취소할 수 있다.
3. 특정 노드를 제외하여야 할 때는 Ctrl+M으로 뮤트시킬 수 있다.

 

ComfyUI에서 AnimateDiff를 활용하여 영상을 변환할 수 있는데, 아래에 그 내용이 잘 설명되어 있어 참고하기 좋았다.

https://civitai.com/articles/2379/guide-comfyui-animatediff-guideworkflows-including-prompt-scheduling-an-inner-reflections-guide

[GUIDE] ComfyUI AnimateDiff Guide/Workflows Including Prompt Scheduling - An Inner-Reflections Guide | Civitai