AnimateDiff for ComfyUI(ComfyUI를 위한 AnimateDiff)

comfyUI에서 

애니메이션 모델 :  AnimateDiff 을 활용하여

이미지를 비디오로 만들어보자.

https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

GitHub - Kosinkadink/ComfyUI-AnimateDiff-Evolved: Improved AnimateDiff for ComfyUI and Advanced Sampling Support

> comfuUI Manager를 통해 AnimateDiff Evolved 모델 설치하기

난 이게 있지.

https://ing-min.tistory.com/269

stable diffusion _ 360 rotation _ character texture_ ComfyUI

 

comfyUI 실행.

여기 매니저를 클릭하면 됨.

install missing custom nodes

filter : all  그옆에 검색 ㅣ AnimateDiff Evolved

installed

됐다.

 

>이제 . 노드 팩

(노드팩(Node Pack)이란 ComfyUI와 같은 소프트웨어에서 추가적인 기능이나 도구를 제공하는 모듈 또는 플러그인 모음)

AnimateDiff와 그 고급 기능을 최대한 활용하려면 여러 노드 팩을 설치해야 합니다. 설치해야 할 노드 팩 목록은 다음과 같습니다.

1. ComfyUI_Fizz노드 :
   • 프롬프트에 따라 이미지나 애니메이션의 특정 부분을 이동시키거나 변환하는 기능을 제공
   • GitHub 저장소
2. ComfyUI-Advanced-ControlNet :
   • ControlNet을 Context Options와 함께 사용할 수 있도록 하며, 특정 레이턴트(latent)만 영향을 받도록 제어하는 기능
   • GitHub 저장소
3. ComfyUI-VideoHelperSuite :
   • 비디오 로딩, 이미지 결합, 다양한 이미지/레이턴트 작업(붙이기, 자르기, 복제, 선택, 카운팅) 등을 수행
   • GitHub 저장소
4. comfyui_controlnet_aux :
   • 기본 ComfyUI에 없는 ControlNet 전처리기(preprocessor)를 제공
   • GitHub 저장소
5. ComfyUI_IPAdapter_plus :
   • IPAdapter 지원을 추가
   • 이미지 프롬프트를 활용한 이미지 생성 기능을 개선하고 확장
   • GitHub 저장소
6. ComfyUI-KJNodes :
   • 애 : 다양한 추가 노드를 제공하며, GLIGEN의 애니메이션 좌표 선택 기능을 포함
   • 러 가지 유틸리티 기능을 제공하여 이미지 생성 및 편집 작업을 돕기
   • GitHub 저장소

 

모델(.pth / .ckpt) 저장 경로 : Place models in one of these locations (you can rename models if you wish):

• ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models
• ComfyUI/models/animatediff_models

 

Optionally, you can use Motion LoRAs to influence movement of v2-based motion models like mm_sd_v15_v2.

• Google Drive | HuggingFace | CivitAI
• Place Motion LoRAs in one of these locations (you can rename Motion LoRAs if you wish):
  • ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora
  • ComfyUI/models/animatediff_motion_lora

 

---

모르겠는거

노드(Node)

노드는 ComfyUI 같은 플랫폼에서 특정 기능을 수행하는 작은 단위입니다. 다양한 작업을 수행하기 위해 여러 노드를 연결하여 워크플로우를 구성할 수 있습니다.

1. ComfyUI_Fizz노드:
   • 기능: 프롬프트에 따라 이미지나 애니메이션의 특정 부분을 이동시키거나 변환하는 기능을 제공합니다.
   • 사용 사례: 이미지의 특정 영역을 강조하거나 움직이는 애니메이션 효과를 줄 때 사용합니다.
   • GitHub 저장소
2. ComfyUI-Advanced-ControlNet:
   • 기능: ControlNet을 Context Options와 함께 사용할 수 있으며, 특정 레이턴트(latent)만 영향을 받도록 제어하는 기능을 제공합니다.
   • 사용 사례: 이미지의 특정 부분을 세밀하게 제어하거나 수정할 때 유용합니다.
   • GitHub 저장소
3. ComfyUI-VideoHelperSuite:
   • 기능: 비디오 로딩, 이미지 결합, 다양한 이미지/레이턴트 작업(붙이기, 자르기, 복제, 선택, 카운팅) 등을 수행합니다.
   • 사용 사례: 비디오 편집이나 여러 이미지를 조합하여 비디오를 만들 때 사용합니다.
   • GitHub 저장소
4. comfyui_controlnet_aux:
   • 기능: 기본 ComfyUI에 없는 ControlNet 전처리기(preprocessor)를 제공합니다.
   • 사용 사례: 이미지나 비디오의 전처리를 수행하여 더 나은 결과를 얻기 위해 사용합니다.
   • GitHub 저장소
5. ComfyUI_IPAdapter_plus:
   • 기능: IPAdapter 지원을 추가하여 이미지 프롬프트를 활용한 이미지 생성 기능을 개선하고 확장합니다.
   • 사용 사례: 특정 이미지 스타일이나 구성을 반영하여 이미지를 생성할 때 사용합니다.
   • GitHub 저장소

모델(Model)

모델은 인공지능이 학습한 결과물로, 주어진 입력 데이터를 처리하여 원하는 출력을 생성합니다. 예를 들어, 애니메이션 모델은 주어진 이미지나 텍스트 프롬프트를 애니메이션으로 변환합니다.

1. AnimateDiff:
   • 기능: 이미지에서 비디오로 변환하거나 애니메이션을 생성하는 데 사용됩니다.
   • 사용 사례: 정지된 이미지를 움직이는 애니메이션으로 변환할 때 사용합니다.
2. LoRA (Low-Rank Adaptation):
   • 기능: 특정 작업을 위해 기존 모델을 더 효율적으로 파인튜닝할 수 있도록 하는 방법입니다.
   • 사용 사례: 대규모 모델을 빠르고 효율적으로 특정 작업에 맞게 조정할 때 사용합니다.

파인튜닝(Fine-Tuning)

파인튜닝은 이미 학습된 모델을 새로운 데이터로 재학습시켜 특정 작업에 맞게 조정하는 과정입니다. 예를 들어, 특정 스타일의 애니메이션을 만들기 위해 기존 애니메이션 모델을 추가적인 데이터로 학습시키는 것입니다. 이는 모델의 성능을 향상시키고, 특정 요구 사항에 맞게 최적화할 수 있게 합니다.

---

https://youtu.be/WHxIrY2wLQE

그 다음이 이거인듯