Comfy UI : ControNet확장 _depth/Scribble

comfy UI 설치는 앞의 글. 

https://ing-min.tistory.com/276

Mac _ intel _ 2019 _ Comfy UI_ 간단 설치

controlNet확장을 설치해보자.

---

일단, controlNet 확장?

1. 정확한 이미지 컨트롤

기본적인 텍스트 프롬프트(text prompt)만으로 이미지를 생성하는 것보다, 추가적인 가이드를 제공하여 원하는 스타일과 구도를 세밀하게 조정할 수 있음.

2. 여러 가지 ControlNet 모델 사용 가능

Depth 모델 포함 다양한 제어 모델을 사용할 수 있음.

예를 들어:
Depth (깊이 모델) → 3D 스타일로 변환하거나 입체감을 주는 데 활용
Canny Edge → 선을 강조하는 스타일 적용
Pose (OpenPose) → 인물의 포즈를 유지하며 스타일 변경 가능
Scribble → 낙서(스케치)에서 완성된 이미지로 변환
Normal Map → 표면 구조를 인식하여 더욱 입체적인 효과 부여

3. 기존 이미지 활용 가능

이미지에서 Depth Map을 자동 생성하여 이를 기반으로 새로운 스타일을 적용할 수 있음.
2D 이미지를 보다 입체적인 스타일로 변환 가능.
Stable Diffusion 및 ComfyUI 내에서 간편한 조작

 

1️⃣ ControlNet 확장 설치

cd ~/ComfyUI/custom_nodes
git clone https://github.com/Mikubill/sd-webui-controlnet.git

설치 후 ComfyUI를 다시 실행

 

2️⃣ Depth 모델 다운로드

ControlNet의 Depth 모델을 다운로드
📌 다운로드 링크:
https://huggingface.co/lllyasviel/ControlNet/tree/main/models

1. control_v11f1p_sd15_depth.pth 파일을 다운로드
2. 해당 파일을 다음 폴더에 이동

ComfyUI/models/controlnet/

3️⃣ ComfyUI에서 ControlNet Depth 모델 사용

실행.

 #가상환경 실행
 source venv/bin/activate
 
 #comfyUI실행
 python main.py

http://127.0.0.1:8188 

1. ComfyUI 실행 후 노드 편집 화면으로 이동(검은 배경 더블 클릭)
2. ControlNet Depth 노드 추가
   • ControlNet Loader
   • ControlNet Apply
3. control_v11f1p_sd15_depth.pth 모델을 불러오기
4. Depth 이미지 입력 (원하는 이미지 사용 가능)
5. 원하는 스타일과 설정을 조정하여 이미지 생성 실행 🎨

 

---

플러그인을 설치하면 쉽데..

📌 ControlNet Auxiliary Preprocessors란?

ControlNet Auxiliary Preprocessors는 ComfyUI에서 ControlNet을 사용할 때 필요한 전처리 도구(Preprocessor)들을 추가하는 확장 기능.
이 플러그인을 설치하면 ControlNet이 깊이(Depth), 윤곽선(Edge), 포즈(Pose) 등 다양한 이미지 정보를 분석할 수 있도록 도와줌

 

Preprocessor (전처리 노드)설명관련 ControlNet 모델

Depth (MiDaS, Zoe Depth, LeReS)

깊이(Depth) 정보를 감지하여 3D 스타일 적용

control_v11f1p_sd15_depth.pth

Canny Edge Detection

이미지 윤곽선 감지 (경계선 강조)

control_v11p_sd15_canny.pth

HED (Holistically-Nested Edge Detection)

더욱 세밀한 윤곽선 감지

control_v11p_sd15_hed.pth

Scribble (XDoG, Fake Scribble)

낙서(스케치) 스타일로 변환

control_v11p_sd15_scribble.pth

OpenPose

인물의 자세(포즈) 감지

control_v11p_sd15_openpose.pth

Normal Map

3D 모델링에서 표면 구조(입체감) 인식

control_v11p_sd15_normal.pth

Tile Resample & Upscale

이미지 해상도 조정 및 업스케일

control_v11p_sd15_tile.pth

https://github.com/Fannovel16/comfyui_controlnet_aux

GitHub - Fannovel16/comfyui_controlnet_aux: ComfyUI's ControlNet Auxiliary Preprocessors

 

✅ ComfyUI Manager로 설치 

1. ComfyUI 실행 후 "Manager" 탭 클릭 - custom nodes manager
2. "ControlNet Auxiliary Preprocessors" 검색
3. 설치 버튼 클릭
4. 설치 완료 후 ComfyUI 재시작

못찾음 그냥 수동설치

 

1. custom_nodes 폴더로 이동

git clone https://github.com/Fannovel16/comfyui_controlnet_aux.git

pip install -r requirements.txt
#추가 필요 패키지 설치

2. 설치 완료 후 ComfyUI 재시작

 

=> Preprocessor 노드 사용

🔹 ControlNet Auxiliary Preprocessors 사용법 (ComfyUI에서 노드 연결)

1️⃣ ComfyUI 실행 후 노드 추가

1. ControlNet Preprocessor 노드 추가
   • 예: "Depth Map Preprocessor" 노드 선택
   • (설치가 정상적으로 되었다면, Preprocessor 노드들이 추가됨)
2. ControlNet Loader 노드 추가
   • control_v11f1p_sd15_depth.pth 같은 ControlNet Depth 모델을 불러옴
3. 텍스트 프롬프트 입력 (CLIPTextEncode 노드 사용)
   • 원하는 이미지 스타일을 입력
4. ControlNet Apply 노드 연결
   • Depth Preprocessor → ControlNet Loader → ControlNet Apply 노드 연결
5. 샘플링 (KSampler) 후 VAE Decode를 거쳐 최종 이미지 생성

https://comfyanonymous.github.io/ComfyUI_examples/controlnet/

ControlNet and T2I-Adapter Examples

---