stablediffusion_touchdesigner

 

다필요없고

이사람이 프로젝트 파일 올려줌

https://youtu.be/ye8RkgR3mwg

https://youtu.be/btf5hgYR3N0

 

설치 튜토리얼(진짜 천재다..)

https://youtu.be/62eARh_gRhE**

Timecode and Links: 00:00 - Intro 00:23 - Install TouchDesigner https://derivative.ca/ 00:33 - Install ComfyUI https://github.com/comfyanonymous/Com... 00:40 - Install ComfyUI Manager https://github.com/ltdrdata/ComfyUI-M... 00:57 - Download Stable Diffusion model https://civitai.com/models/4384/dream... 01:11 - Download VAE https://huggingface.co/stabilityai/sd... 01:20 - Download ComfyUI updates 01:30 - Install External Tooling nodes 01:40 - Generate image in ComfyUI 02:13 - Preparing Workflow for TouchDesigner 02:55 - Download TDComfyUI https://github.com/olegchomp/TDComfyU... 03:00 - Create a project in TouchDesigner 04:30 - Connect a webcam to Stable Diffusion 05:16 - Speed up Stable Diffusion (LCM, Latent Consistency Models LoRAs) https://huggingface.co/latent-consist... 06:55 - Example of generation in Photoshop 06:57 - Install OBS https://obsproject.com/ 06:59 - Install Spout OBS Plugin https://github.com/Off-World-Live/obs... 07:01 - List of Spout plugins https://spout.zeal.co/ 07:11 - Configure OBS and Photoshop 08:08 - Spout in TouchDesigner 08:22 - AutoCrop picture by Alpha channel. https://forum.derivative.ca/t/image-p... 08:50 - Create an interface 10:44 - Draw in Photoshop

 

 

https://github.com/comfyanonymous/ComfyUI

GitHub - comfyanonymous/ComfyUI: The most powerful and modular stable diffusion GUI, api and backend with a graph/nodes interfac

gui , stable diffusion

스타일 모델 다운로드

comfyUI _ models_ checkpoints에 넣기

마지막꺼다운로드 (뭘 향상시켜준데)

https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/README.md

README.md · stabilityai/sd-vae-ft-mse-original at main

(여기넣으래)

실행하려면 pythorch 깔린 윈도우여야하는것같은데

python main.py --force-fp16

로 실행하면됨..

 If you have another Stable Diffusion UI [you might be able to reuse the dependencies 흠..

나는 다른 스테이블 디퓨전이있는데..

 

 

https://github.com/olegchomp/TDDiffusionAPI/blob/main/README.md
간편한 설치(추가 라이브러리 및 스크립트 없음).

api 플래그로 A1111을 시작하고 .tox를 프로젝트에 끌어다 놓으면 바로 사용할 수 있습니다!
IMG2IMG 모드. TOP을 TDA에 연결하고 이미지 생성을 시작하세요.
스트림 모드. 자동 생성을 시작하려면 토글을 활성화합니다(라이브 모드).
멀티 컨트롤넷. 단일 세대를 위한 여러 컨트롤넷 입력. TOP을 TDA 컨트롤넷 TOP 입력에 연결합니다.
인페인팅. 마스크를 "inpaintMask" 입력에 연결합니다. img2img 전용.
스크립트 및 확장. 부분 지원, 모든 스크립트를 TD에서 실행할 수 있는 것은 아닙니다.
추가 도구. 고용 수정, 리파이너 지원.
체크포인트. TDA에서 바로 모든 체크포인트(A1111에서)를 선택할 수 있습니다.
업스케일. 모든 TOP을 TDA 엑스트라 TOP 입력에 연결하고 이미지를 업스케일합니다.
클립 인터로게이터. TOP을 TDA에 연결하고 클립을 심문하여 설명 프롬프트를 표시합니다.
주석. 이제 대부분의 매개변수에 도움말 정보가 표시됩니다. 매개변수에서 Alt + 롤오버 마우스를 길게 누릅니다.
이미지 저장. 이제 이미지를 폴더에 저장하거나 TOP에 마지막 이미지만 유지하도록 설정할 수 있습니다.
OSX 지원.
최적화. 안정적인 FPS 및 생성 속도 개선.

 

---

설치
AUTOMATIC1111 설치

https://github.com/AUTOMATIC1111/stable-diffusion-webui#installation-and-running

GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

 

Error code: stable-diffusion-webui $ -m pip install torch==2.0.1 torchvision==0.15.2

해결

python3.10 -m ensurepip --upgrade
python3.10 -m pip install --upgrade pip

 

실행

./webui.sh

웹 주소

web-user.bat에서 "--api" 플래그 설정
최신 TDA 컴포넌트 다운로드
TouchDesigner 프로젝트에 TDDiffusionAPI.tox를 추가합니다.
TDA 설정의 "종속성"에서 "새로 고침"을 실행합니다.

stable diffusion webui 폴더 경로에서

webui-user.bat 편집 :  위와 같이 적어주고 save as.

webui-user-api.bat

cmd에서 ./webui.sh  실행

http://127.0.0.1:7860/

 

 

>> AUTOMATIC1111 설치

https://ing-min.tistory.com/186

Deforum-Stable-Diffusion_AE_motionBro_part2..

 

----

---

어떻게 연결했는지 알고싶다면 아래.

https://youtu.be/4khcLvGjoX8

튜토리얼

https://beta.dreamstudio.ai/generate

DreamStudio

https://platform.stability.ai/

Stability AI - Developer Platform

(스테이블디퓨젼 api 관련문서)

---

터디에서 . (제일 밖)

1. Base생성.

2. base오른마우스 - componet Editor

add page : 수동으로 컴포넌트 생성

 

3. In base

- api를 저장할 text (dat)

- (dat)parameter excute  : POST를 보낼 노드 : 밖 base 노드의 컴포넌트랑 연결해줌.

    post - URL로 요청 보내는 것

- api에 엑세스를 위해 작성할 text 노드

-

---

https://www.youtube.com/watch?v=pgPgOKxW1V4

DAT 비쥬얼 code랑 연결하기

---

stable ai _API 문서

api access code

api call

generate

prompt를 터디에서 입력할거임 !!

부모노드의 파라미터중에 커스텀으로만든 Prompt 파라미터랑 연결해줌.

seed는  Int값을  가짐

저장하고싶으면 경로랑 기타등등 설정 변경해야함.

uuid는 생성된 이미지의 고유 ID 임 그래서 사진 이름으로 지정하기 적합. (덮어쓰기 안됨)

위의 내용들은 tex_apiCall에 작성된 코드임.

 

밖에서 프롬프트 작성하면됨.

프롬프트 작성하고 Send Request :  Pulse 누름