멀티컨트롤넷 + img2img batch 해본 결과.webp : https://arca.live/b/aiart/70890316
멀티 컨트롤넷 + video loopback 해본 결과 : https://arca.live/b/aiart/70940281
(속도 향상)멀티 컨트롤넷으로 움짤 뽑을때 중요한 사항 : https://arca.live/b/aiart/70966557
멀티 컨트롤넷 + video loopback 32프레임 다 뽑음 : https://arca.live/b/aiart/70993518
video loopback와 멀티 컨트롤넷 동시 사용시 팁 : https://arca.live/b/aiart/70995708
video_loopback 탐구 더해옴, 속도 단축 크게된듯 + 움짤 2종 : https://arca.live/b/aiart/71279877
그냥 나랑 똑같은값과 셋팅으로 실험 하지 말라고 올림
이거랑 동일한 셋팅으로 3시간씩이나 돌릴꺼면
파라미터 다른값으로 돌리고 값이랑 결과 공유하는게 더 좋잖아?
이하 본론.
전에만 해도 video loopback으로 몇loop를 돌려야 하는지도 모르고
32프레임 3loop 돌리는데 4시간이 나오는 상태였어서
6loop를 돌려야 한다면 8시간동안 그래픽카드를 갈궈야 32프레임이 나온다는 절망적인 상황이였는데
모델 재로딩 문제를 해결해서 속도가 조금 개선되었고
loop횟수도 3회면 충분하다는걸 알게 된 후에 생각해보니
3시간만 돌리면 된다고 판단되어서 큰맘먹고 돌려봄
img2img batch 없이
멀티 컨트롤넷 + video loopback 으로 했고
32프레임씩 3loop 돌리는데 3시간 걸렸음 (3080ti)
위에 3글+ 이번꺼 변경된 파라미터 총정리
프롬프트 :
<lora:Asuna_Soft:1>,1girl, asuna (blue archive), (perfect beautiful asuna (bunny) (blue archive):1.4), breasts, animal ears, solo, pantyhose, playboy bunny, rabbit ears, long hair, hair over one eye, striped background, blue leotard, official alternate costume, halo, thighband pantyhose, blue eyes, mole on breast, leotard, fake animal ears, armpits, large breasts, very long hair, mole, cleavage, detached collar, striped simple background , white footwear, full body, arms behind head, high heels, gloves, arms up, black pantyhose, standing, looking at viewer, strapless, strapless leotard, white gloves, blush, bangs, light brown hair, bow, smile, highleg,(Shadows on the walls:1.4)
요약 : Tagger로 분석한것 + 아스나LORA + 가중치 조금 변경 + 배경쪽 그림자 튀지마라고 그림자 강조
Negative prompt: (worst quality, low quality:1.4),3D,realistic,monochrome,nsfw,cameltoe,noise,jpeg artifacts,artifacts
요약 : 기본네거 + 야짤과 도끼자국 제거 + 노이즈 제거(효과는 모르겠음. 아마 미미하거나 없는것 같음)
Steps: 20,
Sampler: DPM++ 2M Karras,
CFG scale: 18, (Dynamic thresholding enabled 부분과 조합되는 수치)
Seed: 174396265,
Size: 1024x1536, (img2img 원본은 768*1152)
batch count : 4
Model hash: c330a60ddc, Model: 7th_anime_v3_A,
Denoising strength: 0.8,
Clip skip: 2,
Mask blur: 4,
ControlNet-0 Enabled: True,
ControlNet-0 Module: canny,
ControlNet-0 Model: controlnetPreTrained_cannyV10 [e3fe7712],
ControlNet-0 Weight: 0.6,
ControlNet-0 Guidance Start: 0,
ControlNet-0 Guidance End: 1,
ControlNet-1 Enabled: True,
ControlNet-1 Module: hed,
ControlNet-1 Model: controlnetPreTrained_hedV10 [13fee50b],
ControlNet-1 Weight: 0.6,
ControlNet-1 Guidance Start: 0,
ControlNet-1 Guidance End: 1,
ControlNet-2 Enabled: True,
ControlNet-2 Module: depth,
ControlNet-2 Model: controlnetPreTrained_depthV10 [400750f6],
ControlNet-2 Weight: 0.6,
ControlNet-2 Guidance Start: 0,
ControlNet-2 Guidance End: 1,
Dynamic thresholding enabled: True,
Mimic scale: 10,
Threshold percentile: 100,
Mimic mode: Half Cosine Up,
Mimic scale minimum: 3,
CFG mode: Half Cosine Up,
CFG scale minimum: 3
Video Loopback
input_directory : 원본 프레임들이 들어있는 폴더 경로 (줄여서 원본경로)
output_directory : 저장될 폴더들의 상위폴더(D:\Result 로 적어놓으면 D:\Result\230302_204932\output_frames\loop_1 이런식으로 자동적으로 분류 정리해서 저장해줌)
output_frame_rate : 32 (결과물이 mp4로도 저장되는데 그때 프레임레이트)
max_frames : 9999 (안건듬)
extract_nth_frame : 1 (32/1 = 32장)
loop_n : 3
superimpose_alpha : 0.7
이값을 0.3으로 loop 높게 가져가는 방법도 검토해봤는데
알파값 0.3으로 3loop 돈거랑 0.7로 1loop 돈거랑 거의 동일해보여서 시간이 아쉬워서 0.7 채택.
fix_seed : 체크함
reference_frames_directory : 원본경로!!!원본경로!!!원본경로
이거 엄청 중요함. 정보글 하나 따로 써야할정도로 중요함.
요약 : 멀티컨트롤넷이 2개면 원본경로!!!원본경로
멀티컨트롤넷이 3개면 원본경로!!!원본경로!!!원본경로
원본경로 말고 다른거 주고싶으면 경로1!!!경로2!!!경로3 일꺼임
그외 안건듬
결과물은 순서대로
이전글에 올렸던 멀티컨트롤넷 + img2img batch 32프레임(비교용)
loop1 32프레임
loop2 32프레임
loop3 32프레임
이전글에 올렸던 멀티컨트롤넷 + img2img batch 16프레임(비교용)
loop1 16프레임
loop2 16프레임
loop3 16프레임
입니다.
└ 멀티컨트롤넷 + img2img batch 32프레임
└ loop1 32프레임
└ loop2 32프레임
└ loop3 32프레임
└ 멀티컨트롤넷 + img2img batch 16프레임
└ loop1 16프레임
└ loop2 16프레임
└ loop3 16프레임
이쯤 오니까 이제 각자 취향의 영역인거 같아서
뭐가 더 좋다 라고 말은 못하겠는데
멀티컨트롤넷 + img2img batch 로 뽑은거랑 비교해보니까 훨씬 좋긴 하네
다시보니 선녀다
단점
개선할만한 방향성
1. 배경을 단색으로 하고 캐릭터만 뽑아서 배경을 합성하는게 퀄리티가 더 좋을거 같음.
2. 혹시 3D 영상을 만드는 과정에서 툴이 unity나 블렌더나 그외 기능 수정하기 용이한 경우,
정확한 depth을 동시에 추출하는게 좋을것같아보임
끝
정보글 마저 쓰러간다
