LoRA_Easy_Training_Scripts 배치사이즈 적용되는사람?

AI그림 학습 채널

알림 알림 중 알림 취소

구독자 11428명 알림수신 185명 @포리X

그림 AI 학습 정보를 공유하는 채널

질문 LoRA_Easy_Training_Scripts 배치사이즈 적용되는사람?

토찌말찌

추천 0 비추천 0 댓글 7 조회수 279 작성일 2024-11-25 09:13:12

⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.

https://arca.live/b/hypernetworks/122196334

kohya_ss에서 넘어가려고 설치하고 세팅중인데

batch size를 늘여도 줄여도 vram 12GB에서 변동이 없어

12G면 kohya_ss에서는 6bach하면 속도가 5.5s/it 정도 나오고, 1 batch 넣엇을때 vram을 12기가쯤 쓰는데

easy에서는 batch size를 1로 해도 20으로 해도 12G 쓰면서

epoch수도 it당 소요시간도 총 스텝수도 바뀌지 않음.

혹시 batch 사이즈 별로 진행 내용이 바뀌는 사람?

댓글 [7]

톰보이사랑꾼

2024-11-25 09:28:24

배치 2로만해서 모르겠는데 일단 그라디언트2넣었을땐 시간이 늘어났던걸로 기억함 아마?도...

펼쳐보기▼

톰보이사랑꾼

2024-11-25 09:29:24

그나저나 속도개빠르네 4060ti는웁니다..

펼쳐보기▼

토찌말찌

2024-11-25 10:07:59

원인은 찾은것같음.. 데이터셋이 같은 크기가 거의 없어서 batch를 늘려도 제대로 안늘어나나봄. kohya에는 뭔가 추가 처리가 있나..?
repeat를 6으로 주고  batch도 6으로 주니까 kohya랑 거의 비슷하게 사용하게 됬음.

찾아보니까 말한거처럼 gradient accumuation이 batch랑 곱해져서 실질 batch처럼 동작하게 된다고하는데,
이건 늘려도 vram은 안먹고 속도만 느려지는듯. 
뭘 바꾸던 진행 step이 안바뀌어서 제대로 되는건 알수가 없네....

펼쳐보기▼

톰보이사랑꾼

2024-11-25 10:09:01

max스탭이 2000이라도 그라디언트나 배치늘리면 배치6일땐 총 학습량이 12000스탭인거고 그럴거임

펼쳐보기▼

토찌말찌

2024-11-25 10:09:56

*수정됨

테스트해보니 kohya도 최대스탭으로 학습 목표를 지정하면 batch따라서 안바뀌네 다시 확인해봐야겟다.
글고 동일 데이터셋은 kohya도 비슷하게 batch가 잘 안먹더라 내가 테스트한게 직접만든거라 좀 특이했나봐

펼쳐보기▼

몬TDAI

2024-11-25 12:02:40

리핏을 배치의 N배로 해버리면 지껄로 배치를 다 채워버려서 스텝수의 늘어짐이 없어짐
물론 N은 1도 포함이라서 배치 6 리핏 6 하면 같은 버켓사이즈의 이미지가 없더라도 자기 이미지 6장으로 배치 6을 채워버리니 스텝수는 고대로
... 근데 이게 배치1 리핏1과 뭔 차이가 있느냐는 몰?루
최소한 같은 사이즈의 다른 그림이 나오면 섞이기는 할텐데

펼쳐보기▼

토찌말찌

2024-11-25 12:04:16

*수정됨

내가 준비한 데이터셋이 사이즈가 곂치는게 거의 없어서 좀 특이한경우였떤듯. 
다른데이터셋으로 배치대로 vram도 잘 쓰는거 확인했어. 
ㄳㄳ

펼쳐보기▼

본 게시물에 댓글을 작성하실 권한이 없습니다. 로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 질문 공유 정보 리퀘스트 그림 운영

번호 제목

작성자 작성일 조회수 추천

광고 광고 강 력 한 힘

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 52601044

공지 리퀘스트 글 작성 가이드 [25-09-09]

포리X 2024.10.03 8447

공지 AI그림 학습 채널 통합 정보

포리X 2024.08.25 50987

공지 AI그림 학습 채널 규정 겸 신문고 [25-04-01]

포리X 2023.10.29 11316

공유 웹툰 리퀘스트 완성해봄 [1]

톰보이사랑꾼 2024.11.27 733 0

질문 로라에 1.2 가중치를 줘야 원하는 그림체가 나오는데 [3]

의문의부계정 2024.11.27 546 0

리퀘스트 그림체 리퀘 [12]

남극신사 2024.11.27 644 0

질문 정보게에 포니로 로라 연습했는데

다이라우다아 2024.11.27 142 0

질문 conv dim conv alpha 설정하는곳? [4]

라쿤 2024.11.27 210 0

질문 그림체 학습 데이터셋 어디서 구해? [1]

남극신사 2024.11.26 693 0

civit ai 제작 로라 과적합났네

Avalugg 2024.11.26 260 0

애니기반학습은 데이터가 너무많아도 문제네

톰보이사랑꾼 2024.11.26 266 0

질문 ntr mix쪽은 로라 잘 안먹어? [3]

남극신사 2024.11.26 842 0

시드고정하고 모든조건 동일하게 설정하고 해도 다르게나오네 [1]

코이코이 2024.11.26 245 0

질문 그림체 학습 처음 시도해보려는데 데이터셋을 어떻게 구성해야할까? [4]

남극신사 2024.11.26 1363 0

질문 AI로 뽑은걸 학습 재료로 쓸수있음? [2]

농농이 2024.11.26 468 0

질문 일주일차 뉴비 kohya_ss 로라 학습하려는데 도와주세요... [11]

palq 2024.11.26 936 0

질문 adafactor로만 학습하고있는데 프로디지는 장점이 뭐임? [8]

라쿤 2024.11.26 437 0

질문 형님들 GUI 로 SDXL 로라 훈련중에 답답해서 올려요 ㅠㅠ [2]

스테이블디퓨전 2024.11.25 390 0

질문 요즘에도 lora 학습할 때 데이터셋 이미지/배치 사이즈 = 자연수 이어야 하나요? [4]

seath 2024.11.25 404 0

2000스탭세팅은 오버핏이슈가 좀 있는듯 [1]

톰보이사랑꾼 2024.11.25 376 0

질문 의상 로라 학습 중인데 질문이 있습니다 [5]

ikidkekwi 2024.11.25 493 0

질문 캐릭터 관련 학습 질문 몇개좀 하겠습니다 형님들 [4]

AI토토리 2024.11.25 420 0

2000스텝 세팅 vs 내 세팅 비교 [5]

토찌말찌 2024.11.25 1560 0

kohya탈출하나 싶었는데 다시 회귀해버림....

토찌말찌 2024.11.25 245 0

그림 캐릭만뽑을거면 300스탭으로도 충분한거같은데... [8]

톰보이사랑꾼 2024.11.25 488 0

질문 LoRA_Easy_Training_Scripts 배치사이즈 적용되는사람? [7]

토찌말찌 2024.11.25 280 0

질문 손가락 삐꾸, 곱슬머리 난리나는 거 어떻게 개선하나요? [6]

bedovyy 2024.11.25 421 0

질문 ai 그림으로 학습해보려는데 조언좀해줘 [7]

남극신사 2024.11.25 797 0

로라 학습툴 lora easy train script도 깔아봐야지 [2]

토찌말찌 2024.11.25 358 0

그림 2000스탭학습법은 나한텐 진리 그잡채인듯... [12]

톰보이사랑꾼 2024.11.25 1399 0

연속학습 대성공 [2]

톰보이사랑꾼 2024.11.25 220 0

질문 2000스탭학습기 연속학습질문 [9]

톰보이사랑꾼 2024.11.24 392 0

리퀘가 다시 죽었네

DYS 2024.11.24 132 0

질문 디테일러 인페인팅자국이슈 [7]

톰보이사랑꾼 2024.11.24 493 0

질문 4060ti 16g 쓰시는분 있으면 질문점 [4]

lilina 2024.11.23 338 0

질문 오랜만에 왔는데 질문) civitai에서 Illustrious 학습 [1]

atwo 2024.11.23 373 0

m1 맥미니로도 점진적인 학습이 가능! Object Detection [2]

뿌리골무 2024.11.23 292 1

그림 이상성욕 로라 만들다보니 느껴지는 기술의 발전.. [3]

흡수타락좋아 2024.11.23 609 0

질문 뉴비 로라 생성 json파일만 나옵니다. [1]

iyheh 2024.11.22 1033 0

질문 4060ti 16긱이면 파워 500이면 갈아타야하나 [8]

lilina 2024.11.22 291 0

질문 캐릭터 14000스텝으로도 학습이 부족할수가 있어? [12]

캄비아 2024.11.22 834 0

그림 프로디지학습 대성공인데 태깅실수로 대참사

톰보이사랑꾼 2024.11.21 391 1

배치보다 그라디언트뭐시기가 VRAM 적게먹는데 맞음? [7]

톰보이사랑꾼 2024.11.21 254 0

공유 리퀘 로라 공유 ~11/22

DYS 2024.11.21 762 2

전체글 개념글