모델 호환성 따지고 옵션 손보고 온갖 개지달을 떨다가
어제 문득 눈에 띄어서 실험한 Debiased Estimation loss
희미하게 설명이 붙어있고
Automates the processing of noise, allowing for faster model fitting, as well as balancing out color issues
노이즈 처리를 자동화하여 더 빠른 모델 피팅은 물론 색상 문제의 균형을 맞출 수 있습니다
by 빠빠고

AI 재학습시의 색깔 개작나는걸 막아주나 싶어서 이걸 체크하고 시작
그러다 어제 댓글보고 mSNR하고 연관이 있나 싶어서 넣고빼고 4개 준비하고
내 의도대로라면 DEl 옵션을 뺀 쪽에서 색상이 개차반이 났어야 하는데 모조리 멀쩡하길래

???
혹시 웨이트캡션? 싶어서 이걸 도로 켜고 하나더

다 아니네
그래서 요 근래 학습에 바뀐게 또 뭐가있나 생각하다

밑에 념글의 출현으로 fp16을 bf16으로 바꿔 학습한게 생각남
아직 검증은 안 했는데, 출력물 재학습시에는 bf16으로 학습해야 개차반이 안 나나봄
조온나 열심히 삽질해놓고 결론은 소거법으로 내놓는게 좀 어이없긴 하지만 이거말곤 짚이는게 없음

테스트로라는 PixAI에 학습기능 생겼을때 학습데이터 업로드하는게 찝찝해서
AI출력물을 업로드하고 만든거 <- 사실상 이 사달의 주 원인
아무거나 호작질용으로 만든거였는데 잘 되는거에 놀라고 이미지 안 깨진거에 놀랐음

좌측부터 다섯개가 아침부터 주구장창 구워온거고 맨 우측이 PixAI 사이트에서 만든거
우측 두번째가 fp16으로 학습된거
전에 모델/학습데이터 실험할때도 죄다 fp16이었음

학습이 되고 안되고를 떠나서 이미지가 붕괴해버려서 사용을 못함
전부다 애니메풀 모델로 학습하고 (당연히 PixAI는 제외) 학습데이터는 어비스오렌지 2/3

후... 결국 기나긴 여정의 끝은 bf16이 마무리해주는건가
아마 모델별로 디자인, 특히 명암과 색상이 극과 극이다보니 fp16으로는 그 범위를 다 커버 못하는게 이유인가본데
정확한 건 알 수 없고
일단 실험한 김에 

DEl 옵션과 mSNR 옵션은 같이 써도 일단 별 탈은 없음

샘플이미지로 추정컨데 둘 다 같이 쓴 경우가 학습진도가 가장 빨랐음 (1회였으므로 맹신금물)

mSNR 0이나 5나 그나물이 그밥인데... 0으로 한 경우 기본값이 전에 얼핏 기억나기로 0.01XXX 였던거 같은데

괜히 bf16으로 학습하란게 아니네
특별히 단점도 없는거 같으니 조건이 맞다면 무.족.권 bf16으로 학습해라
조온나게 오래 걸리긴 했는데, 상위호환인 fp32로 학습했을때도 큰 문제가 없었음
당연히 멀쩡한 데이터셋을 준비했다면 fp16도 상관없겠고, 존나 밝은거 & 존나 어두운거 학습할때도 bf16쪽이 맞을듯
노이즈오프셋? 걍 로라 사용한 출력물이 살포시 어두워지는 효과만 나더라. 학습하는 자체로는 쥐뿔도 도움 안됨