얼마전에 하던 겜하나가 섭종을 해서 추억팔이겸(?) 스타일 로라를 하나 만들려고 했더니만
뭣이 하는 족족 과적합이 나길래 어제오늘 날 잡아서 계산 요량으로 세팅값 바꿔가며 급속취사

이게 설명을 매번 봐도 헷갈리는것이
네트워크 DIM 값하고 알파값에 뭔 상관관계가 있는것마냥 죄다 기록되있는데
결론부터 말하자면

과적합(학습률)에 DIM값은 개코도 상관이 없음

뭐 알파/DIM 으로 기록했다가 그릴때 DIM/알파 가중해서 그리고...

다 개소리고 걍 알파값 따라 강해지는구나 생각하면 될겅미

그럼 DIM값은 머하러 있냐고?
이건 자체로 다른 특징이 있는데다(디테일)

알파값을 DIM 이상 놓지말라는 일종의 추천? 제한? 사항이 있으므로 그걸 고려하면 됨


일단 학습 데이터셋이 좀 특이해서 잠깐 언급하고 넘어가자면
인게임 스샷이다보니, 게임의 구조적인 특징을 따라갔는데
분재형 옷갈아입히기 장르로 얼굴 윤곽선이 "똑같고" 눈코입복장 등을 갈아치우는 식

그래서 학습할때 유사한 이미지를 동일한 것으로 간주하지 않나? 싶은 느낌이 없지않아 있는데
그건 내가 고민해야 할 요소고
학습데이터가 이런 식이라
얼굴 윤곽선(눈코입말고), 얼굴의 위치 (중앙 상단) 이 두가지 요소가 학습될거라 기대

처음에 데이터 다 때려박고
첫 학습시에는 DIM/alpha 값이 무슨 의미가 있나? 싶어서, 반절인 128/64로 세팅하고 학습

... 냄비까지 타버림

더 해봤자 시간낭비겠다 싶어서 데이터 반절 걷어내고 해상도 낮추고 배치 올려서 학습시간을 1시간 반 정도 걸리게 추려내서 DIM/알파 바꿔가며 4가지 제작

해상도 512 로
DIM 128 - alpha 64, 8, 1
DIM 32 - alpha 8 (위의 8과 비교용)
이렇게 네가지를 만들고, 32/8 하고 128/8 두가지가 별 차이 없는걸 보고 알파 1로 세팅해서 재제작

표시된 이외의 조건은 동일. LR 0.0001, SNR 5

768 / 512 끼리 학습데이터 양이 다름
좌측 - 아침에 만든거. 배치 4 18000스텝. 알파 1
2번째 - 알파 1
3/4번째 - 알파 8
5번째 - 젤첨에 한거
6번째 - 알파 128

5번째는 알파 64이긴 한데, 총스텝수가 많아서 더 심하게 과적합이 남. 가중치 0.7이하로 내리지 않으면 못 써먹을 정도
그 외에는 의도적으로 알파값순으로 배치했고, 같은 LR, 같은 스텝일때 알파값 순으로 강하게 학습됨

DIM값이 다른건 결과는 달라지는데 학습강도와 과적합여부는 동일

3/4번째 가중치 0.8 정도 해주면 그림이 깨지는게 어느정도 회복


저번에 학습데이터 수와 무관하게 리핏x에포치는 유지되어야 한다라고 한 번 적었었는데
그것도 데이터 나름인 듯
이번 학습조건은 768 이미지 (18000스텝) 기준으로
9000장, 리핏 1, 에포치 8, 배치 4