뭐 대애충 huber 손실함수는 독 마비 내성 증가하듯 이상한 데이터 내성이 증가하고
MSE(기본값) 손실함수는 세부표현력이 증가한다는데

아니 그래서 뭐가 어떻게 좋아지는데요
이넘의 로라 학습은 도대체가 A하면 B된다라고 명시적으로 되 있는게 단 하나도 없음
내가 학습관해서 명확하게 말 할수 있는게 딱 두가지가 있음
1. 학습 적게하면 개코도 영향력 안나옴
2. 존나게 학습하면 과적합남
... 시부럴



하여간 신규 기능을 만들었고 써보라고 추천값도 넣어줬으니 비교는 해보자
코햐씨의 추천값은
--loss_type smooth_l1 --huber_schedule snr --huber_c 0.1

1. 암것도 안 넣은 거
2. --loss_type smooth_l1 --huber_schedule snr --huber_c 0.1
3. --loss_type smooth_l1 --huber_schedule snr --huber_c 0
이렇게 세개의 로라를 만들었고 huber_c 1 이건 만들까 말까 싶은데

일단 명시적으로 설명이 안 되어 있는데, 뇌피셜로 huber_c 값은
로스타잎 스무스에서 huber로 시작하여 MSE로 넘어갈때 값이 변화하는 스케쥴(위에서는 SNR)에 걸리는 가중치 같음
즉 SNR대비 로스타잎이 MSE로 점차 바뀌어 나가는데, 그 변화량을 10%로 억제한다는거
그럼 huber_c 0 ??? 0니까 뭔 지달을 해도 0로 억제한다는거고 이건 곧 걍 --loss_type huber 하고 같은 결과겠지?



해서, 학습 로그

암것도 없음

steps: 100%|██████████████████████████████████████████████████| 10920/10920 [2:41:48<00:00,  1.12it/s, avr_loss=0.0861]


                         --loss_type smooth_l1 --huber_schedule snr --huber_c 0.1

steps: 100%|███████████████████████████████████████████████████| 10920/10920 [2:36:06<00:00,  1.17it/s, avr_loss=0.262]


                         --loss_type smooth_l1 --huber_schedule snr --huber_c 0

steps: 100%|███████████████████████████████████████████████████| 10920/10920 [2:37:22<00:00,  1.16it/s, avr_loss=0.413]


일단 눈에 띄는 차이점은 로스값이 오만상 튄다
MSE 손실함수가 로스를 확 줄이는 모양인데 0.413이면 이거 로라로써 기능은 하나? 싶은 느낌인데

만들어놓고 결과비교하니
품질은 뒤로갈수록 미묘하게 개차반이고(뭔가 학습 덜된 느낌)
재료에 AI이미지를 소량 섞고 했더니(이상데이터) 그 영향력이 완화되는 느낌. huber_c 0는 색상이 매우 안정화되었다



옵션이라 뭐가 정답이다 이딴건 없고
학습데이터가 100장인데 희안하게 그중 1장 달랑있는게 존나게 튀는 듯한 느낌이 든다던가 뭐 그런 상황에서 요긴하게 쓰일듯
물론 이 옵션에 안 기대고 걍 그 한장을 제거하고 학습하는 방안도 있다. 선택은 각자의 몫