Linear와 Softsign으로 깎기 - AI그림 학습 채널

AI그림 학습 채널

알림 알림 중 알림 취소

구독자 8791명 알림수신 126명 @Anon

그림 AI 학습 정보를 공유하는 채널

그림 Linear와 Softsign으로 깎기

대범한_파란_거미

추천 2 비추천 0 댓글 6 조회수 214 작성일 2022-11-30 10:58:11

https://arca.live/b/hypernetworks/64195361

Linear (학습 초기사진들을 새로 학습하는 과정이 다 지워버려서 못넣음)

Softsign (이쪽은 초기 사진만 있음) ~768step

논문 몇개 읽고 역시 Linear여야 하나? 하고서 한 31000스텝 돌렸는데

어째서 Softsign이 잘 나오는걸까? Cross Attention은 분명히 Linear functions들로만 구성한다고 했는데...

대학원이 답이다

솔직한_노란_외계인

2022-11-30 11:03:24

답답한_핑크_고래

2022-11-30 11:04:41

Activation function 말하는거면 Linear는 쓰는거 아님

펼쳐보기▼

대범한_파란_거미

2022-11-30 11:06:34

최근에 Linear가 사실 좋을수도? 라고 의견들이 있고 어텐션쪽이 Linear transformation -> softmax로 map를 구하는 식이라서 일리가 있군...! 했지만
결과가 미묘하고 심하게 과적합나는게 너무 보여서... 케이스가 적어서 그런건지는 몰?루

펼쳐보기▼

답답한_핑크_고래

2022-11-30 11:08:29

*수정됨

우리는 트랜스포머 전체를 튜닝하는게 아니라 거기 안에 있는 Linear layer 부분만 바꿔서 튜닝해볼려는 거라서 Linear를 쓸려면 여러 layer를 박아야하고 그럴거면 그냥 ReLU나 swish mish같은거 하나로 때우는게 나음

펼쳐보기▼

대범한_파란_거미

2022-11-30 11:11:50

같은 생각인데 크로스 어텐션이나 언어쪽에도 이를 비선형으로 하면 어떻게 되는지는 없더라.. 
Trainable parameter니까 사실 그냥 비선형으로 해도 되는데 hypernetwork 원 논문이 Linear(1,1)라서 다 따라한케이스인가

펼쳐보기▼

답답한_핑크_고래

2022-11-30 11:13:50

보통 이런쪽 논문들은 하니까 되던데요? 같은거라 어떤 방법을 썼든 결과 잘나오면 장땡인거임...

펼쳐보기▼

본 게시물에 댓글을 작성하실 권한이 없습니다. 로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 정보 그림 드림부스 임베딩 하이퍼

번호 제목

작성자 작성일 조회수 추천

공지 [완료] 서비스 장애 안내

*ㅈㅅ 2024.05.11 10335

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 28196176

공지 파딱 마음대로 작성한 AI그림 학습 채널 규정 - [24-01-24]

포리X 2023.10.29 2012

공지 [리퀘스트] 탭이 추가되었습니다.

선한_하얀_사자 2023.02.10 3390

공지 신문고

Anon 2023.02.21 3184

공지 각종 학습파일 적용법

거만한_보라_달팽이 2023.01.24 39391

공지 그림 학습법 모음

거친_핑크_외계인 2022.10.30 72454

숨겨진 공지 펼치기(1개)

163 그림 LORA 4일 연습!! [3]

대범한_갈색_달팽이 2022.12.26 774 4

162 그림 이 그림체 웬지 모르게 좋네 ㅋㅋ

순진한_은색_캥거루 2022.12.26 639 1

161 그림 학습중... [4]

수수한_금색_코끼리 2022.12.22 404 1

160 그림 드림부스 학습했는데 왜 이런게나오는지;;? [8]

야무진_핑크_사슴 2022.12.17 610 1

159 그림 드림부스 베른 카스텔

굼뜬_핑크_사슴 2022.12.13 260 0

158 그림 데이터 주의 )Blue Gㅋ 모델 샘플그림 들

정중한_빨간_외계인 2022.12.13 437 0

157 그림 학습한 그림체병합 [2]

시크한_밤색_벌 2022.12.12 632 1

156 그림 픽셀만 학습한 결과

난처한_파란_참새 2022.12.10 799 1

155 그림 챈에 올라와있는 태그 쓰니깐 다르네 [3]

정중한_분홍_쥐 2022.12.07 427 0

154 그림 임베딩 학습후

예민한_파란_거위 2022.12.07 693 2

153 그림 드림부스 해보겠다고 까불던 챈붕이임 (5:21am 그림 추가) [1]

순진한_노란_낙지 2022.12.05 435 2

152 그림 진짜 애니띵이랑 병합하니까 훨씬 예뻐지네 [1]

슬픈_분홍_토끼 2022.12.05 780 3

151 그림 드림부스가 확실히 화풍은 잘 학습시키긴하는데 [11]

싹싹한_갈색_상어 2022.12.04 1863 2

150 그림 나는 이 날을 위해 살았다...! [2]

순진한_남색_개구리 2022.12.04 428 4

149 그림 하이퍼 네트워크 캐릭터 학습 + 그림체 학습 병합 test

선한_청록_사자 2022.12.04 474 2

148 그림 하이퍼 학습시 캐릭터 특징을 태그에서 제거할경우 [5]

둔한_노란_하마 2022.12.03 492 4

147 그림 아니 이건 과적합이냐 뭐냐.. [19]

굳센_빨간_개구리 2022.12.03 694 0

146 그림 1개 더 완성

행복한_까만_표범 2022.12.02 201 1

145 그림 이건 무슨 요리임?? [4]

훈훈한_갈색_하마 2022.12.02 209 3

144 그림 waifu돌려도 화질구진데 어떡하냐..

난처한_청록_곰 2022.12.02 277 0

143 그림 Hypernetwork Monkeypatch Extension <- 이거 잘되네요!! [5]

기쁜_청록_너구리 2022.12.02 867 6

142 그림 드림부스 + 캐릭터 하이퍼 쓰기 [8]

상냥한_은색_부엉이 2022.12.01 545 3

141 그림 화질구지 데이터셋 살리기가능? [13]

시크한_주황_쥐 2022.12.01 368 2

140 그림 하이퍼넷 학습중... [1]

싹싹한_노란_올빼미 2022.11.30 201 3

139 그림 Linear와 Softsign으로 깎기 [6]

대범한_파란_거미 2022.11.30 215 2

138 그림 차가 좋다 [1]

흉악한_파란_호랑이 2022.11.30 400 5

137 그림 밤중에 돌린 학습 [2]

정중한_핑크_벌 2022.11.29 249 3

136 그림 애니띵 + 아사 0.8 병합 버튜버 [11]

굼뜬_밤색_부엉이 2022.11.29 681 4

135 그림 하이퍼넷 학습 중... [6]

순박한_주황_말 2022.11.29 234 4

134 그림 그림에서 중요한건 표현력이지 그림체가 아니다 [16]

겸손한_청록_나비 2022.11.29 1659 12

133 그림 혹시 뱃살 늘리는 태그 뭐 없을까? [5]

착한_초록_수달 2022.11.28 906 2

132 그림 木shiyo 작가 하이퍼넷 학습 진행중... (40K) [2]

까칠한_초록_나비 2022.11.28 376 3

131 그림 DFU 써봤음 [7]

굼뜬_남색_고래 2022.11.28 366 3

130 그림 모모코인줄 알았겠지만 [1]

훈훈한_밤색_늑대 2022.11.28 261 1

129 그림 새 작가, 하이퍼 학습 중... (16K) [4]

소심한_밤색_익룡 2022.11.27 458 3

128 그림 이건 과적합인가..? [9]

호탕한_밤색_나비 2022.11.27 681 2

127 그림 깎는다 나는 하이바라 [5]

시시한_노란_거북이 2022.11.27 284 2

126 그림 각종 데이터셋 섞어서 학습해보기 [2]

의젓한_핑크_박쥐 2022.11.27 221 2

125 그림 집단지성으로 뽑은 모델 [6]

얌전한_분홍_나비 2022.11.26 421 2

124 그림 하이바라 테스트는 계속된다 [4]

소탈한_밤색_너구리 2022.11.26 194 2

123 그림 하..눈만 안깨지면 완벽한데.. [7]

야무진_남색_낙지 2022.11.26 353 3

122 그림 하이퍼에서의 임베딩 언저리 역할 [1]

엉뚱한_남색_거위 2022.11.26 204 1

121 그림 애니띵으로 학습해보기 [4]

소심한_파란_오징어 2022.11.24 263 2

120 그림 Train_gamma로 학습한 하이바라 아이 [6]

시시한_금색_까마귀 2022.11.24 350 2

119 그림 학습) 오, CP 모델 그림 티 나네.

분노한_은색_닭 2022.11.24 292 2

전체글 개념글

사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.