![](http://ac.namu.la/20230628sac/bddbd8c6cddec1d2f3e6d6308d3324d1922b6fbebfebb16050dd9b42e89c7261.png?expires=1719795600&key=2G9zBBLgQ6ejjRmf5AcNTw)
transformer 모듈에 붙는 lora rank와 똑같이 conv layer에 같은 rank로 적용하면
용량이 두 배가 되는데 학습된 결과물은 거의 비슷함
그래서 일부러 conv rank 바꿔보면서 학습 해보고
optimizer도 바꾸고 해보는데 늘어나는 용량 대비 효과는 잘 몰?루겟슴
transformer 모듈에 붙는 lora rank와 똑같이 conv layer에 같은 rank로 적용하면
용량이 두 배가 되는데 학습된 결과물은 거의 비슷함
그래서 일부러 conv rank 바꿔보면서 학습 해보고
optimizer도 바꾸고 해보는데 늘어나는 용량 대비 효과는 잘 몰?루겟슴