원본 로라는 마이크로소프트가 2021년에 발표했다. (https://arxiv.org/abs/2106.09685)
lora를 디퓨전 모델 학습에 응용할 생각을 맨 처음 한 사람은 누구일까?
오늘 diffusers 0.12.0버전 패치노트를 읽다가 이 내용이 있어서 놀랬음
LoRA was proposed in LoRA: Low-Rank Adaptation of Large Language Models. In the original paper, the authors investigated LoRA for fine-tuning large language models like GPT-3. cloneofsimo was the first to try out LoRA training for Stable Diffusion in the popular lora GitHub repository.
lora훈련할 때 쓰는 kohya_ss에서도 cloneofsimo/lora를 참고했다고 적어놓았다.
그럼 cloneofsimo라는 사람의 깃허브를 가보자
링크의 페이스북을 들어가보면
머신러닝 논문 물어오는 아기고양이가 나온다
다들 팔로우를 눌러주자