원본 로라는 마이크로소프트가 2021년에 발표했다. (https://arxiv.org/abs/2106.09685)


lora를 디퓨전 모델 학습에 응용할 생각을 맨 처음 한 사람은 누구일까?


오늘 diffusers 0.12.0버전 패치노트를 읽다가 이 내용이 있어서 놀랬음

LoRA was proposed in LoRA: Low-Rank Adaptation of Large Language Models. In the original paper, the authors investigated LoRA for fine-tuning large language models like GPT-3. cloneofsimo was the first to try out LoRA training for Stable Diffusion in the popular lora GitHub repository.


lora훈련할 때 쓰는 kohya_ss에서도 cloneofsimo/lora를 참고했다고 적어놓았다.

https://github.com/bmaltais/kohya_ss/blob/c0b4c9b6d4e97016e0ec0dad20fd57dcabbf1ec0/networks/lora.py#L4


그럼 cloneofsimo라는 사람의 깃허브를 가보자



링크의 페이스북을 들어가보면

머신러닝 논문 물어오는 아기고양이가 나온다

다들 팔로우를 눌러주자