구독자 75207명
알림수신 1662명
인공지능으로 제작한 그림을 자랑하고 정보를 공유하는 채널
일반
Alpaca도 LoRA가 있네
추천
0
비추천
0
댓글
5
조회수
599
작성일
수정일
댓글
[5]
일론머스크
화인즈
ㅇㅇ
라붕붕쿤
arXiv.org
LoRA: Low-Rank Adaptation of Large Language Models
An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes less feasible. Using GPT-3 175B as an example -- deploying independent instances of fine-tuned models, each with 175B parameters, is prohibitively expensive. We propose Low-Rank Adaptation, or LoRA, which freezes the pre-trained model weights and injects trainable rank decomposition matrices into each layer of the Transformer architecture, greatly reducing the number of trainable parameters for downstream tasks. Compared to GPT-3 175B fine-tuned with Adam, LoRA can reduce the number of trainable parameters by 10,000 times and the GPU memory requirement by 3 times. LoRA performs on-par or better than fine-tuning in model quality on RoBERTa, DeBERTa, GPT-2, and GPT-3, despite having fewer trainable parameters, a higher training throughput, and, unlike adapters, no additional inference latency. We also provide an empirical investigation into rank-deficiency in language model adaptation, which sheds light on the efficacy of LoRA. We release a package that facilitates the integration of LoRA with PyTorch models and provide our implementations and model checkpoints for RoBERTa, DeBERTa, and GPT-2 at https://github.com/microsoft/LoRA.
화인즈
본 게시물에 댓글을 작성하실 권한이 없습니다.
로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
28558671
공지
AI 그림 채널 통합 공지 (2024-05-18)
600847
공지
( 진행중 ) 대회 관련 공지 / 현재 진행중인 대회
69968
공지
AI그림 채널 신문고
76166
공지
곤살레스(아카 AI) 관련 공지
12403
공지
본 채널은 AI 그림의 수익화를 반대합니다.
58126
공지
공지 정보글에 여러분들의 기여가 필요합니다
84696
숨겨진 공지 펼치기(2개)
그림
아사나기 로라로 보추만들기 실행한 결과
[1]
1099
1
일반
AI 그림챈을 만난 후 삶의 변화
[20]
1319
5
그림
쉬펄 어째 그림이 이상하더라니...
[4]
572
6
일반
Alpaca도 LoRA가 있네
[5]
600
0
일반
오 30B alpaca 모델 잘 돌아가네
[8]
521
0
그림
더 요망해진 타카기상
[4]
651
2
그림
날씨 소녀들
[1]
331
0
그림
고양이를 그리게 시켜서
[1]
274
2
그림
순수 사이보그 좋아하는분들이 좋아할 100% 기계 메카무스
[6]
734
0
일반
로라 수집을 멈출수가 없음
[1]
281
0
그림
그림AI 때매 삶의 질이 너무 달라짐
[2]
552
1
그림
어떤 의미론 무섭네요...
[3]
516
0
일반
유광패딩 나오게 하려면 뭐라고 쳐야될까
[1]
273
0
그림
(성인)옛날 셀카 2개를 i2i해봤는데...
[4]
685
0
그림
lora를 만들었는데... 뭔가 이상함
466
0
일반
헐 VIC-V1 로라 공유할때 파일 잘못올렸네
[1]
440
3
일반
lora 학습은 날잡아서 한 번씩 하게 되는듯
373
0
일반
AI그림... 멍청한 내가 사용하기엔 너무 어렵다.
[2]
656
0
그림
딸 아이와 메이플 월드 여행하기 78
[3]
351
3
그림
아빠와 딸(4) - 지옥같은 딸의 학교생활
[6]
1378
2
그림
헤어스타일 추천받습니다
[8]
798
0
일반
씹 망령들은 그림만보고도 모델 뭔지 알아내냐?
[14]
376
0
일반
novel ai는 실사체같은거 안되는가보네
[5]
771
-1
일반
당분간 Ai 그림 쉬어가야지
[6]
348
0
일반
Lora학습 한번 해보니까 자신감이 생겼다
493
0
그림
뭔가 꼴리는.. 표정
[2]
1060
3
일반
나 왜 comfyUI에서 hire fix할려고 개뻘짓함?
587
0
일반
ai짤 돌리다가 최근에 그림 공부 시작함
[7]
505
1