구독자 75296명
알림수신 1665명
인공지능으로 제작한 그림을 자랑하고 정보를 공유하는 채널
일반
Alpaca도 LoRA가 있네
추천
0
비추천
0
댓글
5
조회수
600
작성일
수정일
댓글
[5]
일론머스크
화인즈
ㅇㅇ
라붕붕쿤
arXiv.org
LoRA: Low-Rank Adaptation of Large Language Models
An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes less feasible. Using GPT-3 175B as an example -- deploying independent instances of fine-tuned models, each with 175B parameters, is prohibitively expensive. We propose Low-Rank Adaptation, or LoRA, which freezes the pre-trained model weights and injects trainable rank decomposition matrices into each layer of the Transformer architecture, greatly reducing the number of trainable parameters for downstream tasks. Compared to GPT-3 175B fine-tuned with Adam, LoRA can reduce the number of trainable parameters by 10,000 times and the GPU memory requirement by 3 times. LoRA performs on-par or better than fine-tuning in model quality on RoBERTa, DeBERTa, GPT-2, and GPT-3, despite having fewer trainable parameters, a higher training throughput, and, unlike adapters, no additional inference latency. We also provide an empirical investigation into rank-deficiency in language model adaptation, which sheds light on the efficacy of LoRA. We release a package that facilitates the integration of LoRA with PyTorch models and provide our implementations and model checkpoints for RoBERTa, DeBERTa, and GPT-2 at https://github.com/microsoft/LoRA.
화인즈
본 게시물에 댓글을 작성하실 권한이 없습니다.
로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
29185775
공지
AI 그림 채널 통합 공지 (2024-05-18)
603366
공지
( 진행중 ) 대회 관련 공지 / 현재 진행중인 대회
70157
공지
AI그림 채널 신문고
76486
공지
곤살레스(아카 AI) 관련 공지
12937
공지
본 채널은 AI 그림의 수익화를 반대합니다.
58474
공지
공지 정보글에 여러분들의 기여가 필요합니다
84965
숨겨진 공지 펼치기(2개)
그림
아까 질문글 보고서 나도 뽑고싶어졌음
[5]
1708
8
일반
novel ai 다시 써보는데
294
0
그림
처음으로 만들어 본 병합모델 베타버전
472
1
일반
뉴비 좀 살려줘 ㅠㅠ
[10]
1295
0
그림
병합했는데 사람보단 꽃그림을 잘뽑네...
[3]
356
1
그림
이거 마음에 드네
[2]
324
2
그림
와카에 로라 넣고 돌리니까 터지네
[1]
802
0
일반
지금 코렙 혹시 저만안댑니까?
[2]
406
0
그림
무방비한 것 같은데
[1]
478
0
그림
우리집 4자매 (애니메이션.VER)
[6]
683
5
그림
지뢰계, 멘헤라녀
[5]
934
2
그림
취향짤
[9]
443
10
그림
일주일간 정보 뒤지면서 해본 첫작업
[5]
1163
5
그림
내 그림체 취향이 마이너하긴 해
[4]
386
0
그림
아사나기 로라로 보추만들기 실행한 결과
[1]
1105
1
일반
AI 그림챈을 만난 후 삶의 변화
[20]
1321
5
그림
쉬펄 어째 그림이 이상하더라니...
[4]
574
6
일반
Alpaca도 LoRA가 있네
[5]
601
0
일반
오 30B alpaca 모델 잘 돌아가네
[8]
524
0
그림
더 요망해진 타카기상
[4]
658
2
그림
날씨 소녀들
[1]
333
0
그림
고양이를 그리게 시켜서
[1]
277
2
그림
순수 사이보그 좋아하는분들이 좋아할 100% 기계 메카무스
[6]
736
0