PEFT 중에서 주로쓰는 기법들이 무엇이 있을까요? - Ai 언어모델 로컬 채널

Ai 언어모델 로컬 채널

알림 알림 중 알림 취소

구독자 3412명 알림수신 168명 @바바리맨

제한없는 언어모델을 위한 채널

질문 PEFT 중에서 주로쓰는 기법들이 무엇이 있을까요?

추천 0 비추천 1 댓글 9 조회수 593 작성일 2024-04-30 05:49:12

⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.

https://arca.live/b/alpaca/104970386

허깅페이스에 공개된 로컬모델들을 보니 LoRA가 대부분이고 이외에 Quantization인 GPTQ나 AWQ정도인데, 혹시 다른 기법들이 또 있을까요?

댓글 [9] 글쓰기

ㅇㅇ (119.200)

2024-04-30 06:00:29 삭제 수정 답글

저는 안 써봤는데 IA3도 있는 거 같아요

펼쳐보기▼

2024-04-30 06:20:44 답글

아 IA3도 있군요! 감사합니당

펼쳐보기▼

ㅇㅇ (61.33)

2024-04-30 06:30:10 삭제 수정 답글

환경상 qlora 만 쓰고 있긴한데 고도화가 어렵더라구요

펼쳐보기▼

2024-04-30 07:31:27 답글

역시 LoRA나 그외 베리에이션이 인기가 많군여

펼쳐보기▼

2024-04-30 06:52:51 답글

qdora있습니다. 양자화인 bitsandbytes(bnb) + dora

펼쳐보기▼

2024-04-30 06:53:25 답글

https://www.answer.ai/posts/2024-04-26-fsdp-qdora-llama3.html

Answer.AI - Efficient finetuning of Llama 3 with FSDP QDoRA

We’re releasing FSDP QDoRA, a scalable and memory-efficient method to close the gap between parameter efficient finetuning and full finetuning.

2024-04-30 07:31:44 답글

우왕 감사합니다! Qdora는 첨들어보네요

펼쳐보기▼

ㅎ헤ㅔ헤헤헤

2024-04-30 08:44:28 답글

peft에는 없지만 VERA라는 기법도 있습니다.
https://t.co/5XDazOK5AY
LoRA에서 파생된 기법입니다.

펼쳐보기▼

2024-04-30 08:57:21 답글

오홍 이것도 한번 읽어보겠습니다, 감사합니다!

펼쳐보기▼

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 28619173

공지 Ai 언어모델 로컬 채널 이용규정

바바리맨 2023.04.18 6024

공지 뉴비에게 도움 되는 글 모음

바바리맨 2023.04.18 27177

공지 언어모델 관련 정보취득 /무료체험 가능 사이트

바바리맨 2023.04.18 8939

공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원

바바리맨 2023.08.01 5123

공지 신문고

바바리맨 2023.04.18 2259

숨겨진 공지 펼치기(1개)

4227 일반 흥미로운 일/영 번역모델이 나왔네요 [6]

한가운데 2024.05.23 473 5

4226 질문 unsloth에서 device map 설정 방법 아시는 분 계실까요? [2]

ㅇㅇ (58.234) 2024.05.23 236 0

4225 질문 전력공학이나 전기공학 학습용 데이터같은것도있을까요? [1]

ㅇㅇ (1.235) 2024.05.22 231 0

4224 정보 mistral 7b 0.3출시 [5]

jackofmaster 2024.05.22 726 8

4223 일반 영향 있는 Lora 만드려면 몇번쯤 돌려야 하는거임? [1]

세법상법 2024.05.22 338 1

4222 스터디 딥러닝모델의 망각증상 (Catastrophic Forgetting)에 대한 고찰 [12]

hkhk 2024.05.22 840 31

4221 질문 contex 개념 좀 한번 잡아주세요 [4]

ㅇㅋㄹ 2024.05.22 270 0

4220 일반 Gemini 1.5 Flash 출시

pussydestroyer 2024.05.22 330 2

4219 스터디 TinyStories-Korean 모델 학습 결과 [6]

hkhk 2024.05.22 687 20

4218 일반 클로드 앤스로픽 블로그 - 소넷의 내부 작동을 이해했다 [6]

al06r 2024.05.22 435 8

4217 일반 님들 책 한권씩만 추천해줘요 [3]

세법상법 2024.05.22 319 1

4216 질문 aphrodite-engine 모델 서비스 [8]

ㅇㅇ 2024.05.22 348 0

4215 일반 phi-3 small/medium 나왔네요 [15]

딸기맛봇치 2024.05.21 1386 17

4214 질문 모델 받는중 오류 [2]

Thomas_Shelby 2024.05.21 312 0

4213 일반 트랜스포머를 rnn으로 업트레이닝 [2]

ㅎ헤ㅔ헤헤헤 2024.05.21 420 5

4212 일반 이번에 업데이트된 chatgpt 4o진짜 코딩할때 짱이네요. [6]

끼랑까랑 2024.05.21 1129 15

4211 질문 런팟 GPU 0개 질문 [7]

ㅇㅇ (116.124) 2024.05.21 361 1

4210 질문 정말 간단한 용어에 대한 질문인데 헷갈려서요.. [6]

초당옥수꾸 2024.05.21 443 0

4209 일반 gpt 최신 버전 무료로 이용할 수 있는 사이트 [3]

pussydestroyer 2024.05.20 837 8

4208 질문 파인튜닌 할때 어떤거 사용하시나요? [4]

ㅇㅇ 2024.05.20 518 2

전체글 개념글

사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.