LLaMA 13B VRAM 8GB에서 돌아감 - AI 채팅 채널

AI 채팅 채널

채널위키 알림 알림 중 알림 취소

구독자 10322명 알림수신 226명 @몽상봉인

AI와 대화하며 유사 인싸체험 하는 채널

일반 LLaMA 13B VRAM 8GB에서 돌아감

1000

추천 4 비추천 0 댓글 1 조회수 399 작성일 2023-03-14 15:25:33 수정일 2023-03-14 15:26:12

https://arca.live/b/characterai/71822006

2070S인데 알아서 최대 VRAM 7로 잡히고 (설정하는 인자도 있음) 잘 돌아가더라 8G에서 13B 되는지 궁금해 하는 사람 좀 보이길래 씀 속도는 기대 ㄴ 물론 4bit

댓글

2023-03-14 15:59:39

그럼 7b는 어떻게 속도까지 나올듯

펼쳐보기▼

본 게시물에 댓글을 작성하실 권한이 없습니다. 로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 일반 질문 뉴스/팁 AI대화 공지 운영 뉴스(공사중)

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 28415871

공지 안 읽으면 죽어버리는 AI 채팅 채널 이용규정 [23.09.18]

몽상봉인 2023.05.22 47884

공지 AI 채팅 채널에 왔으면 이것부터 : 필수정보 및 FAQ

몽상봉인 2023.05.22 98587

공지 신문고 MK.IX (해줘. 할때 쓰는 곳)

몽상봉인 2024.03.19 7950

공지 ㅡㅡ [ AI 게임 / 기획 / 리뷰 대회 ' J.O.A.T ' 개최 ] ㅡㅡ

골든햄스터 2024.03.31 4181

공지 [천박 대회 2회차 주최] 대놓고 천박한 봇을 만드는 대회!

hyeoyoms 2024.05.01 1558

공지 ---[천박 대회 순위 발표!]---

hyeoyoms 2024.04.26 1980

공지 [DOL 봇 대회 수상자 발표]

WH_ 2024.04.27 1489

공지 AI 채팅 채널 프록시 게이트

몽상봉인 2023.07.12 21963

숨겨진 공지 펼치기(4개)

질문 OAI기준 태번 1.3, 태번 모드 차이 얼마나 남?? [4]

컬러노트 2023.03.14 378 0

일반 GPT4의 검열이 심해졌다 한들

쁘띠노멘클라투라 2023.03.14 294 0

일반 GPT4 성능이 뛰어나진 대신 검열도 더 심해졌다고? [9]

yellow 2023.03.14 724 0

일반 GPT4.0이 비싸다는 소식을 듣고 자다 일어나서 달려옴 [4]

컬러노트 2023.03.14 415 0

일반 뉴비 주말부터 llama 설치가 안돼서 삽질하다가 [1]

으르렁 2023.03.14 365 2

일반 GPT4 한국어 채팅 성능 돌았네 [18]

ㅇㅇ 2023.03.14 1255 7

일반 아니 oai야 이게 맞니? [5]

ㅇㅇ 2023.03.14 438 0

뉴스/팁 [속보] gpt-4 소개페이지~~!! [3]

제로니 2023.03.14 678 6

뉴스/팁 GPT-4 라이브 스트리밍 [5]

던전빌런 2023.03.14 723 7

일반 아 그냥 novelai api 쑤셔박고 써야겠다 짜증난다 [2]

빅함무라비맨 2023.03.14 419 0

일반 아이 미친 Oai 태번에도 검열이 있네 [2]

빅함무라비맨 2023.03.14 412 0

AI대화 oai 무섭네 [2]

하루9시간풀수면 2023.03.14 449 1

일반 요즘 AI들 왤캐 무섭냐? [6]

일상성욕자 2023.03.14 470 6

일반 라마 13b 돌려봤음 [1]

Kkkk 2023.03.14 323 0

AI대화 RPG 세선 1일자 - 다크 RPG 세계관에서 TS치트로 보스 하렘 꾸리기

madom 2023.03.14 382 5

일반 5년 늦게 태어났어야 했는데 [8]

KCSF 2023.03.14 303 0

일반 피그돌리다가 골때렸던기억 [7]

사과 2023.03.14 208 0

일반 잠깐 안 온 사이에 뭐가 많이 바뀌었네

무지성 2023.03.14 131 0

일반 조금만 끄적거려도 시간 살살 녹네

냥냥멍멍야옹월월 2023.03.14 136 0

일반 LLaMA 13B VRAM 8GB에서 돌아감 [1]

1000 2023.03.14 400 4

일반 llama 4bit 30b 구동성공함(스레드 억까당한사람오세요).. [8]

곰주 2023.03.14 562 3

일반 구글 Lamda와 챗봇, CAI 관련 이야기 [10]

관련자 2023.03.14 1196 17

일반 이게 왜있노? [9]

ttlzones 2023.03.14 296 0

질문 LLama 속도를 줄이고 메모리 부족을 회피하는 방법 없음? [19]

pepsiski 2023.03.14 524 0

일반 구글이 공개한거 혹시 이거아님? ㅋㅋㅋㅋ [6]

검검 2023.03.14 438 -1

일반 이게 존재의 가벼움인가 [3]

ㅇㅇ 2023.03.14 169 0

뉴스/팁 PALM API 공개 [7]

유미전용개목줄 2023.03.14 847 12

일반 폐기 예정 저건 뭐야? [1]

와우 2023.03.14 158 0

질문 태번 일본어 [8]

mrhentai 2023.03.14 288 0

일반 아 cai좀 제발 되돌려줘 [8]

가면안돼 2023.03.14 460 1

질문 이런거 회피 가능한 방법없음? [3]

마늘치킨맨 2023.03.14 292 0

질문 개인적으로 OpenAI 밴 당할 수도 있으니까 VPN킨다고 하는게 이해가 안됨 [10]

검검 2023.03.14 629 0

질문 Oai 태번 대화 구조가 반복되는 건 뭐가 문제임? [3]

ㅇㅇ 2023.03.14 357 0

일반 CAI RPG플레이하는데 코미디가 따로 없네 [2]

madom 2023.03.14 308 2

일반 올때마다 뭔가가 자꾸 새로 생기네 [3]

ㅇㅇ 2023.03.14 144 0

일반 CAI 오늘은 또 갑자기 성능 괜찮네? [6]

Novograd 2023.03.14 460 1

일반 1.3 태번은 스와이프 기능이 너무 강력함. 모드 태번으로 못 돌아갈 것 같음. [8]

라키 2023.03.14 399 0

일반 oai 맛보다가 피그 쓰니까 너무 고통이다 [5]

ㅇㅇ 2023.03.14 238 0

뉴스/팁 캐릭터 클라우드 비활성화하기(수정) [2]

ㅇㅇ 2023.03.14 222 2

전체글 개념글