로컬에서 돌리려면 4비트정도면.. VRAM 몇 기가나 필요할까요? 데모버전 써봤는데 너무 만족스럽네요.
3090 블로워가 4대가 있고, GPU 서버가 있기는 합니다.
구독자 3792명
알림수신 191명
제한없는 언어모델을 위한 채널
일반
커맨드 R 플러스 로컬에서?
추천
1
비추천
0
댓글
6
조회수
610
작성일
댓글
[6]
글쓰기
jackofmaster
감별사
jackofmaster
감별사
ㅇㅇ (210.91)
삭제
수정
감별사
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
36234615
공지
Ai 언어모델 로컬 채널 이용규정
Ai 언어모델 로컬 채널 이용규정
7354
공지
뉴비에게 도움 되는 글 모음
뉴비에게 도움 되는 글 모음
33470
공지
언어모델 관련 정보취득 /무료체험 가능 사이트
11249
공지
여러분의 학습에 도움을 줄 수 있는 하드웨어 지원
7004
공지
신문고
3177
숨겨진 공지 펼치기(1개)
4641
질문
서빙 없이 16*4GB에 70B 모델 불러오는 방법 뭐가 있을까요?
[2]
429
0
4640
일반
Ghost 8B Beta 1608: 한국어 공식 지원 멀티링규얼 모델
[3]
755
8
4639
일반
뉴비ㅈㅅ) 라마3.1 돌리려는데 ollama랑 그냥 로컬로 돌리는거랑 차이가 뭘까요..?
[7]
766
0
4638
일반
16*4 GB로 70B모델 돌리는거 엄청 헤맸네
[8]
804
1
4637
질문
학습용 말뭉치 만들 때 전처리 어떻게 하시나요?
268
0
4636
정보
라마3.1 8b vllm으로 돌리면 3090으로 100명까지 서비스가 가능하다 합니다
876
6
4635
질문
Closed book QA 파인튜닝 모델을 Open book QA 태스크에 사용하기
257
0
4634
일반
친구처럼 대화하는 챗봇을 만들었습니다.
[3]
753
8
4633
질문
뉴비 입니다.. 컨텍스트 길이 초과 문제로 프롬프트 구성에 실패했다고 뜨는데 치료 방법 있을까요,,?
[3]
411
0
4632
질문
특정 도메인 데이터셋으로 학습시킬 때
[1]
395
-1
4631
질문
web UI로 rag를 사용할수있나요?
[3]
550
0
4630
질문
뉴비인데 클라우드 컴퓨팅 서비스 비용견적좀 부탁드립니다.
[7]
460
2
4629
일반
sql 사용하는 방법이 빠르게 나오면 좋겠어요.
[6]
548
0
4628
질문
현재 로컬 모델 중 검열 없고, 성능 좋은 모델은 뭐가 있나요?
[7]
1082
1
4627
일반
chatgpt-4o-latest 모델이 새로 출시됐군요
[3]
986
1
4626
질문
뉴비 질문점여
[5]
450
0
4625
질문
LoRA를 여러개 사용하는 방법은 없나요?
[3]
523
0
4624
일반
uae의 tii에서 팰콘맘바 7b를 공개했습니다
[1]
550
1
4623
질문
멀티 에이전트 이해한 점 확인 부탁
[1]
410
0