Ai 언어모델 로컬 채널 알림 알림 중 알림 취소 구독 구독 중 구독 취소 구독자 3538명 알림수신 174명 @바바리맨 제한없는 언어모델을 위한 채널 일반 m4 맥스튜디오가 램 512gb로 나오면 닥치고 이거사는게 맞지않나요? 돌돌돌돌 추천 2 비추천 1 댓글 11 조회수 808 작성일 2024-04-24 12:23:09 https://arca.live/b/alpaca/104469877 개인레벨에서일반 gpu로 v램 512 달성은 불가능해보이는데진짜 맥이 저렇게 내준다면개인은 저걸 사는게 맞지않나요? 추천! 2 ( 0) 비추! 1 ( 0) 공유 댓글 [11] 글쓰기 hkhk 2024-04-24 12:31:54 답글 llama3 400B를 영접하려면 .. 펼쳐보기▼ whs 2024-04-24 12:46:44 답글 근데 그만큼의 vram이 필요한 모델을 만족스럽게 돌릴 수 있을 만큼 추론 속도가 나와줄런지... 펼쳐보기▼ iau 2024-04-24 14:20:40 답글 문제는 vram 쓰는 양 많아질수록 추론속도가 느려지는데 M시리즈의 AI 성능은 많이 후달려서... 70B 32비트로 연산시키면 그냥 죽으려고 할겁니다 펼쳐보기▼ ㅇㅇ 2024-04-24 16:11:37 답글 아 이런문제가 있구나 펼쳐보기▼ noopSD 2024-04-24 14:23:57 답글 느린 BLAS 속도 때문에 모델 규모가 커질수록 prompt processing 도 매우 느려질 겁니다. Inference 속도가 느려지네 뭐네 해도 이거에 비할바가 아니죠. 펼쳐보기▼ noopSD 2024-04-24 14:32:43 답글 그래도 추론 돌리려면 NVIDIA 의 말도 안되는 가격 덕에 현재로선 이거 사야하는게 맞지 싶긴 하네요. 결코 싸지 않은 기계가 VRAM 용량대비 가격으로 보면 NVIDIA 대비 말도 안되는 가성비이긴 하니... 펼쳐보기▼ ㅇㅇ 2024-04-24 16:12:12 답글 BLAS는 약간 HW설계와 관련된 요소인가 보네요 펼쳐보기▼ ㅇㅇ (121.143) 2024-04-24 15:18:12 삭제 수정 답글 400B 한번 질문하면 돌아는가는데 답변까지 하루 정도 걸릴수도있는거 아닐까요 ? 펼쳐보기▼ jackofmaster 2024-04-24 15:37:58 답글 대충 계산했는데 1token/s나옴 펼쳐보기▼ 이게예술이지ㅋㅋ 2024-04-24 22:57:25 답글 답변 하나 받는데 3분 걸리겠네 ㅋㅋㅋ 펼쳐보기▼ 뿌리골무 2024-04-24 21:36:38 답글 회삿돈으로 산다면, 동감. 펼쳐보기▼ 새로운 댓글이 달렸습니다! 댓글 작성 음성댓글 아카콘 업로드 중 0초 해당 브라우저에서는 오디오 플레이어를 지원하지 않습니다. 녹음 중지 삭제 업로드 작성 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 최근 최근 방문 채널 최근 방문 채널 모두 삭제 전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모 번호 제목 작성자 작성일 조회수 추천 공지 아카라이브 모바일 앱 이용 안내(iOS/Android) *ㅎㅎ 2020.08.18 31515471 공지 Ai 언어모델 로컬 채널 이용규정 바바리맨 2023.04.18 6296 공지 뉴비에게 도움 되는 글 모음 바바리맨 2023.04.18 28642 공지 언어모델 관련 정보취득 /무료체험 가능 사이트 바바리맨 2023.04.18 9508 공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원 바바리맨 2023.08.01 5498 공지 신문고 바바리맨 2023.04.18 2367 숨겨진 공지 펼치기(1개) 4204 질문 파인튜닝한 모델을 기존 모델 참조 없이 독립적으로 저장하고싶을 때 [7] ㅇㅇ (58.234) 2024.05.20 496 1 4203 질문 라마3 70B 구동 [6] Thomas_Shelby 2024.05.19 1005 0 4202 일반 LLM 출력 속도 비교 [3] ET 2024.05.19 894 9 4201 일반 akallama exl2 모델 공개 [10] ㅇㅇ (118.235) 2024.05.19 676 9 4200 질문 vllm의 AutoAWQ 관련해서 질문드립니다. (모델 양자화) [17] Dikko 2024.05.17 575 2 4199 일반 메타에서 gpt-4v와 같은 Mixed-Modal 발표했네요 [10] 그래요 2024.05.17 1643 18 4198 일반 A,WS summit 참여했는데 RAG 내용 괜찮았네요 [10] ㅇㅇ 2024.05.17 764 3 4197 일반 한국 유튜브 transcription 데이터셋 [11] maywell 2024.05.17 2045 53 4196 일반 gpt-4o에서 음성 입력을 실시간으로 음성으로 반환해주던데 어떤 기술 일까요? [10] ㅇㅇ (61.100) 2024.05.17 860 1 4195 정보 Augmentoolkit - 생 텍스트를 넣으면 instruct 데이터셋을 만들어주는 툴킷 [6] hkhk 2024.05.16 1033 14 4194 정보 LLaMA-3 8B, 70B 모델의 양자화 단계별 MMLU성능 비교표 [11] hkhk 2024.05.16 2133 20 4193 질문 뉴비,우바우로 채팅으로 설정화 캐릭 AI하고 노는데 추천하는 모델 있을까?? [5] ZOE 2024.05.16 665 1 4192 정보 llama3기반 파라메터 확장 한국어 파인튜닝모델 [4] hkhk 2024.05.16 1241 8 4191 스터디 잔차연결(residual connection or skip connection) 에 대한 발상의 전환 [6] hkhk 2024.05.16 1158 35 4190 질문 vllm vs 엑스라마2 [2] 끼랑까랑 2024.05.16 625 0 4189 일반 알음알음하다 여기 오게 되었는데 [4] Qazxwd 2024.05.16 798 6 4188 질문 3090×4에서 wizardlm 8x22b를 배포할 수 있을까요? [6] 모맵 2024.05.15 705 -1 4187 일반 다음세대 곧 나오는데 A100 40Gb 중고를 600만원 주고 사는건 쫌 아니죠? [2] ㅇㅇ (221.141) 2024.05.15 857 1 4186 일반 Chat vector에서 cp transfer [6] 오래된정원 2024.05.15 492 5 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 전체 제목/내용 제목 내용 글쓴이 댓글 Keyword search form input 검색 5 6 7 8 9 10 11 12 13 14