Ai 언어모델 로컬 채널 알림 알림 중 알림 취소 구독 구독 중 구독 취소 구독자 3792명 알림수신 191명 @바바리맨 제한없는 언어모델을 위한 채널 일반 M4 익스트림 모델이 나온다는 이야기가 있네요. 키티호크 추천 4 비추천 0 댓글 7 조회수 810 작성일 2024-05-11 05:19:24 https://arca.live/b/alpaca/105914029 최고 모델은 m1울트라의 램보다 2배의 용량인500기가에 육박하는 램을 가진다는 말이 있던데이정도면 진짜 어마어마하게 커다란 모델을 굴릴 수 있게 되지 않을까요? 추천! 4 ( 0) 비추! 0 ( 0) 공유 댓글 [7] 글쓰기 그래요 2024-05-11 06:02:48 답글 500gb면 라마3 405b나 ms에서 공개로 풀지도 모르는(?) mai-1 500b도 돌아가려나요 펼쳐보기▼ ㅇㅇ (121.143) 2024-05-11 06:33:23 삭제 수정 답글 원본 돌리려면 대략 x2 램이 필요하다고 들은것같아요 펼쳐보기▼ 그래요 2024-05-11 07:25:22 답글 그럼 8비트로 로딩하면 되려나요 펼쳐보기▼ nekoneko8 2024-05-11 06:55:57 답글 써보시면 실제로는 prompt eval 속도가 너무 느려서 쓸게 못됩니다. 펼쳐보기▼ ㅇㅇ 2024-05-12 02:57:40 답글 아쉽네요 ㅠ 펼쳐보기▼ noopSD 2024-05-12 03:21:13 답글 *수정됨 M4 Extreme 이 M4 Ultra 2배 정도의 성능이고, M4 Ultra 가 M4 Max의 2배 정도라고 하면 BLAS Speed 가 4060Ti 정도 수준은 될테니 여전히 4090 보다는 느리지만, 느려도 쓸만한 수준까지는 기대할 수 있을 것 같습니다. 펼쳐보기▼ ㅇㅇ 2024-05-12 04:32:21 답글 오... 그래도 돌릴순 있겠네요!! 계산 감사합니다 펼쳐보기▼ 새로운 댓글이 달렸습니다! 댓글 작성 음성댓글 아카콘 업로드 중 0초 해당 브라우저에서는 오디오 플레이어를 지원하지 않습니다. 녹음 중지 삭제 업로드 작성 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 최근 최근 방문 채널 최근 방문 채널 모두 삭제 전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모 번호 제목 작성자 작성일 조회수 추천 공지 아카라이브 모바일 앱 이용 안내(iOS/Android) *ㅎㅎ 2020.08.18 36234292 공지 Ai 언어모델 로컬 채널 이용규정 바바리맨 2023.04.18 7354 공지 뉴비에게 도움 되는 글 모음 바바리맨 2023.04.18 33470 공지 언어모델 관련 정보취득 /무료체험 가능 사이트 바바리맨 2023.04.18 11249 공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원 바바리맨 2023.08.01 7004 공지 신문고 바바리맨 2023.04.18 3177 숨겨진 공지 펼치기(1개) 4681 질문 Ollama가 CPU 100%으로만 실행되는데 GPU로 어케 돌리나여.... [5] 풉키_ 2024.08.28 667 0 4680 일반 혹시 지금 open ai api server 터졌나요? [1] ㅇㅇ (14.138) 2024.08.28 445 0 4679 질문 보통 서빙할때 vllm 또는 아프로디테를 많이사용하시는것같던데 ollama는 어떤가요? [1] 호옹이 2024.08.28 482 0 4678 일반 4090에서 9B 모델 서빙 안되는게 정상인가요? [7] ㅇㅇ (165.132) 2024.08.28 881 1 4677 일반 다국어 문장 분리를 위한 LLM 아이디어 모맵 2024.08.28 419 1 4676 일반 Gemini 1.5 신형 모델 [2] ET 2024.08.28 863 3 4675 질문 라마 3.1 Model parallelization 적용이 가능한가요? sfd 2024.08.27 285 0 4674 질문 Phi-3.5-MoE-instruct 랑 Llama 3.1 추론 속도 질문 [2] jarvis777 2024.08.27 374 -2 4673 질문 소형 로컬로 문서 요약이 가능할까요? [5] 파라노이아 2024.08.27 572 0 4672 질문 unsloth로 lora학습하는게 원래 좀 많이 빠른가요? [8] 초보자 (211.179) 2024.08.27 483 0 4671 일반 국어원후기 [7] ㅇㅇ (203.248) 2024.08.27 814 9 4670 일반 기록용 국어원 말평 맥락추론 모델 126개 만들어본 후기 [7] 사과는맛있어맛있으면바나나 2024.08.26 1319 24 4669 질문 대화형 llm에 rag를 도입하는게 도움이 될까요? [9] ㅇㅇ (210.218) 2024.08.26 679 0 4668 일반 국립국어원 ai말평 간단 후기 [4] ㅇㅇ (121.142) 2024.08.26 1490 10 4667 질문 Sequence parallel, Context parallel로 학습해보신 분 계실까요? [4] Eastwood (118.235) 2024.08.23 430 0 4666 정보 이제 Exllamav2가 텐서 패러렐을 지원합니다. [2] bedovyy 2024.08.23 603 6 4665 질문 rag 사용자의 질문과 관계없는 문서를 검색했을때 대응스킬이 있나요? [13] ㅇㅇ (210.218) 2024.08.23 654 1 4664 질문 시스템 프롬프트에 대한 고민이 좀 있네요 [7] lIlBrother 2024.08.23 657 0 4663 일반 키워드 기반 그래프로 장기 기억을 구상하고 있었는데 [3] 모맵 2024.08.22 520 2 4662 일반 인식과 행동을 분리할 방법은 없을까? [12] 벤야민 2024.08.22 619 1 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 전체 제목/내용 제목 내용 글쓴이 댓글 Keyword search form input 검색 1 2 3 4 5 6 7 8 9 10 시간으로 바로가기 사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.