192GB 장난 아니네요..

34b q5 21 t/s 면 생각보다 괜찮네요? 1인이 쓰기엔 쾌적하겠습니다.

토큰 속도도 제대로 모르시는 거 보면 이제 막 입문하시거나 아직 신입이신듯 한데 학습 용도로 맥을 선택한건 아주 좋지 않은 선택입니다. 다시 한번 환불 고민해보시길. CUDA를 쓸 수 있느냐 없느냐는 돈 몇 백 보다 훨씬 더 가치가 있습니다. 적어도 현재까지는요.

VRAM으로 보면 최선의 선택이네요
저도 MAC유저라...

한동안 채널 눈팅하면서 정보 모아본 결과 모델 학습할때는 cuda 시스템으로 학습하고, 학습된 모델 추론은 mac의 짱짱한 vram을 활용하는게 가장 효율적이라고 결론내렸습니다. 물론 mac을 소유하고 있지 않아서 실제 실험은 못해봤지만요.. 일단 현 상황에서 이상적인 방법은 이런거 같고 추후에 애플에서 AI쪽에 주력한다면 언제고 mac이 모든 상황에서 유리해져서 cuda를 제껴버릴지도 모르겠네요.
저같은 소비자입장에서는 두 회사가 끊임없이 경쟁하면서 서로의 파이를 넘보는 상황이 베스트겠죠..ㅋㅋ

축하드립니다. 최근 llama.cpp 에 Flash Attention 이 추가되었고 ( -fa 옵션 ), 이게 아직 context length 8192 까지 되는 것 같지만 속도 빨라졌습니다. Mistral 8x7B 제 M1 Max 에 token generation 17 t/s 나오던거 -fa 켜면 27 t/s 까지 속도가 뜁니다.

지름은 추천드립나다

후기도 나중에 꼭 써주세요 ㅋㅋ

용감하셔서 추천드려요...
파이팅입니다.

예산이 1000인가요?

llm 한정이라면 mac 도 좋은 선택이죠.

6/10일까지 기다려보고 지르셔도 괜찮을것 같아요. 가능성은 희박하지만 m4 ultra에 기대가 없는건 아닙니다.

141g가 짜리 모델도 로드되나요? 호곡