https://github.com/matt-c1/llama-3-quant-comparison
그래픽 카드에 따른 추천모델
24GB Dual -> 70B-Q5-K-M (환산 비트수 5.66) 또는 70B-IQ4-XS (환산 비트수 4.26) : 컨텍스트를 크게 잡으려면 비트수 낮은걸로
24GB -> 70B-IQ2-M (환산 비트수 2.62) or 70B-IQ2-S (환산 비트수 2.38)
그 이하 -> 8B-IQ4-XS (환산 비트수 4.26)
https://github.com/matt-c1/llama-3-quant-comparison
그래픽 카드에 따른 추천모델
24GB Dual -> 70B-Q5-K-M (환산 비트수 5.66) 또는 70B-IQ4-XS (환산 비트수 4.26) : 컨텍스트를 크게 잡으려면 비트수 낮은걸로
24GB -> 70B-IQ2-M (환산 비트수 2.62) or 70B-IQ2-S (환산 비트수 2.38)
그 이하 -> 8B-IQ4-XS (환산 비트수 4.26)
사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.