https://arca.live/b/alpaca/99196537

저번 구동 후기에서 4060ti를 하나 더 장착해서 완성.


CPU AMD 라이젠5-5600

RAM DDR4 32GBx2

OS 우분투 22.04

M/B AMD X570

pci-e 4.0 16x/8x - 4060ti 16GB (1번)

pci-e 4.0 8x - 4060ti 16GB (2번)

pci-e 4.0 4x - 4060ti 16GB (3번)


RTX 4090 1개 가격보다 저렴하게 만들어진 48GB VRAM 컴퓨터...!


그런데 2번 그래픽카드와 3번 그래픽카드가 너무 가까워서 100%로 돌아가면 2번 그래픽카드가 과열될 수 있어서 학습 등 다른 용도를 겸하는 경우 과열 대책이 필요함.


추론시 vntop


kiqu-70b-3.0bpw-exl2 스피드 (ExLlamav2, max_seq_len=32K, cache_8bit=false)



속도가 빨라지지는 않지만, 그래도 그럭저럭한 속도로 돌아감.