4060Ti 16GB 3개 정도 장착된 컴퓨터가 있으면 가능함.
한번 답변받는데 대략 1분 정도 걸림. 느리긴 하지만 Response 스트리밍이 지원되어서 엄청 답답하지는 않음.
Meta-Llama-3-70B-Instruct exl2 4.25bpw / text-generation-webui (oobabooga) 8K
4060Ti 16GB 3개 정도 장착된 컴퓨터가 있으면 가능함.
한번 답변받는데 대략 1분 정도 걸림. 느리긴 하지만 Response 스트리밍이 지원되어서 엄청 답답하지는 않음.
Meta-Llama-3-70B-Instruct exl2 4.25bpw / text-generation-webui (oobabooga) 8K
사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.