15달러, 약 2만원에 무제한 로컬 사용가능한 API를 제공하는 사이트 Infermatic AI입니다.

주의사항

리스가 공식적으로 지원하지 않는데다 적용 가이드가 없어서 이리저리 치이고 직접 테스트를 해봐야 합니다.

어떻게 하다보면 돌아가긴 하는데 완벽하진 않는것 같아요.

편하게 하려면 실리터번을 사용하는 것을 추천합니다.

사이트 주소

https://infermatic.ai

모델 리스트 / 콘텍스트 길이

- Midnight-Miqu-70B-v1.5 18K (지금 열린 챈섭의 다음 버전)

- Miquliz-120b-v2.0 16K

- Noromaid-v0.1-mixtral-8x7b-Instruct-v3 32K

- Mixtral-8x7B-Instruct-v0.1 32K

- MiquMaid-v2-70B. 30K

- Dolphin-2.5-mixtral-8x7b. 8K

- Bagel-dpo-8x7b-v0.2 8k

개인적으로 이거 리스에서 정상적으로 써보려고 했는데 되다 안되다 해서 말았습니다.

관심있는 분들은 방법 좀 알아내면 공유 부탁드려요.