"Due to the overwhelming interest in Groq, we're excited to extend our free beta of GroqCloud to increase capacity and meet demand."
- This extension means a slight delay in launching our paid access with higher rate limits
- We encourage you to keep sharing your Groq-powered apps and demos with us for potential spotlighting
- Throughout this extended beta, we'll keep enhancing our platform based on your feedback, adding new models and features to remain the fastest and most developer-friendly inference platform.
결론적으로 베타 단계인 현재 Llama 3라는 언어 모델을 GroqCloud를 통해 무료로 이용하실 수 있습니다.
Playground
히스토리가 없기에 Jan이라는 오픈 소스 앱을 다운로드하여 설치할 수 있습니다
Settings > Groq Inference Engine에서 API key를 입력해야 합니다.
GPU 사양 얘기가 많이 나오는데 직접 데이터넷 가지고 트레이닝 혹은 파인튜닝을 히는게 아니라면 엔드 유저로서 굳이 사재기하실 필요는 없어 보입니다!
Jan: https://jan.ai
OP contact: [email protected]
Ai 언어모델 로컬 채널 이용규정
토큰 제한이 있나보네요 jan 설치 하고 llama3가 안보여서 수동으로 셋팅했어요 { "sources": [ { "url": "https://groq.com"; } ], "id": "llama3-70b-8192", "object": "model", "name": "llama3-70b-8192", "version": "1.0", "description": "Groq Llama 2 70b with supercharged speed!", "format": "api", "settings": { "text_model": false }, "parameters": { "max_tokens": 1024, "temperature": 0.5, "top_p": 1, "stop": null, "stream": true }, "metadata": { "author": "Meta", "tags": [ "General", "Big Context Length" ] }, "engine": "groq" }