와.. 코딩용 AI가 나왔습니다.
StarCoder는 소스 코드와 자연어 텍스트에 대해 훈련된 언어 모델(LM)입니다. 교육 데이터에는 80개 이상의 다양한 프로그래밍 언어와 github 문제 및 커밋, 노트북에서 추출한 텍스트가 통합되어 있습니다. 이 저장소는 이 LM의 기능에 대한 개요를 얻는 방법을 보여줍니다.
링크는
https://huggingface.co/bigcode/starcoder
https://github.com/bigcode-project/starcoder/
데모는 이쪽
https://huggingface.co/chat (모델바꿔야합니다 starcoder로)
Training은
Model
- Architecture: GPT-2 model with multi-query attention and Fill-in-the-Middle objective
- Pretraining steps: 250k
- Pretraining tokens: 1 trillion
- Precision: bfloat16
Hardware
- GPUs: 512 Tesla A100
- Training time: 24 days
을 활용 Github 데이터를 학습시켰으며
쉽게말해 언어추론과 같은방식으로 다음에 올 코드를 추론합니다.
세상 살기좋아지고 있어요 ㄷㄷ