와.. 코딩용 AI가 나왔습니다.


💫StarCoder는 소스 코드와 자연어 텍스트에 대해 훈련된 언어 모델(LM)입니다. 교육 데이터에는 80개 이상의 다양한 프로그래밍 언어와 github 문제 및 커밋, 노트북에서 추출한 텍스트가 통합되어 있습니다. 이 저장소는 이 LM의 기능에 대한 개요를 얻는 방법을 보여줍니다. 


링크는

https://huggingface.co/bigcode/starcoder

https://github.com/bigcode-project/starcoder/


데모는 이쪽

https://huggingface.co/chat  (모델바꿔야합니다 starcoder로)


Training은

Model

  • Architecture: GPT-2 model with multi-query attention and Fill-in-the-Middle objective
  • Pretraining steps: 250k
  • Pretraining tokens: 1 trillion
  • Precision: bfloat16

Hardware

  • GPUs: 512 Tesla A100
  • Training time: 24 days


을 활용 Github 데이터를 학습시켰으며

쉽게말해 언어추론과 같은방식으로 다음에 올 코드를 추론합니다.



세상 살기좋아지고 있어요 ㄷㄷ