GlaDOS 성격 코어
본 프로젝트는 Valve사의 비디오 게임 Portal에 출현하는 GLaDOS를 실제로 구현하고자 합니다.
목표 사항:
- [x] GLaDOS 음성 합성기
- [x] 생동감 있는 "성격 코어"를 위한 프롬프트 작성
- [ ] 중·장기 기억을 위한 MemGPT 생성
- [ ] LLaVA를 통해 시각을 구현
- [ ] 3D 프린트 가능한 부품 제작
- [ ] 애니매트로닉스 시스템을 설계
소프트웨어 아키텍처
우선적인 목표는 GLaDOS가 600ms 내에 음성 입력에 반응할 수 있도록 레이턴시를 최소화하는 것입니다.
이를 위해 시스템은 음성이 감지될 때까지 원형 버퍼에 데이터를 지속적으로 기록합니다. 음성이 멈추었음이 확인되면 이를 신속하게 기록하고 LLM에 전달되어 문장별로 나뉘어 음성 합성 시스템에 전달됩니다. 이렇게 하면 현재 재생 중인 문장과 동시에 추가 문장을 생성할 수 있으므로 대기 시간을 상당히 줄일 수 있습니다.
부목표:
* 본 프로젝트는 제한적인 하드웨어에서도 작동할 수 있도록 디펜던시를 최소하하고자 합니다 (PyTorch 등을 배제)
* 이 시스템을 면밀히 이해하려는 취지에서 다수의 리디렉션을 제거하였습니다.
하드웨어 시스템
하드웨어는 서보 모터와 스테퍼 모터를 기반으로 구축됩니다. 3D 프린터블 STL이 GLaDOS의 본체를 생성하는 데 사용되며, 몇 개의 사전 준비된 애니메이션을 통해 자신을 표현할 수 있습니다.[1] 비전 시스템을 통해 관심 대상이나 사람들을 추적하고 돌아갈 수 있습니다.
1. 3D 애니메이션에서 일반적인 워크플로우가 모델링 -> 리깅 -> 애니메이션 키프레임 제작 인걸로 알고 있음.
설치 방법
Here is the translation of the last part to Korean:
설치 방법
이 TTS 엔진을 컴퓨터에 설치하려면 다음 단계를 따르면 됩니다. 이는 리눅스에서만 테스트 되었지만 윈도우에서도 약간의 조정으로 작동할 것으로 생각됩니다.
1. 운영 체제에 맞는 설치 지침에 따라 [`espeak`](https://github.com/espeak-ng/espeak-ng) 합성기를 설치합니다.
2. `pip install -r requirements.txt`를 실행하여 필요한 파이썬 패키지를 설치합니다.
3. LLM을 위해 [Llama.cpp](https://github.com/ggerganov/llama.cpp)를 설치하고, CPU 또는 GPU에 컴파일합니다. `glados.py`의 LLAMA_SERVER_PATH 매개변수를 설치 경로에 맞게 편집합니다.
4. 음성 인식을 위해 [Whisper.cpp](https://github.com/ggerganov/whisper.cpp)를 설치하고, 컴파일한 후 `make libwhisper.so`를 실행하고 "libwhisper.so" 파일을 "glados" 폴더에 이동하거나 경로에 추가합니다. 윈도우의 경우, [whisper 풀 리퀘스트](https://github.com/ggerganov/whisper.cpp/pull/1524)討論을 참조하세요.
5. 모델을 다운로드합니다.
1. [음성 인식 모델](https://huggingface.co/distil-whisper/distil-medium.en/resolve/main/ggml-medium-32-2.en.bin?download=true)
2. [Llama-3 8B](https://huggingface.co/bartowski/Meta-Llama-3-8B-Instruct-GGUF/resolve/main/Meta-Llama-3-8B-Instruct-IQ3_XS.gguf?download=true) 또는
3. [Llama-3 70B](https://huggingface.co/MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF/resolve/main/Meta-Llama-3-70B-Instruct.IQ4_XS.gguf?download=true)
그리고 "models" 디렉터리에 넣습니다.
demo.ipynb를 돌려보세요.
출처: https://github.com/dnhkng/GlaDOS
