https://github.com/yuyuyzl/EasyVtuber
먼저 결과물
사용법
1. 소스코드 클론
git clone https://github.com/yuyuyzl/EasyVtuber
cd EasyVtuber
2. 가상환경 생성 및 진입
a. 아나콘다
conda create -n easyvtuber python=3.10
conda activate easyvtuber
b. venv
python -m venv .venv
.venv/Scripts/activate
3. 파이토치 설치 (가상환경 상태에서)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
4. 패키지 설치 (가상환경 상태에서)
pip install -r requirements.txt
5. 사전학습모델 다운로드
https://github.com/pkhungurn/talking-head-anime-3-demo#download-the-models
이렇게 배치
6. launcher.py 실행 (가상환경 상태에서)
python launcher.py
7. 번거롭게 터미널 열어서 실행하는게 귀찮으면
a. 아나콘다
conda activate easyvtuber
python launcher.py
b. venv
call .venv/Scripts/activate
python launcher.py
로 bat파일 만들어 사용하자
실행 하면 이렇게 나올텐데,
일단 기본 캐릭터로 테스트를 해보자.
얼굴인식 소스
본인이 아이폰이 있다 하면 iFacialMocap 앱 사서 iFacialMocap 쓰는걸 추천함 표정 인식이 웹캠보다 훨~~~씬 정교함
아이폰은 없는데 웹캠은 있으면 Webcam(opencv) 선택하고
아이폰도 웹캠도 없으면.. Mouse Input이나 Debug Input 선택
아웃풋 설정
먼저 Initial Debug Output를 눌러 실행하면 새로운 창이 떠서 확인할 수 있음.
OBS로 송출도 가능한데 OBS를 설치하고
아까 파이썬으로 켠 창에서 OBS Virtual Camera 선택해서 버튼 눌러 실행한 후
OBS 실행-소스 추가-비디오 캡쳐 장치-장치에서 OBS Virtual Camera 선택 후 확인
자~ 기본캐릭터로 맛을 봤으니, 이제 새로운 캐릭터를 추가해보자.
먼저 ABG Remover로 배경을 제거했거나, depth map을 통해 배경을 없엔 사진을 준비해야 한다.
.\data\images 폴더에 보면 예시 그림 파일이 있는데 그 파일을 포토샵이든 김프든 열어준다.
그 위에 본인이 준비한 그림을 얹어서 예시 캐릭터와 이목구비 위치를 잘 맞춰준다.
그리고 예시 이미지 레이어를 보이지 않게 한 상태에서 png파일로 내보내기해서 예시 이미지가 있던 곳에 넣어준다.
아까 방법대로 다시 파이썬에서 런처를 실행해주면 추가한 파일이 나타난다. 해당 파일명을 선택한 상태에서 실행하면~
잘 나온다
사실 보면서 뽑은 그림 말고 어디서 가져온 그림도 가능하겠는데? 라는 생각이 들면 정답~
어디서 퍼온 그림 가져와도 적용이 가능하다.
근데 이거 리소스 사용량이 상당해서 3060 미만은 진짜 버거울거임ㅋㅋ
3090도 60프레임이 안나옴ㅋㅋ