https://github.com/yuyuyzl/EasyVtuber


먼저 결과물




사용법


1. 소스코드 클론

git clone https://github.com/yuyuyzl/EasyVtuber

cd EasyVtuber


2. 가상환경 생성 및 진입

a. 아나콘다

conda create -n easyvtuber python=3.10

conda activate easyvtuber

b. venv

python -m venv .venv

.venv/Scripts/activate


3. 파이토치 설치 (가상환경 상태에서)

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117


4. 패키지 설치 (가상환경 상태에서)

pip install -r requirements.txt


5. 사전학습모델 다운로드

https://github.com/pkhungurn/talking-head-anime-3-demo#download-the-models

이렇게 배치


6. launcher.py 실행 (가상환경 상태에서)

python launcher.py


7. 번거롭게 터미널 열어서 실행하는게 귀찮으면

a. 아나콘다

conda activate easyvtuber

python launcher.py

b. venv

call .venv/Scripts/activate

python launcher.py

로 bat파일 만들어 사용하자


실행 하면 이렇게 나올텐데,

일단 기본 캐릭터로 테스트를 해보자.



얼굴인식 소스


본인이 아이폰이 있다 하면 iFacialMocap 앱 사서 iFacialMocap 쓰는걸 추천함 표정 인식이 웹캠보다 훨~~~씬 정교함

아이폰은 없는데 웹캠은 있으면 Webcam(opencv) 선택하고

아이폰도 웹캠도 없으면.. Mouse Input이나 Debug Input 선택


아웃풋 설정

먼저 Initial Debug Output를 눌러 실행하면 새로운 창이 떠서 확인할 수 있음.


OBS로 송출도 가능한데 OBS를 설치하고 

아까 파이썬으로 켠 창에서 OBS Virtual Camera 선택해서 버튼 눌러 실행한 후

OBS 실행-소스 추가-비디오 캡쳐 장치-장치에서 OBS Virtual Camera 선택 후 확인



자~ 기본캐릭터로 맛을 봤으니, 이제 새로운 캐릭터를 추가해보자.

먼저 ABG Remover로 배경을 제거했거나, depth map을 통해 배경을 없엔 사진을 준비해야 한다.


.\data\images 폴더에 보면 예시 그림 파일이 있는데 그 파일을 포토샵이든 김프든 열어준다.


그 위에 본인이 준비한 그림을 얹어서 예시 캐릭터와 이목구비 위치를 잘 맞춰준다.


그리고 예시 이미지 레이어를 보이지 않게 한 상태에서 png파일로 내보내기해서 예시 이미지가 있던 곳에 넣어준다.


아까 방법대로 다시 파이썬에서 런처를 실행해주면 추가한 파일이 나타난다. 해당 파일명을 선택한 상태에서 실행하면~



잘 나온다


사실 보면서 뽑은 그림 말고 어디서 가져온 그림도 가능하겠는데? 라는 생각이 들면 정답~

어디서 퍼온 그림 가져와도 적용이 가능하다.


근데 이거 리소스 사용량이 상당해서 3060 미만은 진짜 버거울거임ㅋㅋ

3090도 60프레임이 안나옴ㅋㅋ