로컬 언어모델 추론용으로 4060ti 16GB 2개 구입한 기념으로 작성해보는 글. 이 글은 리눅스 우분투 22.04를 기준으로 작성되었기에 윈도우는 모름.

kohya-ss 에서 지원하는 멀티 GPU 학습는 DDP가 유일한데, DDP는 단순히 병렬로 돌리는것하고 크게 다르지 않아 싱글 GPU 학습에서 VRAM 부족으로 할 수 없는 학습은 할 수 없다.

GUI 버전인 경우에는 이렇게 새팅할 수 있다. 

accelerate launch --gpu_ids="0,1" --multi_gpu --num_processes=2 

CUI 버전인 경우에는 이렇게 새팅할 수 있다.

GPU IDs - 컴퓨터에 설치된 엔비디아 그래픽카드가 0번부터 시작해서 번호가 부여된다.

Number of processes - 학습에 사용되는 엔비디아 그래픽카드 수 만큼 지정해주면 된다.

마지막으로 학습에 사용되는 그래픽카드 수 만큼 배치가 늘어난다. 학습에 사용되는 그래픽카드가 2개라면 기존 배치 사이즈의 2배로 계산한다는 의미.