어떤거 씀? 트레이닝 파일 32개정도에 클래스이미지 300개

ㄴㄴ;; 그래서 이상함

혹시 옵션에 --mixed_precision="fp16" \ 나 --mixed_precision="bf16" \ 있니

latest쓰는데 배치1에 브램 얼마나 먹음?

export MODEL_NAME="newmodel"
export INSTANCE_DIR="training"
export CLASS_DIR="classes"
export OUTPUT_DIR="output"

accelerate launch train_dreambooth.py \
  --pretrained_model_name_or_path=$MODEL_NAME \
  --instance_data_dir=$INSTANCE_DIR \
  --class_data_dir=$CLASS_DIR \
  --output_dir=$OUTPUT_DIR \
  --instance_prompt="a photo of realistic girl" \
  --class_prompt="a photo of Kidmo realistic girl" \
  --resolution=512 \
  --train_batch_size=4 \
  --mixed_precision="fp16" \
  --gradient_accumulation_steps=1 --gradient_checkpointing \
  --learning_rate=5e-6 \
  --lr_scheduler="constant" \
  --lr_warmup_steps=0 \
  --num_class_images=300 \
  --sample_batch_size=4 \
  --max_train_steps=4000

.sh파일 있으면 공유점

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 근데 그거 키면 속도 조금 죽음. 일단 감안하고 한 번 켜서 해봐! 그리고 fp16은 제거하거나 bf16으로 바꿔 비트 연산자 중간에 짤려서 정확도가 확 죽음.

그치

한 번 fp16이랑 gradient키고 배치 10준다음 돌아가는지 봐봐. fp제거하니까 배치4에 브램 21기가 먹네 ㄷㄷ

근데 나만 배치 사이즈 키우면 속도가 죽음? 1배치에 3090쓰는데 gradient키고 fp쓰고 2.4it/s나오고 4배치쓰고 fp지우니까 1.32it/s나오네