Q. TensorRT가 뭐임?
A.
블라드좌가 Olive와 ONNX를 쓰느니 TensorRT 쓰고만다고 한 그것.
주소: https://github.com/AUTOMATIC1111/stable-diffusion-webui-tensorrt
설치법
1. 다른 확장 설치하는것과 똑같이 위 주소로 확장을 설치한다.
2. https://developer.nvidia.com/nvidia-tensorrt-8x-download nvidia tensorrt 홈페이지에 가서 로그인을 하고
Zip Packages for Windows에서 두개중 위에거를 다운받는다.
혹시 자기가 torch 2.1.0+cu121 개발버전을 쓰는 얼리어답터라면 아래거를 받는다.
3. webui경로/extensions/stable-diffusion-webui-tensorrt 에 다운받은 zip파일의 압축을 푼다. TensorRT로 시작하는 이름의 폴더가 제대로 위치하는지 확인할것
그리고 이제
How to use
1. Slect the model you want to optimize and make a picture with it, including needed loras and hypernetworks.
2. Go to a TensorRT tab that appears if the extension loads properly.
3. In Convert to ONNX tab, press Convert Unet to ONNX.
This takes a short while.
After the conversion has finished, you will find an .onnx file with model in models/Unet-onnx directory.
4. In Convert ONNX to TensorRT tab, configure the necessary parameters (including writing full path to onnx model) and press Convert ONNX to TensorRT.
This takes very long - from 15 minues to an hour.
This takes up a lot of VRAM: you might want to press "Show command for conversion" and run the command yourself after shutting down webui.
After the conversion has finished, you will find a .trt file with model in models/Unet-trt directory.
5. In settings, in Stable Diffusion page, use SD Unet option to select newly generated TensorRT model.
6. Generate pictures.
이걸 따라하면 되는데 자고 일어나서 해볼예정
※ 이거 자동좌 현재버전에서 안됨. dev 브랜치에서 해야함