1. AI 생성 프로그램 구분

23년 2월 현 시점에서는 WebUI가 대부분의 점유율을 차지하며 가끔씩 Novel AI와 니지저니가 생존신고를 하는 중

Dall-E / DALL·E / 달E / 달이

AI 이미지 생성의 시초급 프로그램

하지만 아니메쪽으로 개발 된 것이 아니라 지나가는 혁신적인 과학기술 정도로 여겨지고 큰 반응은 없었다.

챈 내에서는 언급이 아예 없다.

Midjourney / 미드저니 / 미드

AI 이미지 생성이 하나의 혁신적인 과학기술로 떠오름에 따라 여러 회사나 개발자 그룹에 개발하는 프로그램이 여럿 생겨났는데 미드저니도 그 중 하나이다. 디스코드 서버에 가입한 후 유료결제를 통해 명령어를 입력함으로서 사용할 수 있으며 배경 하나는 기깔나게 뽑는다는 특징점 외에는 여전히 아니메쪽으로 출시된 제품이 아니라 챈 초창기 간간히 몇 장 올라오는 것 빼고는 그다지 볼 일이 없다.

때문에 미드저니에서도 아니메쪽 수요를 맞추기 위해서 새로운 서비스를 만들어 내는데 이것이 바로 밑의 니지저니이다.

Niji journey / 니지저니 / 니지

아니메쪽 데이터를 학습시킨 니지저니 모델이다. 똑같이 디스코드 서버를 통해 가입 후 결제를 통해 이용할 수 있다.

오픈 초기에는 베타 서비스로 무료로 이미지를 생성할 수 있었는데 인물에게 어떠한 사물을 들려주거나, 화풍과 스타일을 표현해주는 것이 지금까지 써오던 다른 AI 프로그램과는 차원이 다를 정도의 퀼리티로 뽑아내었기 때문에 많은 화젯거리가 되었으나 디스코드 서버에서 운영하는 특성 상 NSFW가 엄격히 금지되고 베타서비스가 종료됨에 따라 유료로 전환되었기에 언급은 점점 시들해지는 편

Stable Diffusion / 스테이블 디퓨전 / 디퓨전

프로그램 자체는 각종 AI 프로그램을 구동하는 오픈 소스 프로그램이며 출시일이 8월 22일으로 출시 자체는 노벨 AI 보다 빨랐다. 현재 AI 그림 채널에 업로드 되는 그림과 정보글들의 대부분을 차지한다고 할 정도의 매우 큰 점유율을 차지하고 있으며 매우 활발하게 모델의 개발과 공유가 이루어지고 있다.

WebUI만을 위해 구동하는 것이 아니라 음성, 보컬이나 곡을 만들어 내는 등의 다른 방식으로도 쓰이고 있으며 정보글에 이러한 정보글들이 여럿 쓰여있다.

노벨AI / Novel AI / NAI / 노벨

아니메 AI 그림 붐의 시초를 일으킨 선봉장

9월~10월 내에 대부분이 이 모델을 이용하여 출력하였지만 제로 데이 공격으로 이 노벨 AI의 기반이 되는 학습 데이터들이 모두 유출되어 버렸다. 문제는 노벨 AI도 바탕 프로그램이 Stable Diffusion으로 개발된 것이라 학습 모델이 그대로 WebUI에 손쉽게 이식되었고, 몇가지 설정을 통해 기존 노벨 AI와 동일한 출력물을 얻을 수 있게 되면서 우선순1위가 매우 뒤로 밀려났다.

이후 업데이트가 거의 없다싶이 하고 퍼리쪽 모델만 살짝 패치 된 것이 전부라 결제만 하면 언제 어디서나 그림을 출력할 수 있다는 편의성 말고는 챈 내의 점유율은 계속해서 떨어지고 있다.

WebUI / 웹UI / 웹유아이

웹 기반의 유저 인터페이스(Web User Interface)를 통해 Stable Diffusion 모델을 편리하게 사용할 수 있도록 만들어 놓은 프로젝트.

제작 및 개발자는 AUTOMATIC1111 이며 흔히 자동좌 라고 불린다.

챈 내에서는 Stable Diffusion과 WebUI가 거의 동일 시 되어 불리우고 있으므로 햇갈릴 걱정은 크게 없다.

2. Stable Diffusion 모델 관련

Stable Diffusion의 가장 중요한 것은 모델 / 체크포인트 라고 불리어지는 학습 데이터이며, 이것을 어떤 것으로 갈아 끼우느냐에 따라 출력물이 매우 크게 변한다.

확장자는 ckpt , safetensors 이며 2GB, 4GB~7GB의 용량을 갖는다.

(safetensors 확장자는 cpkt 보다 용량이 적고 악성코드나 랜섬웨어의 위험이 없다.)

현재 AI 그림 채널에서 가장 주류로 사용 되는 모델은 오렌지믹스 / 애니띵 / 애니띵 병합본이다.

animefull-final-pruned / animefull-lastest / 아니메풀 / 파이널

노벨 AI가 가지고 있던 데이터의 유출본. 이것을 WebUI에 집어넣고 몇가지 설정만 만져주면 노벨 AI와 동일한 출력물을 얻을 수 있다. 지금은 여러가지가 많이 개선된 새로운 학습 데이터들이 즐비해지며 버려지는 편

Anything V3.0 / 애니띵

통칭 애니띵. 중국에서 만들어진 노벨AI 유출본을 파인튜닝한 모델이다. 기존 animefull-final-pruned와 비교하여 확연한 차이를 보여주었고 animefull-final-pruned 보다 원하는 그림을 출력하는 타율이 크게 늘었다. 때문에 이 학습 데이터와 다른 모델을 서로 섞어서 만든 병합본이 우후죽순 생겨났으며 지금에선 animefull-final-pruned의 점유율을 재치고 가장 기본적인 모델이 되었다.

Anything V4.0

Anything V3.0을 개선한 4.0 버전. 같은 개발자가 만든것은 아니며 파인튜닝한 모델 여러개를 다시 병합하여 만든 모델이라고 한다. 따라서 이름만 애니띵 4.0 일 뿐인 새로운 병합본이라고 생각하는것이 낫다

AbyssOrangeMix2 / 오렌지믹스 / 오렌지

일본에서 새롭게 나온 파인 튜닝 모델. 현재 대부분의 인원이 애니띵에서 갈아탈 정도로 매우 영향력 있는 모델.

Stable-diffusion-v-1-4-original / SD 1.4 / SD

대부분은 병합용 모델로 쓰인다. 추가적인 정보 필요 

Waifu Diffusion / 와이푸 디퓨전 / 와이푸

Stable Diffusion 자체는 8월 22일에 출시되었으므로 이를 통해 아니메 그림을 학습시켜 출력하려는 프로젝트도 존재했다. 그것이 와이푸 디퓨전인데, 안정적으로 개발되고 있었으나 갑작스런 Novel AI의 출시와 유출 사건으로 타이밍이 영 좋지 못했다.

현재는 새로운 버전의 모델을 학습 중 이라고 하니 기대를 갖고 기다리자.

7th_Layer / 7th

오렌지 믹스에서 3D 느낌을 빼고 2D 그림체로 믹스한 병합본

PastelMix / 파스텔 / 파스텔믹스

감성적인 느낌의 병합 모델

F111 / F222 / twam / insta / 바질

실사 모델로 기존 Novel AI나 애니띵 등의 2D 모델에 병합 시 반실사 스타일과 함께 인체 구조 개선을 가짐

실사 이미지 자체는 AI 그림 채널에 업로드가 허용되지만 병합본이 아닌 위 모델만을 이용해 생성한 실사풍 야짤은 금지되니 공지 참고

나름 이름 있는 모델들은 이 정도. 이곳에 서술 되지 않았거나 이후 새로운 이름의 모델들은 이곳에서 찾아보길 권장

WebUI 생성 관련 용어 관련

t2i 

text to image : 텍스트로 이미지를 만드는 것

i2i

image to image : 업로드 한 이미지를 바탕으로 새로운 이미지를 만드는 것

Prompt / 프롬프트 / 프롬포트 

이미지 생성을 위해 기본적으로 입력해야 할 기본적인 명령어

이곳에 자신이 원하는 그림을 입력하면 된다. 문장형 입력이 디폴트로 권장되었으나 현재 사용하는 모델의 데이터는 Danbooru에서 가져왔기 때문에 이곳 그림에게 적용된 태그들을 이용해 이미지를 생성하는 것이 더 높은 정확도를 가진다.

Negertive / 네거티브

프롬프트를 이용해 생성하는 과정에서 이러한 묘사는 피해라 라고 적용하는 명령어.

예시)Dolphin shorts로 돌핀 팬츠를 원했으나 Dolphin이라는 프롬프트 때문에 배경에서 돌고래가 튀어나올수도 있는데, 네거티브에 animal, dolphin 을 입력하여 사전에 차단하는 방법이다.

코끼리를 생각하지마! 같은 방식으로 프롬프트와 네거티브에 동일한 태그를 집어넣어 결과물의 완성도를 높이는 테크닉이 존재하나 도박이나 다름없기에 잘 사용되지 않는다.

국룰 네거티브 / 고봉밥 네거티브 / 네거티브 도배

animefull-final-pruned이나 애니띵 모델에 한정하여 퀼리티를 보정해주던 일단 이미지를 생성한다고 하면 네거티브에 박아넣고 시작한는 국밥 수준의 절차였으나 오렌지믹스의 등장 이후 이러한 고봉밥 네거티브가 오히려 결과물의 좋지 못한 방향으로 영향을 끼치고 있었다는 점이 발견되어 아래의 짧은 네거티브들이 주를 이루고 있다.

(worst quality, low quality:1.3), (depth of field, blurry:1.2), (greyscale, monochrome:1.1), 3D face, nose, cropped, lowres, text, jpeg artifacts, signature, watermark, username, blurry, artist name, trademark, watermark, title, multiple view, Reference sheet,

lowres, (worst quality, low quality:1.3), normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, censored, (3d:1.3), facial mark

가중치

퀼리티 관련 태그들은 실제로도 적용이 되며 프롬프트의 갯수가 늘어날수록 적용이 되지 않고 씹히는 프롬프트가 많아지므로 이렇게 씹히는 프롬프트를 (태그) / ((태그)) / (태그:1.2) / 노벨은 {태그} 로 가중치를 늘리던지 필요는 하나 너무 과하게 적용되는 프롬프트를 [태그]로 가중치를 줄이는 과정이 필요하다.

다만 가중치의 수치값은 1.5 이상을 넘어가면 오히려 그림을 망치게 되어버리니 남용은 금물

Vae

기존 모델에 후처리를 담당하는 부가적 파일. 이미지를 생성했는데 색이 뿌옇다거나 색감이 이상하다면 대부분인 옳지  못한 Vae를 골랐기 때문이다.

Novel AI가 유출될 때 같이 딸려나온 animevae.pt로 지금까지 거의 모든 모델을 처리 해왔으니 오렌지믹스 이후로 kl-f8-anime.ckpt라는 vae가 발견되며 이젠 vae도 모델마다 깔아끼워줘야 한다.

업스케일링 / 업스케일

기존 이미지의 해상도를 두배 혹은 임의의 수치로 고해상화 하는 것.

단순히 해상도를 높이는 기능뿐만이 아니라 따로 렌더링도 하기 때문에 물건의 디테일이나 패턴 무늬가 사라지는 등의 부작용이 발생하기도 하니 업스케일링 방식을 잘 살펴보고 골라야 한다.

hires / 하이레스 / highres

처음부터 이미지를 고해상도로 출력하면 그림의 구도, 신체비율, 의도치않은 인물이 추가되는 등 여러 문제가 발생하는데

hires 기능을 이용하면 기존의 낮은 해상도로 1차로 출력하고 설정한 배율로 업스케일링 하며 그림의 완성도를 높이기에 이러한 문제를 사전에 예방할 수 있다. 당연히 기존 결과물의 두배 이상의 처리를 해야하기 때문에 시간이 오래 걸린다는 단점이 있다.

이미 생성한 저화질의 사진도 i2i 기능의 just resize(latent upscale) 기능을 체크하고 기존 해상도의 두배로 설정하면 거의 똑같이 적용 가능하다.

와일드카드

__wildcards__로 동작하며 WebUI\stable-diffusion-webui\extensions\sd-dynamic-prompts\wildcards 폴더 내에 들어있는 텍스트 파일 안의 태그들을 랜덤으로 불러와 프롬프트에 적용해주는 기능

예시) short hair, long hair, very long hair가 적힌 hair.txt 파일을 와일드카드 폴더 내에 적용하고 __hair__을 프롬프트 창에 입력한 뒤 생성하기 버튼을 누르면 생성할 때마다 저 목록의 short hair, long hair, very long hair 중 하나가 랜덤으로 입력된다.

스크립트

기본적인 설정 외에 git hub에서 다른 개발자가 만든 추가 기능

다이나믹 프롬프트

입력한 프롬프트 창에 어울리거나 완전한 무작위의 프롬프트를 새롭게 입력시켜 주는 스크립트

X/Y 플롯

X,Y축에 모델이나 시드, CFG 값들을 수치별로 정리하여 하나의 그리드 이미지로 정리해주는 기능

예시) X축에 CFG을 고르고 값을 4 7 12, Y축에 Seed를 고르고 1 , 11 ,111을 입력한다면 CFG 값이 4이며 시드가 1인 이미지, CFG 값이 7이며 시드가 1인 이미지... 이렇게 하여 총 9개의 이미지를 만들어 하나의 그리드 이미지로 보기 쉽게 만들어줌

DAAM

입력한 프롬프트가 실제로 이미지에 얼마나 영향을 주었는가 확인 할 수 있는 스크립트

Tagger / 태거

이미지에서 태그를 추출해주는 확장 스크립트

https://github.com/toriato/stable-diffusion-webui-wd14-tagger.git

데이터 학습 / 훈련 / 트레이닝

모델에서 입력한 프롬프트를 처리 하는 과정에 개입하여 자신이 원하는 방식의 결과물을 도출하도록 하는 것

임베딩 / Embedding

임베딩 : 학습한 데이터를 하나의 프롬프트로 취급, 즉 단어를 학습시킴 

만약 학습한 데이터가 금발벽안 소녀이고 이를 AI그림임베딩이라 명명한 후 프롬프트에 (AI그림임베딩)으로 입력하면 결과물에 금발벽안 소녀가 출력됨 

KB 단위의 매우 적은 용량

하이퍼네트워크 / Hypernetwork

학습한 데이터를 결과물에 최대한 적용, 즉 그림체나 스타일을 학습시킴

최소 8gb 이상의 vram이 필요하고 사전 준비가 많이 필요함

용량이 크며 하이퍼네트워크 설정에서 갈아끼워줘야 적용됨

한번에 하나의 하이퍼네트워크만을 적용해야 했기 때문에 병합사용이 불가했으나 이후 업데이트로 지원됨

100~200MB 사이의 용량

드림부스 / Dreambooth

학습한 데이터를 스테이블 디퓨전에 새로 집어넣음. 즉 새로운 개념을 모델에 주입함

하이퍼네트워크 이상의 스펙이 필요해 지금은 런포드 같은 하이테크 하드웨어를 빌려서 사용함

모델로써 작동하기에 GB단위의 매우 큰 용량

로라 / LoRa / Lora

드림부스가 새로운 모델을 만드는 것이라면 로라는 기존 모델에 간섭하지 않고 레이어와 레이어 사이에 학습시킨 새로운 레이어를 추가하는 형태로 학습시키는 기술로 하이퍼네트워크와 임베딩의 상위호환급 취급을 받는 중

용량이 작음에도 큰 영향력을 발휘하는게 장점

100~200MB의 비교적 작은 용량

믹스 / 병합 / 병합모델

유저가 개인적으로 모델을 병합해 새로운 모델을 만든 것

플럼믹스, 바질믹스 등 ㅇㅇ믹스의 이름으로 자주 불리어짐

원소법전

Novel AI가 처음으로 유출되고 WebUI에 이식되면서 animefull-final-pruned / animefull-lastest 모델이 풀리자 퀼리티를 최대한 높이기 위해 중국에서 집단지성으로 작성한 프롬프트 정리 문서

흔히 고봉밥이라 불리는 부정 네거티브를 도배하여 퀼리티를 높이는 방식을 정했는데 오렌지믹스 이후의 모델은 이런 네거티브 도배를 지양하고 짧은 네거티브를 지향하니 시대를 따라 흘러 지나간 정보로만 생각해두자.

허깅페이스 / 허깅

모델, 로라 등의 데이터 저장소. 직접 검색하거나 링크를 받아 자료를 다운로드 할 수 있다.

오타 / 지적 대환영

아마도 내 말이 틀리고 그쪽 말이 맞을 확률이 매우 높음

대회탭에도 올리고 싶은데 대회탭은 수정이 불가하니 일단 정보글로 업로드 함