이 왜있음?
이 아니라 이번 구글 머신러닝측에서 text-to-image generation 모델인 Parti를 통해 제목의 텍스트를 이미지로 만들어 낸 것.
요즘 별로 트랜드가 아닌 Autoregressive 한 학습을 이용. 최대 20B parameters로 생성(위의 사진이 20B)
자연어 관련되면 좋은 성능을 위해서는 무조건 데이터량 늘리고 parameters 늘리는게 아직도 최선인거 같음.
PET 보면 한정적인 분야에서는 parameters를 1000배 가까이 줄일 수도 있지만, 그래도 보다 많은 기능을 사용하기 위해서는 여전히 large scale parameters가 필요하다보니 계속 이쪽으로 나아가지 않을까.
보다 자세한 정보는 원문으로
