Objective
디테일한 손을 사용하는 HOI 를 잘 생성하지 못하는 Diffusion Model 의 개선
Method
•
어떤 손가락을 사용하고, 물체의 크기는 어떻고, … 등등을 지정하는 방식을 DSL Program 을 제안, 그 형태에 맞는 prompt 를 생성함.
•
생성한 디테일한 prompt 를 다양한 Proposer 모델에 넣어 이미지들을 생성함.
◦
이 때, 각 proposer 들은 dreambooth 를 통해 finetuning 된 여러 diffusion model 임.
•
생성된 이미지들 중 verifier 를 거쳐서 살아남은 prompt-image 쌍을 데이터셋에 추가함.
•
추가한 데이터셋으로 새롭게 Diffusion Model 을 fine-tuning 하여 최종 모델을 만듬.