[Diffusion] diffusion model
·
AI/Diffusion
https://arxiv.org/pdf/1503.03585문제의식저자들은 좋은 확률 모델이 갖춰야할 조건을 명시적으로 나열한다.모델 구조의 극한 유연성정확한 샘플링다른 분포와의 간단한 곱셈로그 우도를 싸게 평가기존 모델은 이를 동시에 만족하지 못한다. 가우시안과 같은 tractable 모델은 (2)~(4)를 만족하지만 (1)을 포기하고, flexible 모델은 (1)을 얻는 대신 나머지 중 일부를 포기한다.아이디어통계물리와 통계학에는 쉬운 분포에서 어려운 분포로 여러 단계에 걸쳐 천천히 이동하는 도구(AIS)가 존재한다. 둘 다 마르코프 체인으로 분포를 조금씩 변형하면서, 경로 전체에 대한 importance weight로 정규화 상수를 추정한다. 한 번에 건너뛰면 importance weight의 분산..