Diffusion Model의 Reverse sampling을 더 빠르게 하는 새로운 방식으로 Distillation Approach가 제안되었다. 아래 2가지 논문을 살펴보자.

  1. Luhman & Luhman (2021). Knowledge distillation in iterative generative models for improved sampling speed.
  2. Salimans & Ho (2022). Progressive distillation for fast sampling of diffusion models.

Summary

Reference

Websites

[사이트 출처 1]

Papers

[1] Luhman, E., & Luhman, T. (2021). Knowledge distillation in iterative generative models for improved sampling speed. arXiv preprint arXiv:2101.02388.

[2] Salimans, T., & Ho, J. (2022). Progressive distillation for fast sampling of diffusion models. arXiv preprint arXiv:2202.00512.

댓글남기기

참고

[Review] Diffusion Models 2 - 작성 중

Diffusion Model이 sample quality 측면에 있어서 높은 fidelity를 자랑한다면, density estimation은 어떨까? log-likelihood를 최소화하도록 Diffusion Model에 약간의 변형을 줘 본, 아래 2개의 논문을 리뷰해보자.

[Review] Diffusion Transformer (DiT)

Diffusion Model의 기본 Architecture는 DDPM 때 부터 U-Net을 주로 써왔다. 그러나, “굳이 U-Net?”이라는 의문이 들 수 있기에. Transformer를 사용한 Diffusion Transformer, DiT 논문을 살펴보자. 정확한 논문 이름은 ...

[Review] Diffusion Models 3 - 작성 중

Song et al., 2020의 Score-Based Generative Modeling through Stochastic Differential Equations 논문에서 우리는 Diffusion forward process가 forward SDE로 나타나고, reverse p...

[Review] PEFT-LoRA

Parameter Efficient Fine-Tuning(PEFT)라 불리는 모델 튜닝 방식에 대해서, 그 중에서도 Alpaca에서도 사용되는 등 가장 널리 알려진 Low-Rank Adaptation of LLM(LoRA)에 대해 정리해보자.