Nazwa metody nawiązuje do zjawiska dyfuzji w termodynamice. W procesie treningu do obrazu stopniowo dodaje się szum o rozkładzie normalnym, aż obraz staje się czystym szumem, a model uczy się procesu odwrotnego, czyli usuwania szumu krok po kroku. Generowanie nowego obrazu zaczyna się od losowego szumu, z którego model iteracyjnie wydobywa pożądaną strukturę. Praca na pełnej rozdzielczości obrazu wymaga dużej mocy obliczeniowej, dlatego modele dyfuzji ukrytej (LDM), takie jak Stable Diffusion, wykonują ten proces na skompresowanej reprezentacji obrazu utworzonej przez autoenkoder. Zgodność obrazu z opisem tekstowym zapewniają modele łączące tekst i obraz we wspólnej przestrzeni reprezentacji, takie jak firmy OpenAI, wytrenowany na 400 milionach par obrazów i ich podpisów.