Модель перетворення тексту на зображення (T2I або TTI) — модель машинного навчання, яка приймає вхідний запит природною мовою та створює зображення, що відповідає цьому опису.
Історія До появи глибокого навчання у 2010-х роках спроби побудови моделей перетворення тексту на зображення обмежувалися колажами шляхом упорядкування існуючих складових зображень, наприклад, з бази даних кліпартів.
Зворотне завдання, підписування зображень, було більш виконуваним, і низка моделей глибокого навчання з підписами до зображень з'явилася до появи перших моделей перетворення тексту на зображення. Перша сучасна модель перетворення тексту в зображення, alignDRAW, була представлена у 2015 році дослідниками з Університету Торонто. alignDRAW розширив раніше представлену архітектуру DRAW (яка використовувала рекурентний варіаційний автокодер з механізмом уваги) для обробки на основі текстових послідовностей. Зображення, згенеровані alignDRAW, мали невелику роздільну здатність (32×32 пікселі, отриману шляхом зміни розміру) і вважалися такими, що мають «низьку різноманітність». Модель змогла узагальнити дані на об'єкти, не представлені в навчальних даних (наприклад, червоний шкільний автобус), і належним чином обробляла нові підказки, такі як «знак „стоп“ летить у блакитному небі», демонструючи, що вона не просто «запам'ятовувала» дані з навчального набору.
У 2016 році Рід, Аката, Ян та ін. стали першими, хто використав генеративно-змагальні мережі для завдання перетворення тексту в зображення. Завдяки моделям, навченим на вузьких, предметно-специфічних наборах даних, вони змогли генерувати «візуально правдоподібні» зображення птахів і квітів з текстових підписів, таких як «повністю чорний птах з виразним товстим, округлим дзьобом» . Модель, навчена на більш різноманітному наборі даних COCO (Common Objects in Context), створила зображення, які були «здалеку... обнадійливими», але яким бракувало узгодженості в деталях. Пізніші системи включають VQGAN-CLIP, XMC-GAN та GauGAN2.
Однією з перших моделей перетворення тексту на зображення, яка привернула широку увагу громадськості, була DALL-E від OpenAI, система -трансформер, анонсована в січні 2021 року. Наступник, здатний генерувати складніші та реалістичніші зображення, DALL-E 2, був представлений у квітні 2022 року, а потім Stable Diffusion публічно випущено у серпні 2022 року.
Наслідуючи інші моделі перетворення тексту на зображення, платформи перетворення тексту на відео на основі мовних моделей, такі як Runway, Make-A-Video, Imagen Video, Midjourney, та Phenaki можуть генерувати відео з текстових та/або текстових/графічних підказок.
Див. також
Мистецтво штучного інтелекту Модель перетворення тексту у відео ШІ-помиї
Посилання