DALL·E — генератыўная мадэль, распрацаваная OpenAI для стварэння відарысаў на аснове тэкставых апісанняў, якая аб’ядноўвае прынцыпы апрацоўкі натуральнай мовы і камп’ютарнага зроку. Упершыню прадстаўлена ў студзені 2021 года. Выкарыстоўвае архітэктуру , падобную да мадэляў ад OpenAI.

Мадэль выкарыстоўваецца ў мастацтве, дызайне, стварэнні візуальнага змесціва, рэкламе і іншых сферах, дзякуючы сваёй здольнасці інтэрпрэтаваць і візуалізаваць складаныя апісанні.

Гісторыя DALL-E была распрацаваная кампаніяй OpenAI у рамках намаганняў у прасоўванні штучнага інтэлекту з выкарыстаннем мадэляў машыннага навучання, якія могуць інтэрпрэтаваць і ствараць змесціва на аснове тэксту і візуальных элементаў. Назва DALL-E з’яўляецца спалучэннем імёнаў мастака Сальвадора Далі і анімацыйнага робата WALL-E. Мадэль была створана для інтэрпрэтацыі запытаў на натуральнай мове і стварэння адпаведных візуальных вынікаў. Яе распрацоўка абапіраецца на даследаванні OpenAI у галіне здольнасцей нейронных сетак выконваць задачы, якія выходзяць за рамкі традыцыйнай , і ўключае дасягненні архітэктуры GPT.

Першая версія DALL-E была прадстаўлена кампаніяй OpenAI 5 студзеня 2021 года як пачатковы эксперымент у галіне генерацыі відарысаў па тэкставых апісаннях. Гэтая мадэль была пабудавана на аснове трансформернай архітэктуры , мадыфікаванай для стварэння візуальных, а не тэкставых вынікаў. Прэс-рэліз уключаў серыю запытаў і відарысаў, згенераваных DALL-E, якія дэманстравалі яе здольнасць ствараць новыя відарысы па тэкставых апісаннях, у тым ліку камбінацыі аб’ектаў і сцэн, што не маюць рэальных аналогій.

У красавіку 2022 года OpenAI выпусціла DALL-E 2, абноўленую версію мадэлі. DALL-E 2 палепшыла разрознасць і складнасць відарысаў і пашырыла магчымасць ствараць высокадэталізаваныя відарысы. У мадэль таксама была дададзена функцыя дапрацоўкі відарысаў, якая дазваляе карыстальнікам змяняць часткі відарыса, падтрымліваючы візуальную цэласнасць. У верасні таго ж года DALL-E 2 стала даступнай для выкарыстання ўсім ахвотным. DALL-E 2 увайшла ў спіс 200 найлепшых вынаходстваў 2022 года паводле часопіса Time.

20 жніўня 2023 года была выпушчана DALL-E 3. Гэтая версія мае здольнасць ствараць больш дэталізаваныя і дакладныя відарысы на аснове запытаў карыстальнікаў, лепш апрацоўваючы складаныя запыты і доўгія апісанні ў параўнанні з папярэднімі версіямі. Яна таксама ўключае пашыраную сістэму бяспекі, адхіляючы запыты, звязаныя з нецэнзурным, гвалтоўным або крыўдлівым зместам, і ўнікае генерацыі відарысаў публічных асоб або ў стылях жывых мастакоў для прадухілення парушэння аўтарскага права. Мадэль прапануе карыстальнікам магчымасць кансультавацца з ChatGPT для дапамогі ў стварэнні ідэй для запытаў, чаго не было ў DALL-E 2. Паляпшэнні ў DALL-E 3 таксама датычацца складаных раней абласцей, такіх як рэалістычнае адлюстраванне рук і тэксту на відарысах.

DALL-E 3 інтэгравана ў Bing ад Microsoft і стала даступная праз у кастрычніку 2023 года для падпісчыкаў ChatGPT Plus.

Тэхнічныя асаблівасці

DALL-E выкарыстоўвае трансформерную архітэктуру, прыдатную для інтэрпрэтацыі і генерацыі тэксту і відарыса. Сетка-трансформер мае некалькі слаёў , якія дазваляюць ёй аналізаваць і надаваць розную вагу розным элементам у тэкставым запыце. Гэты механізм дапамагае мадэлі вызначыць адносную важнасць кожнага слова з запыту.

У версіях, пачынаючы з DALL-E 2, працэс генерацыі відарысаў ажыццяўляецца з дапамогай . Дыфузныя мадэлі функцыянуюць шляхам паступовай трансфармацыі выпадковага шуму ў звязны відарыс праз серыю ітэрацыйных крокаў. На кожным этапе мадэль удасканальвае відарыс з выкарыстаннем узораў, вывучаных з даных у часе навучання, паступова пераходзячы ад абстрактнага шуму да дэталізаванага відарыса. Каб відарыс не быў цалкам выпадковым, а адлюстроўваў запыт, пры генерацыі дадаткова выкарыстоўваецца запыту, атрыманая з дапамогай мадэлі кантраснага навучання .

DALL-E была навучана на вялікім наборы даных, які змяшчае пары тэкставых апісанняў і адпаведных відарысаў. Гэты набор даных дазволіў мадэлі вывучыць і засвоіць асацыяцыі паміж тэкставымі запытамі і візуальнымі элементамі, што дазваляе ёй ствараць відарысы, якія адпавядаюць тэкставаму апісанню.

Магчымасці і выкарыстанне

DALL-E выкарыстоўваецца для стварэння відарысаў паводле тэкставага апісання (запыту). Відарысы могуць быць як фотарэалістычнымі, так і імітаваць графіку ці жывапіс. Асаблівасцю мадэлі з’яўляецца магчымасць спалучаць канцэпцыі, якія рэдка сустракаюцца разам у рэальным жыцці, што дазваляе ствараць унікальныя відарысы, напрыклад крэсла ў выглядзе авакада або слімака ў форме арфы. Таксама запыт можа рэгуляваць атрыбуты аб’ектаў, такія як колер, форма, матэрыял, колькасць і палажэнне на відарысе, нават калі аб’ектаў некалькі. У запыце можна задаваць паварот аб’екта і ракурс, з якога павінен быць адлюстраваны аб’ект. Таксама ў мадэлі прысутнічае ўяўленне пра распаўсюджаныя канцэпцыі, так што напрыклад фота вядомага архітэктурнага аб’екта можа быць згенеравана толькі паводле назвы, без дэтальнага апісання.

У некаторых выпадках DALL-E можа памыляцца пры інтэрпрэтацыі запыту, напрыклад пры супастаўленні аб’ектаў і іх уласцівасцей (на запыт «зялёны яблык і чырвоны кубак» можа быць згенераваны відарыс чырвонага яблыка і зялёнага кубка). DALL-E можа ствараць некарэктныя медыцынскія, астранамічныя і іншыя навуковыя відарысы. Часта мадэлі не ўдаецца згенераваць тэкст на відарысах. Вынікі генерацыі пагаршаюцца пры павелічэнні колькасці аб’ектаў і выкарыстанні адмоўяў у запытах.

Акрамя генерацыі відарысаў, DALL-E 2 падтрымлівае функцыі змены дэталей на ўжо згенераваным відарысе шляхам сцірання часткі відарыса і паўторнай генерацыі, што закранае толькі сцёртую частку (), а таксама пашырэнне граніцы відарыса ў розныя бакі з дадаваннем новых элементаў (). Функцыя рэдагавання відарысаў таксама была дададзена ў DALL-E 3.

Вядомыя выпадкі выкарыстання DALL-E для генерацыі ідэй у прадуктовым дызайне, стварэнні лагатыпаў і дызайне мабільных інтэрфейсаў, у афармленні блогаў і старонак сацыяльных медыя, стварэнні карцін для афармлення інтэр’еру. , кіраўнік архітэктурнага бюро заявіў аб выкарыстанні ў кампаніі такіх мадэлей як DALL-E 2 і Midjourney для стварэння эскізаў і хуткай візуалізацыі ідэй пры перамовах з кліентамі.

Этычныя і юрыдычныя аспекты Выхад DALL-E выклікаў дыскусіі вакол этыкі прымянення падобных мадэлей. Сярод магчымых рызыкаў называюць генерацыю небяспечнага змесціва, відарысаў, што могуць нашкодзіць рэпутацыі вядомых асоб, страту працы дызайнерамі і мастакамі праз іх замяшчэнне штучным інтэлектам, прасоўванне дэзынфармацыі і падмацаванне стэрэатыпаў, такіх як напрыклад расавыя і гендарныя ролі. Застаецца адкрытым пытанне пра аўтарскае права на змесціва, згенераванае мадэллю, бо даныя для навучання мадэлі маглі не належаць OpenAI.

Раннія версіі DALL-E 2 адзначаліся нізкай гендарнай і расавай разнастайнасцю пры генерацыі відарысаў з людзьмі пэўных прафесій. Напрыклад, на запыт «фота генеральнага дырэктара» мадэль выдавала відарысы збольшага з белымі мужчынамі, а запыт «жанчына» прыводзіў да генерацыі партрэтаў жанчын еўрапеоіднай расы. У ліпені 2022 года OpenAI выпусцілі абнаўленне мадэлі, пры якім, паводле ўнутраных ацэнак, карыстальнікі ў 12 разоў часцей адзначалі разнастайнасць у выніках генерацыі відарысаў людзей. Пры гэтым тэхнічныя дэталі рашэння ў прэс-рэлізе не раскрываліся. Макс Вулф, дата саенціст з , які тэсціраваў абноўленую версію мадэлі ў раннім доступе адзначыў павелічэнне разнастайнасці, але разам з тым пагаршэнне адпаведнасці згенераваных відарысаў тэкставым апісанням. Гэта спарадзіла чуткі, што рашэнне ад OpenAI заключаецца ў выпадковым дадаванні характарыстык, такіх як «жанчына», «мужчына», «азіят», «чорны» да апісання.

Выкарыстанне відарысаў, згенераваных з дапамогай DALL-E 3, можа прывесці да парушэння аўтарскага права, бо атрыманыя відарысы часам амаль поўнасцю супадаюць з абароненымі аўтарскім правам відарысамі персанажаў кіно і гульняў. Гэта можа адбывацца нават тады, калі імёны персанажаў не згадваюцца непасрэдна ў запыце, і карыстальнік можа не ўсведамляць, што парушае аўтарскае права, калі не ведае арыгінальнага відарыса, што стаў асновай для генерацыі. Такая з’ява можа сведчыць пра тое, што ў навучальным наборы даных для мадэлі прысутнічалі абароненыя аўтарскім правам відарысы. Для аўтараў, што хочуць выключыць свае работы з навучальных даных, OpenAI прапанавалі механізм ухілення. Каб прадухіліць навучанне будучых версій DALL-E на сваіх работах, аўтары мусяць прыслаць кампаніі спіс гэтых работ з апсіаннем да кожнай работы.

Відарысы, створаныя з дапамогай DALL-E, могуць быць неабароненыя аўтарскім правам. Вядомы выпадак справы, што разглядалася муніцыпальным судом у Празе, калі падсудны выкарыстаў у сябе на сайце відарыс, узяты без дазволу з сайта істца. Пры гэтым відарыс быў створаны істцом з дапамогай DALL-E. Суд не задаволіў патрабаванне істца і не абавязаў падсуднага прыбраць відарыс з сайта, аргументуючы гэта тым, што такі відарыс не можа лічыцца вынікам творчасці сапраўднай асобы і ісцец, такім чынам, не мае на яго правоў і не можа абмяжоўваць яго распаўсюджанне.

Гл. таксама Midjourney

Крыніцы

Катэгорыя:Машыннае навучанне