Mултимодалност представља теорију комуникације и социјалне семиотике. Мултимодалност описује комуникативне праксе у смислу текстуалних, аудитивних, језичких, просторних и визуелних ресурса, или модова (eng. modes) који се користе за креирање порука. Murray, Joddy (2013). Lutkewitte, Claire (ed.). "Composing Multimodality". Multimodal Composition: A Critical Sourcebook. Boston: Bedford/St. Martin's. Скуп ових модова или елемената доприноси томе како мултимодалност утиче на различите реторичке ситуације или могућности за повећање перцепција идеја и концепта публике.

Mодови и медији Иако дискусија о мултомодалности укључује медије и модове, ова два појма не представљају синониме.

Гантер Крес (Gunther Kress) дефинише модове на два начина. У првом смислу, мод је „друштвено и културно обликован ресурс за креирање смисла. Слика, писање, изглед, говор, покретне слике су примери различитих модова“. У другом смислу, „семиотички модови, слично, обликују се помоћу унутрашњих карактеристика и потенцијала медија, као и према захтевима, историјама и вредностима друштава и њихових вредности“.

Дакле, сваки мод има различит модални ресурс, који се налази у историјском и културолошком положају, и који га дели на мање целине јер „сваки мод има различите потенцијале (и ограничења) за значења.  На пример, писање се може поделити на модалне ресурсе налик синтактичким, граматичким, лексичким и графичким ресурсима. Графички ресурси се могу рашчланити на величину и врсту слова. Међутим, ови ресурси нису детерминисани. У Кресовој теорији „мод је значајан: обликован је и вођен „дубоком“ онотолошком и историјском/друштвеном оријентацијом друштва и његових култура. Мод именује материјалне ресурсе обликоване у често дугим историјама друштвеног напора.  Модови обликују, али су и обликовани од стране система у којима учествују. Модови се могу објединити у мултимодалне групе, временом се обликовати у познате културне форме, као што је пример филма који комбинује визуелне модове, начине драмске акције и говора, музике и других звукова.

Медиј је средство у коме се значење остварује и путем којег оно постаје доступно другима. Медији укључују видео, слику, текст, звук и тако даље. Друштвено, медиј укључује семиотичке, социокултурне и технолошке праксе попут филма, новина, билборда, радија, телевизије, позоришта, учионице, итд. Мултимодалност користи електронски медиј креирањем дигиталних модова са преплитањем слике, писања, изгледа, говора и видеа. Медији су постали начини испоруке који узимају у обзир тренутни и будући контекст.

Историјат Мултимодалност се као теорија развила кроз историју писања. Идеја мултимодалности проучава се од 4. века пре нове ере, када су класични реторичари на то алудирали својим нагласком на гласу, гесту и изразима у јавном говору.. 8. Welch, Kathleen E. (1999). Electric   Међутим, термин није дефинисан све до 20. века. За то време, експоненцијални успон технологије створио је многе нове начине презентације. Од тада је мултимодалност постала стандард у 21. веку, примењујући се на различите мрежне облике као што су уметност, литература, друштвени медији и оглашавање. Мономодалност или појединачни режим који је коришћен за дефинисање представљања текста на страници замењен је сложенијим и интегрисаним изгледима. Џон А. Батеман (John A. Bateman) каже у својој књизи Мултимодалност и жанр (Multimodality and Genre), „Данас... текст је само један правац у сложеном презентацијском облику који неприметно укључује визуелни аспект„ око“, а понекад чак и уместо самог текста“. Мултимодалност је врло брзо посталa „нормално стање људске комуникације“. 

Експресионизам Током 1960-их и 1970-их, многи писци су гледали фотографије, филмове и слушали аудиокасете како би открили нове идеје о стваралаштву. То је довело до поновног покретања фокуса на чулну, само-илустрацију познату као експресионизам. Експресионистички начини размишљања охрабрили су писце да пронађу свој глас изван језика стављајући га у визуелни, усмени, просторни или временски медиј.: 45. Доналд Мареј (Donald Murray), који је често повезан са експресионистичким методама подучавања писања, једном је рекао: „Као писцима, важно је да се крећемо од онога што је у нама према ономе што видимо, осећамо, чујемо, миришемо и осећамо укусом света око нас. Писац увек користи искуство. „Мареј је учио студенте да „виде себе као камере“ записујући свако појединачно визуелно запажање које су снимили током једног сата.: 31.  Експресионистичка мисао је нагласила лични раст и повезала уметност писања са визуелном уметношћу називајући обе врсте композицијама. Такође, чинећи писање резултатом сензорног искуства, експресионисти су писање дефинисали као мултисензорно искуство и затражили да оно има слободу како би било креирано путем свих модова, прилагођеним за сва пет чула.

Когнитивни развој Током 1970-их и 1980-их, мултимодалност се даље развијала кроз когнитивна истраживања учења. Џејсон Палмери (Jason Palmeri) наводи истраживаче попут Џејмса Берлина (James Berlin) и Џозефа Хариса (Joseph Harris) као важне за тај развој; Берлин и Харис проучавали су алфабетско писање и његову композицију у поређењу са уметношћу, музиком и другим облицима креативности.: 90.  Њихова истраживања су имала когнитивни приступ који је проучавао како писци размишљају и планирају свој процес писања. Џејмс Берлин је изјавио да се поступак писања текста може директно упоредити са процесом дизајнирања слике и звука.  Даље, Џозеф Харис (Joseph Harris) је истакао да је алфабетско писање резултат мултимодалне спознаје. Писци често своје дело концептуализирају неалфабетским значењима, визуелним сликама, музиком и кинестетичким осећањима. Ова идеја се одразила у популарном истраживању Нила Д. Флеминга (Neil D. Fleming), познатије као неуролингвистички стилови учења. Флемингова три стила аудитивног, кинестетичког и визуелног учења помогла су да се објасне начини на које су људи најбоље могли да уче, стварају и тумаче значење. Други истраживачи, као што су Линда Флаувер (Linda Flower) и Џон Р. Хејс (John R. Hayes) теоретисали су да се алфабетским писањем, као главним модалитетом, понекад нису могли пренети неалфабетске идеје које је писац желео да изрази.

Увођење интернета Деведесетих година 20. века, мултимодалност се развијала са појавом интернета, личних рачунара и других дигиталних технологија. Писменост нових генерација се мењала, навикавајући се на текст који циркулише у деловима, неформално и кроз више медија, боје и звука. Промена је представљала фундаментални помак у начину на који је писање представљено: од штампаног до писања на екрану.  Писменост се развијала тако да су ученици долазили на часове усвајајући видео, графику и рачунарске вештине, али не и алфабетско писање. Предавачи су морали да промене своју наставну праксу да би укључили мултимодалне лекције са циљем да помогну ученицима да постигну успех у писању за нови миленијум.

Референце

Литература

Категорија:Писменост