Suhelda saab vaid multimodaalselt

Silvi Tenjes, Tartu ülikooli MUSU grupi koordinaator

Informatsioon on ühesuunaline, kommunikatsioon on põhimõtteliselt kahesuunaline. Kahe  osaleja kommunikatsioon ei toimu aga mitte ainult keele vahendusel, vaid kasutame ka keha, žeste ja näoilmeid − modaalsusi. Kommunikatsiooni evolutsioon tipneb ülimalt väljendusrikka ja ökonoomse suulise keelega. Arvatakse, et kommunikatsioon põhineb kas häälitsustel või miimilisusel/žestikuleerimisel.   

Keele tekkimise mitteverbaalse aluse korral on kaks võimalust: keel ja žest on kas tekkinud miimilisusest-pantomiimilisusest või tekkis kõnekeel žestidelt – ikoonilisest suhtluselt – ümberlülitumise kaudu keelele kui sümbolilisele suhtlusele. Miimilisus on  ühtlasi keele prototüüp ning näitab ka keele ja žestide ühist sensomotoorset alust. Ikoonilisus – kujutamine, on samuti teatud prototüüpsus, koopiategemine. Prototüüpsus võis keele jaoks seisneda pantomiimi, žestide ning hääleliigutuste ehk suulise kõne kombineerimises. Kõnekeelt seostatakse eelkõige homo sapiens sapiens’iga umbes 100 000, aga võib olla ka ainult 60 000 aastat tagasi.   

Keele evolutsioonis on inimese tõusmine kahele jalale väga silmapaistev saavutus: sai hakata kätega asju hoidma ning loopima ning  suhtlus pidi kolima mingisse muusse kanalisse – söömise ja hingamise vahele, napilt. Keeles kohtab ka ikoonilisust (kõige lihtsamad on loodushääli jäljendavad sõnad: miks ikkagi on sulps, kui kivi vette kukub, mitte prõks!). Väljendusvõimet on kujundanud nn kognitiivne surve või sund, sest ainult inimesel on õnnestunud peenel kombel ikoonilisuse loomusest niimoodi aru saada, et saime sümbolid! Žestide keel oli ikooniline ja kui sümbolikeel  võttis kommunikatsioonis rolli üle, jäi ikoonilisus peamiselt žestidele. 

Kui suhtlus on vähemalt sama vana kui  homo sapiens, siis uurima hakati seda alles 20. sajandil. Ameerika tundis juba 1930ndatel huvi, kuidas mõjutab töökollektiivi suhtluskäitumine töö tulemuslikkust. Pärast Teist maailmasõda hakati uurima ka inimese liigutusi suhtluse ajal. Nüüd jälgitakse suhtlust virtuaalsete mudelite abil. Virtuaalsetes keskkondades võeti ka kasutusele sõnapaar „multimodaalne suhtlus”, umbes kümme aastat on inimsuhtluse uurimine käinud teadusmaailmas just selle  mõiste toel. 

Multimodaalne suhtlus     

Suhtlussituatsioonist või -sündmusest võtavad tavaliselt osa kõneleja/kirjutaja ja kuulaja/lugeja  mingil konkreetsel ajal, konkreetses kohas ja konkreetsete asjaolude juures. Suhtlus on sõnade ja lausete väljendamine konkreetses situatsioonis kirjalikus või suulises vormis, kusjuures suulises vormis kombineeruvad nii keelelised kui ka mittekeelelised vahendid. Suhtlusuuringu puhul on tegu multimodaalse „kolmainsusega”: sõnad ja grammatika, prosoodia ning kehaliigutus. Avaras käsitluses tähendab multimodaalsus kõiki vahendeid,  mis inimesel on tähenduse loomiseks, sealhulgas ka selliseid esitusviise nagu joonistamine või kirjutamine. Teatud üldistusena võib nimetada multimodaalseks keelelist, tegevuslikku ja pildilist suhtlust.   

Modaalsus on seotud suhtluskanalite tüüpidega ja seda kasutatakse info edastamiseks ja vastuvõtmiseks. Viis või moodus ütleb uurijatele, et materjalist eraldatakse tükk infot või seda tõlgendatakse määratletud tähenduse saamiseks. Moodused on näiteks käežest, kõneprosoodilised ilmingud, kõne, kirjutamine ja  kujutis. Kuidas me kasutame keelt (sõnu ja grammatikat), prosoodiat ja kehaliigutusi, et väljendada mingi fakti pärinemist tegelikust või hoopis imaginaarsest (nt ilukirjanduslikust) maailmast? Seda uuritaksegi multimodaalse suhtluse kaudu.   

Multimodaalsus suhtluses baseerub sensoorsete modaalsuste ehk inimmeelte andmetel  (nt puudutus, nägemine, kuulmine jne) ja nõuab vähemalt kaht vastusmodaalsust – verbaalset (s.t kõnekeelega seotud) ja manuaalset (s.t käežestiga seotud) tegevust. Kommunikatiivseid modaalsusi on viis: kõne, prosoodia, žest, näo- ning pea- ja kehaasendid. Sealjuures on nn näoasendid suu, pilgu, silmade ja kulmude liigutused.   

Erialakirjanduses ei tehta enamasti vahet modaalsuse paiknemise ja funktsiooni vahel. Miks? Sest suhtluse seisukohast on olulisem liigutus, mitte paigalseis. Kuigi vahel tuleb  kirjeldada, kuidas „käed puhkavad süles” või „kangestus kogu kehast, ainult vaatas suurte silmadega”.   

Tunded ja mõtted on esialgu olemas vaid inimese „sees”, on tema jaoks „kehastunud”. Suhtluse käigus tulevad need esile, nende tähendus varieerub ja areneb. Inimesed omandavad informatsiooni sensomotoorsete modaalsuste abil, kuid mõjutavad välismaailma aktiivselt  ka ise ja hoiavad oma kommunikatiivse tegevusega seda kontrolli all.   

Sõnumit võetakse vastu kõigi meeltega − sensoorsete modaalsustega. Osa meeli töötab teadvustatumalt, osa alateadlikult: kui meile öeldakse midagi käega viibates, siis me kuuleme öeldut ja näeme viibet, aga ei pruugi märgata pilku, muiet, jalaliigutust. Olenevalt suhtlussituatsioonist võime haista parfüümi,  toidu või lille lõhna. Kui me sosistame kellelegi midagi teda puudutades, siis me oleme liigutanud häälepaelu, huuli, kätt, sooritanud puudutusmodaalsuse − see on liigutuslik tegevus, motoorsed modaalsused.   

Silmad ja suu on kõige ilmekamad modaalsuste kandjad. Häälepaelte, keele ja/või hammastega toome esile kõne. Silmad ja käed „torkavad” rohkem „silma”. Neist modaalsustest lähtuvad pilk, ninakirtsutus, intonatsioon, sõna, naeratus ja žest. Kõne on kõige häälekam, aga mitte ainus modaalsus. Näeme, et igal kehaosal  on veel mitmeid võimalusi tähenduse edastamiseks. 

Sensoorsus ja motoorsus töötavad taju tasandil peenel ja veel mitte lõplikult kindlaks tehtud viisil. Infot edastatakse eelkõige liigutuslike  modaalsuste/kanalite/viiside/võimaluste kaudu, mida võib kokku nimetada motoorseks modaalsuseks, aga see, mida edastada, tekib meie peas ja südames. Näiteks lugu jutustades on komponentide valik alateadlik, kuid igal juhul motiveeritud. Sensoorselt ehk meelte abil võtame rohkem suhtlust vastu: vaatame, kuulame, nuusutame, maitseme, kompame. Siinjuures on oluline tähele panna, et motoorsus on pigem seotud tähenduse edastamisega  ning sensoorsus pigem tähenduse vastuvõtmisega. Kommunikatsiooniprotsess on definitsiooni järgi dünaamiline: pidev, kestev, alati muutuv sündmus. Me nagu ei saakski seda uurida – kaks korda samasse jõkke ju ei astu. Seega peab uurija filmima, lindistama, analüüsima. Eri pikkusega suhtluslõike analüüsitakse äärmiselt detailselt. Kui mingi muster hakkab korduma, saame teha ka üldistusi. Multimodaalse suhtluse uurimiseks kasutatakse modaalsuste kirjeldamist,  tüpologiseerimist, semantiliste funktsioonide fikseerimist, kirjeldust ja analüüsi.       

MUSU grupp       

Tartu ülikooli multimodaalse suhtluse uurimise grupp (loodud 2009. a, koordineerivad Silvi Tenjes ja Raili Marling) on välja kasvanud 2003. aastal loodud Tartu ülikooli käežestide uurimise grupist ning analüüsib nii suulisi kui kirjalikke suhtlusandmeid. MUSU grupi koostöö on mitmetasandiline, juba koordineerimine on kahe osakonna asi. Gruppi  kuulub doktorante ja uurijaid eesti keel võõrkeelena, inglise, hispaania, skandinavistika ja klassikalise filoloogia osakonnast, aga ka väljastpoolt Tartu ülikooli. Grupi teadusuuringute põhisuundadeks on multimodaalne suhtlus ja õppimine, sotsiaalne interaktsioon, diskursusanalüüs, võim kirjalikus ja suulises suhtluses, teksti ja konteksti vahekord, sensomotoorsed mehhanismid ja liigutus. Multimodaalset suhtlust uurides analüüsime kaht omavahel  seotud tasandit: inimese keelekasutust suhtlussituatsioonis ning suhtlussituatsiooni dünaamikat sotsiaalses interaktsioonis.       

Rahvusvaheliste koostööprojektide analüüsimeetodeid rakendame doktorantide töödes. Rahvusvaheline kogemus lubabki väita, et multimodaalse suhtluse analüüsi tulemused annavad tubli praktilise väljundi. Kui üks modaalsus, näiteks kõne, on puudu, kuidas siis inimesest aru saada? Kui õpetame võõramaalastele oma emakeelt, kuidas seda paremini teha? Kuidas anda edasi grammatiliselt täiesti teistsuguse struktuuriga keeles romaani? Mida  me endale lubame, kui kirjutame e-kirju, mille adressaat on ainult meie kujutlustes? Millised vabadused see annab, millised piirangud seab? Need on vaid mõned küsimused, millega MUSU grupp tegeleb. Meie andmekorpused ISU (interaktiivsed suhtlussituatsioonid) ja KOK (kontekstualiseeritud kirjalikud materjalid) on vundamendiks multimodaalsetele suhtlusuuringutele Eestis. Multidistsiplinaarne lähenemine suhtlusuuringutele integreerib teksti  ja kõne struktuuriuuringud ning annab lisa sotsiaalse ja kognitiivse konteksti analüüsi.     

Vt ka http://www.fl.ut.ee/879147,       

http://www.rakenduslingvistika.ee/ul/files/Tenjeset-al_ERYa5_pp267-285.pdf,       

http://www.fl.ut.ee/70657,       

http://lepo.it.da.ut.ee/~stenjes/, 

 http://www.murre.ut.ee/flee-korpused/,   

http://www.placeme.hum.aau.dk/.