SVKA180Multimodaalinen diskurssintutkimus

Elina Tapio24/10/2011

Tänään

• Johdanto aiheeseen• Kurssin rakenne• Kolmen artikkelin käsittely pienryhmissä

Multimodal view –something old, something new?

” (--) all discourse is multimodal.”(Scollon & Levine 2004)

Monomodaa l i suus?

Oletko koskaan nähnyt monomodaalista tekstiä• lehdissä• kirjoissa

• mainoksissa• opetusmateriaalissa?

Multimodaalinen teksti ei tarkoita ainoastaan tekstiä, jossa on tekstin lisäksi kuvia.

Multimodal view –something old, something new?

• ” (--) all discourse is multimodal.” (Scollon & Levine 2004)

DISKURSSI/DISCOURSE?

MULTI-WHAT?

MULTI-MIKÄ?

Multi-mikä?

MODE and MEDIUM

Mode… any organized, regular means of representation and communication, such as, still image, gesture, posture, speech, music, writing, or new configurations of the elements of these (Jewitt 2004:184, In Levine & Scollon. 184 – 195).… refers to), the representation on the content side. Those are the semiotic resources. A mode can be realised in more than one medium. Examples: narrative, colour, gesture (Kress & van Leeuwen).

Medium … how texts are disseminated, such as printed book, CD-Rom, or computer application.…refers to production (Kress & van Leeuwen 2001) and dissemination on the expression side. …can be a tool, a material. It is closely associated with different sensory channels (Kress & van Leeuwen 2001: 67).

Kitchener Recruitment Poster (1914)

Cf. Van Leeuwen (2004, 7-8)

Something new

• Tekstin vallasta kuvan aikakauteen:“... a linguistic theory cannot provide a full account of what literacy does or is; language alone cannot give us access to the meaning of the multimodally constituted message; language and literacy now have to be seen as partial bearers of meaning only.”

(Kress 2003: Literacy in

the New Media Age)• Pohdi omaa arkeasi:

Miten merkitys rakentuu esim. peleissä, Messengerissä/Skypessä, verkkolehdissä?

Multimodaalisuus vuorovaikutuksessa

• “...gesture, gaze etc. can play a superordinate or an equal role to the mode of language in interaction, and therefore, these modes are not merely embellishments to language.” (Norris 2004)

Communicative modes (Norris 2004)

Semioottiset resurssit

Multimodal theory of communication concentrates on:

1. the semiotic resources – the modes and the media used

2. the communicative practices in which these resources are used

(Kress & van Leeuwen 2001:111)

Ei lista sääntöjä vaan resursseja merkitysten luomiseen ja tulkitsemiseen. “…actions and artefacts we use to communicate…” (van Leeuwen 2005: 3)

Esimerkkejä pohdittavaksi:

• kävely• kynsilakka• eleet

Semioottiset resurssit

Kurssin rakenne 1/2

Kurssin rakenne 2/2

KOTISIVU / HOMEPAGE

MULTIMODALITY

Kolmen artikkelin purku 1/2

1. ryhmä: Kääntä & Haddington alku (Multimodaalinen vv tutkimuskohteena meillä ja muualla –saakka)

2. ryhmä: Kääntä & Haddington loppu3. ryhmä: Jonesin artikkeli4. ryhmä: Norrisin artikkeli

Etsikää yhdessä tekstinne pääpointit

Muodostakaa 1-2-3-4 -ryhmiä ja keskustelkaa:• Millä tavalla uudet teknologiat Jonesin mukaan pistävät meidät

miettimään suhtautumistamme kontekstiin? • Pohtikaa omaa ’läsnäoloanne’ virtuaalisissa ympäristöissä: Mitkä

Jonesin huomiot voitte itse allekirjoittaa?• Norris antaa kaksi esimerkkiä perinteisen diskurssianalyysin

laajentamisesta holistisemmaksi analyysiksi. Miten pohtisit aihetta viittomakielen tutkimuksen näkökulmasta?

• Kääntä & Haddington esittelivät useita eri tutkimusalueita: Mitä ne olivatkaan?

Onko viittomakieliä tutkittu näistä näkökulmista? Miten itse soveltaisitte ko. näkökulmia viittomakielten tutkimukseen?

• Mikä artikkeleissa esitelty aihe kiinnostaa tällä hetkellä eniten?

Kolmen artikkelin purku 2/2

SEURAAVA ASKEL…

• Keskustelu multimodaalisuudesta jatkuu keskustelufoorumilla

• Keräämme aineistoa Optima-kansioihin 28.10. mennessä

• Ensi kerralla: datasessio ja lisää lukemista

Some sourcesBagga-Gupta, S. 2004. Visually oriented language use: Discursive and technological resources in Swedish Deaf pedagogical arenas. In Van Herreweghe, M. & Vermeerbergen, M. (eds.) To the lexicon and beyond. Sociolinguistics in European deaf communities. Washington D.C.: Gallaudet University Press. 171 – 207.Gee, J.P. 2008. Learning and Games. In Salen, K. (ed.) The Ecology of Games: Connecting Youth, Games, and Learning. The John D. and Catherine T. MacArthur Foundation Series on Digital Media and Learning. Cambridge MA: The MIT Press. 21 – 40. Goodwin, C. 2000. Action and embodiment within situated human interaction. Journal of Pragmatics 32, 1489 – 1522.Herring, S. C. (2007). A faceted classification scheme for computer-mediated discourse. Language@Internethttp

://www.languageatinternet.de/articles/2007/761 Accessed 10.11.2010.Jewitt, C. 2008. Multimodal discourses acroos the curriculum. In Martin-Jones, M. et al. (eds.) Encyclopedia of language

and education, 2ndedition, Volume 3, Discourse and Education, 357 –367.Jordan, B. and Henderson, A. 1994. 'Interaction Analysis: Foundations and Practice', The Journal of the Learning

Sciences. 4: 39 – 101.Kress, G. 2000. Multimodality. In B. Cope and M. Kalantzis (eds.) Multiliteracies : literacy learning and the design of

social futures. London: Routledge. 182 – 202.Kress, G. & Van Leeuwen, T. 2001. Multimodal Discourse. The modes and media of contemporary communication.

London: Arnold.Levine, P. & Scollon, R. (eds.) 2004. Discourse & technology. Multimodal discourse analysis. Washington, D.C. : Georgetown university press.Norris, S. 2002. The Implication of Visual Research for Discourse Analysis: Transcription beyond Language. Visual

Communication 1:1, 97 – 121.Norris, S. 2004. Analyzing Multimodal Interaction: A Methodological Framework. London: Routledge.Norris, S. & Jones, R. H. 2005. Discourse in Action: Introducing Mediated Discourse Analysis. London: Routledge.