Working with Questionnaires

Aimée LahaussoisHistoire des théories linguistiques, CNRS, Université de Paris, 

F‐75013 Paris, Franceaimee.lahaussois@cnrs.fr

Outline

• What is a questionnaire?• Where can we find them?• How to use/develop/adapt questionnaires• (Some Questionnaires I like)

I. What is a questionnaire?

Possible/useful to adopt a very (very) broad definitionany tool that helps towards a fieldwork challenge: use time with speakers efficiently to collect as many diverse materials as possible 

• Field manuals/grammar‐writing manuals• Grammars• « Questionnaires », ie. questionnaires, visual questionnaires, but also checklists, descriptive templates, grammaticographical models, and more

a) Field manuals/grammar‐writing manualsFlourishing field of publication

1 in 1947; 1 in 1967; 1 in 1971; 2 in 1997; 1 in 2001; 1 in 2003; 2 in 2006; 4 in 2007; 1 in 2008; 2 in 2010; 1 in 2011; 1 in 2012; 1 in 2014; 2 in 2015; 1 in 2018; 1 in 2019

A number of different typesGuides to grammar writing: Aikhenvald 2015 Art of Grammar, Payne 1997 Describing Morphosyntax;Reflections on fieldwork experiences: Newman and Ratliff 2001 Linguistic Fieldwork; Textbooks on field methods: Vaux and Cooper 2003 Introduction to Linguistic Field Methods;      Field guides: Bowern 2006 Linguistic fieldwork;                                           Elicitation guides: Bouquiaux and Thomas 1992 Studying and Describing Unwritten Languages; Handbooks on descriptive linguistics: Chelliah and de Reuse 2011 Handbook of Descriptive Linguistic Fieldwork);Collections on relationship between fieldwork and typology: Ameka, Dench, & Evans 2006 Catching Language: The Standing Challenge of Grammar Writing; 

You will have your own unique experience of fieldwork, but:‐helpful to use guides to avoid forgetting important things (easy to 

forget basic concepts when you are sick, exhausted, stressed, hungry, excited, in a state of linguistic overstimulation... or Zoomed out?)

‐useful pointers on techniques (for special field conditions, relationships with consultants, eliciting certain constructions, ...)

‐useful practical information on logistics/equipment‐reassuring to know that you are not alone (when things are 

disconcerting)

b) GrammarsPublishing houses with grammar collections:

Brill, Routledge, Mouton de Gruyter, Lincom Europa...Language Documentation & Conservation special publications (U. Hawai’i)Language Science Press (Studies in diversity linguistics series)

Archives:Sketch grammars at DOBES; http://dobes.mpi.nl/research/grammars/

Shorter descriptions: Language Documentation and Description (SOAS)Studies in Language+ areal journals focused on a language family/region

In addition to actual textual content, useful for:• Table of contents:  What is the organizational scheme for the top‐level chapters? 

• Terminology: Differences among grammars of different regions?  Are the terms defined?

• Bibliography• Presentation of examples (how many tiers, what glossing conventions, etc)

• Approach: onomasiological (function) vs semasiological (form)(most reference grammars are semasiological)

The TOC can reveal the grammaticographical model underlying the description; this can give you clues about what may be missing and whySome possible schemes:• Part‐of‐speech organization: word classes will be given chapter 

billing• Syntactic constituent organization: chapters will be organized 

around constituents of the sentence (NP, VP, etc)• Linguistic subfield organization: phonology, morphology, syntax, 

pragmatics...• Grammatical categories: grammatical categories (tense, aspect, 

case) will feature prominently in the chapter organization• Areal features: Features significant to a linguistic area are brought 

to the fore (Associated Motion, Nominalization, Ideophones...)

c) Questionnaires

« Any tool used in the elicitation of linguistic data for a typological or descriptive activity »

Not the traditional definition (which would be something like ‘question‐based elicitation tool), so written (hereafter) with a Q

Swadesh, Morris. 1955. Towards greater accuracy in lexicostatistic dating. International Journal of American Linguistics, 21, 121‐137.

The Pear Story

6‐minute film developed by Wallace Chafe in the 1970’shttp://www.pearstories.org/docu/ThePearStories.htm

Interview Procedure.The participants watch the film. Within 5‐25 minutes afterward, they are interviewed individually in a different room. The interviewer is a young woman native speaker of the same social background. Speaking the target language, she says to each participant, 'you have just seen a film. But I have not seen it. Can you tell me what happens in the film?' If questioned further, she says, 'just describe what you saw. There are not any right or wrong answers.' Most speakers tell the story quite naturally, taking around two minutes. Each description is audio or videotaped.

Comrie, Bernard, and Norval Smith. 1977. Lingua descriptive studiesquestionnaire. Lingua 42:1‐72. 

Template for grammar‐writing ensuring ease of comparisonUsed for a number of grammars from the North Holland/CroomHelm/Routledge Descriptive grammar seriesStarts with syntax, finishes with phonology

Dahl, Östen (ed.). 2000. "The future time reference questionnaire". in Tense and aspect in the languages of Europe. Empirical approaches to language typology ; 20‐6. Berlin ; New York: Mouton de Gruyter, pp. 789‐799.

Translation‐based questionnaire; context provided in first sentence, then response suggested.

II. Where to find QuestionnairesSome resources:• Typological Tools for field linguistics

https://www.eva.mpg.de/lingua/tools‐at‐lingboard/tools.php

• MPG Nijmegen: semantic typologyhttp://fieldmanuals.mpi.nl (requires registration)

• TULQuest• Individual projects with websites (many listed on TULQuest)• In some field manuals/grammar‐writing manuals• Asking colleagues what they have!

TULQuest (think ‘tool quest’)http://tulquest.huma‐num.fr/enEN and FRfree, open resource: download questionnaires without login(login only necessary for depositing materials)

Useful sections:‐Categories‐References‐Best practices

• Areal Questionnaires• Questionnaires by metalanguage• Questionnaires by linguistic subfield

• Sociolinguistics• Phonology

• Tonology• Prosody

• Morphology• Syntax/Morphosyntax• Semantics• Pragmatics

• Discourse• Prosody

• Lexicology/Lexicography• Diachrony/Historical linguistics• Information structure

• Questionnaires by resulting data type• Lexical• Paradigmatic• Narrative• Conversational• Phrasal/Clausal

• Questionnaires by medium• Visual Stimuli

• Pictures• Picture books

• Videos• Constructed scenes

• Writing‐based• Checklist• Analytical• Translation based• Word lists• Stage directions

TULQuest taxonomy of Questionnaire

• Searching for a Questionnaire‐‐use Search box on homepage‐‐use the taxonomy, which unfolds into additional categories, to    fine‐grain search and see associated list of results

A questionnaire file

• Uploading a Questionnaire• Uploading an adapted Questionnaire

‐‐site based on idea that Questionnaire are dynamic rather thanstatic‐‐possible to associate a Questionnaire with previous versions 

(One possible) Structure of a QuestionnaireMetadataIntroductionProtocolQuestionnaireBibliographyContact information

III. How to use/develop (and adapt) Questionnaires

a) Metadata (for the Questionnaire)Name of QuestionnaireAuthorship (name, affiliation, etc)Date/version numberCitation form for Questionnaire (important in order to move Questionnaires into realm of real research products)

(Metadata on users/consultants will come later)

b) Introduction • Topic of investigation, overall goal, theoretical framework• Intended audience for Questionnaire (who will use it and who it will be used on: students, native speakers, linguists...)

• Data type that can be collected (lexical, phrasal, paradigmatic, ...)• Estimate for time to run the Questionnaire• Material required (computer, objects/tools, etc)• Prerequisites for using the Questionnaire (theoretical, level of knowledge of language, metalanguage, number of consultants/linguists required to use the Questionnaire, ...)

• Areality: whether directed at one language or a group, or conceived of as being more widely applicable

• Relevant definitions (eg if originally published within book where concepts are defined)• Context/history of development • Structure of Questionnaire• How to annotate and organize the collected data, providing glossed examples• Mention of additional documentation (if it exists, like a manual that goes with the Questionnaire)

c) ProtocolDescription of all the methodological steps of the investigationVery important: ensures comparability of data (even across long time span, when practices may have changed...)Protocol should not require specific theoretical knowledge and should make no assumptions about how intuitive the Questionnaire is

Sample protocol for Marine Vuillermet’s Hunting Story• Instruction 1 – ‘Here is a hunting story’: Discovering the story with the researcher

• Instruction 2 – Re‐telling the story with an itinerary in mind• Instruction 3 – How did the speaker like it?• Instruction 4 – Telling a complementary similar story• Instruction 5 – The Pear Film

d) QuestionnaireShould contain a section that reminds user to collect metadata

Consultant metadataNameAgeGenderLanguage/dialectPlace of residenceOther languages spoken/levelEducational level

Investigation metadatadate of investigationname of investigatorlocation of investigationetc

Essential parameters of Questionnaires

‐data types: form vs function; primary vs secondary; single language vs large‐scale database

‐audience: for use by trained linguist vs by speaker

‐methodology: stimulus/translation‐based vs analytical

• turnkey Questionnaires (word lists, video, stimuli) vs. investigation guides (incl. checklists, grammar‐writing templates, theoretically‐oriented questionnaires)

• analysis‐ vs. data‐generating Questionnaires: the former will be theoretically‐oriented, with questions aimed at collecting abstract, metalinguistic answers (which can be supported by data), whereas the latter will primarily generate linguistic forms from the language of investigation

• comprehensive vs. restrictive investigation: with the former, the investigator aims to collect an entire domain (i.e. all possible constructions used for it); with the latter, the investigator may use the Questionnaire to check whether a particular construction exists

• primary vs. secondary data: does the Questionnaire collect primary linguistic data, or rather an analysis of a given concept/domain through responses to analytical questions? This can also be expressed as heuristic vs metalinguistic data. Note that many Questionnaires will in fact elicit both data types at once: this is the case for analytical Questionnaires, that ask questions of linguist investigators about the expressions of functions in a given language and request that supporting primary data be provided.

• semasiological vs. onomasiological data: are the data collected form‐based (semasiological) or concept‐based (onomasiological)?

• linguist‐ vs. speaker‐oriented Questionnaires: is the Questionnaire designed to be used by a linguist as investigator, or by a (non‐linguist) speaker?

• aggregated vs. descriptive data: the former might be data that are compiled into a comparative database or project, whereas the latter might be from a single (or limited number of) language.

• For Questionnaires designed to build databases, it is important to collect information about the absence of a category (and possibly alternative ways it can be expressed)

• For word lists, it is useful to insert hierarchical numbering by section: eg 1 body parts, 1.1 head, 1.1.1 head‐hair.  This will make it easier to link the original Questionnaire with adaptations, if it is revised for a different linguistic region.

• For translation/elicitation tasks, consider the fact that organizing the stimulus sentences according to features of English (or any other metalanguage) may introduce a bias into the data that is collected.  One solution is to have the sentences in a spreadsheet, so they can be sorted and rearranged easily. 

• If possible, provide contextual information for the interpretation of sentences to be translated/elicited.

Suggestions for designing/adapting written Questionnaires

• Make it clear in the protocol that sentences are not to be translated (to avoid calques), but that the intent is to produce a natural sentence corresponding to the desired situation. To increase the naturalness of the produced data, one possibility is to have speakers act out the scenes and have another speaker describe the action.

• For analytical Questionnaires/checklists: Illustrate possible constructions or structures, as this will make the questions less abstract, and might trigger new paths of investigation for the user.

• Clear instructions for use• Naturality of images: avoid images with no background which can be difficult to interpret

• Acculturation of images:  Certain scenes will be culture‐specific: activities, scenes, dress, 

hair‐length, gender‐roles...  If your Questionnaire involves these, indicate (eg in protocol) that it was developed for a certain cultural context

Suggest adapting the images; investigators can make use of the cultural markedness as a basis for interesting discussions

Suggestions for Visual Questionnaires

Marine Vuillermet’s Hunting Story (developed for eliciting Associated Motion in South America)

• Make sure you read the entire protocol: it may seem clear what you are meant to do, but you may miss/omit something significant for the experiment if you forgo reading the instructions.

• Make sure you cite the Questionnaire if you publish data collected using it. If you have adapted it, make this clear.

• If there is a cultural bias in the material of the Questionnaire, consider taking advantage of this feature when you use it in a different setting: eg.record the discussions as speakers from different cultures attempt to interpret the images.  This could result in precious naturalistic data.

• Consider adapting (and then sharing) word lists and Questionnaires• When adapting a word list, consider maintaining or keeping traces of the original's numbering scheme (even if you decide to add a new numbering system).  This will allow for the possibility of comparing the collected data across regions.

Special guidelines for Users

• word lists: are you sure of the referents?  Use photos, and maybe add Latin names if flora

• Methodology• evidentials can come out wrong if simulated with real speakers• grammaticality judgments can be complicated if recordings use voices of recognizablespeakers (and who else can you use?): consultants may assume that if X said it, itmust be acceptable

• if using sentence completion technique, word order will affect whether exercise ispossible or not

• paradigm filling may result in analogies which are not the actual forms used• Cultural differences in idea of interactive play (Hellwig 2019) may affect stimuli with physical objects

• Picture/video stimuli may generate material which is not natural (ie more referential expressions than in natural speech; different ways of linking events...); must be analyzed in light of this, and compared with natural corpora

Practical considerationsQuestionnaires should have stand‐alone capacity

Metadata and other relevant information in headerPage numbersSection with summary of protocol, goals, context for researchClear filename (so can be identified whendownloaded/shared)

Questionnaires are often printed and taken to field: pages get jumbled, title page can get lost, context/protocol (from website) can beforgotten....

PresentationWell‐formatted and styled (no typos, no numbering

inconsistencies)Be sure that when different tasks are involved in an investigation, 

they are identifiable (with numbers/colors/fonts...) so investigator can keep process straight 

Summary of important information (protocol, context, history) at the top of Questionnaire (even if information is present below)

Annotated examples to illustrate concepts; information about expected format/annotation

Word docs when possible, so data can be entered directly;  if possible, an Excel spreadsheet with numbered examples allows them to be sorted and copied easily

e) Bibliography

Add a bibliography with full references (if text contains references, but also ideally even if not)Provide explanation for why these sources are relevant (ie, annotatethe bibliography): by researching the domain and assemblingQuestionnaire, you’ve become an expert

f) Contact information (of author of Questionnaire)Useful if you want to collect the data, or get feedback!

Be creative!Video/still stimuli can be made in the field or at home with a camera/phone; they don’t need to be professional‐looking to be usefulQuestionnaires should be seen not as absolute and immovable but as sources of inspiration: you can borrow the protocol, use the images/videos for something different...

Lahaussois, Aimée & Vuillermet, Marine (eds.). 2019. Methodological Tools for Linguistic Description and Typology, Language Documentation & Conservation Special Publication No. 16. Honolulu: University of Hawai'i Press.

Conclusion

IV. Some Questionnaires that inspire me

• Marine Vuillermet’s Hunting Story (associated motion)• Alexandre François’ « conversational questionnaires »• Olga Lovick and Siri Tuttle’s « Video elicitation of negative directives »• Anetta Kopecka et al’s Trajectoire stimulus (path, goal, source)

• Nick Evans and Danielle Barth’s SCOPIC project: « Social Cognition Parallax Interview Corpus », https://scopicproject.wordpress.com

• Barb Kelly and Lauren Gawne’sJackal and Crow story

« The points of interest for social cognition are where the protagonists are motivated by their own thoughts and the suggestions and actions of others to do things, or feelthings (such as the jackal comingup with his plan, the crow dropping the fish to singbecause the jackal asked him to sing, and the happy/sad feelings for our protagonists that resultin their actions). »