La collaboration en conception: méthodologies quantitatives et qualitatives d'analyse des interactions

La collaboration en conception: méthodologies quantitatives et qualitatives d'analyse des interactions Françoise Détienne CNRS- Telecom ParisTech LTCI, UMR 5141 Journée d étude du GERRA, 9 Décembre 2013

Considérations d ordre théorique

La conception comme une activité Activité de spécification d un artefact étant données des «requirements» indiquant une ou plusieurs fonctions à remplir et/ou des objectifs à satisfaire par l artefact. (Visser, 2004) Problèmes «mal définis» (Simon, 1973) incomplétude et ambiguïté des spécifications initiales Multiplicité des solutions «acceptables» Problèmes larges et complexes Fortes interrelations entre sous-problèmes Cas paradigmatique de «tightly coupled work» (Olson & Olson, 2000) Compétences multiples

La conception comme une activité Plus qu un processus cognitif Processus social Élargissement des cadres théoriques Information Processing model: pas suffisant Il faut intégrer Aspects sociaux et organisationnels Aspects situés

Focus: processus de co-conception Conception distribuée relations entre les acteurs socio-economiques de la commande, conception, production, maintenance Coordination, awareness Co-conception Dynamique collaborative des interactions dans des réunions (présentielles, à distance), solutions de conception élaborées de manière plus ou moins synchrone (e.g. communautés en ligne)

Activité de co-conception: une double orientation tâche versus groupe Une distinction classique en psychologie des groupes Construction d un artefact Construction du collectif

Des processus importants pour une bonne co-conception Grounding (Clark & Schaefer, 1989), synchronisation cognitive teams which bypass it can perform premature commitment to solutions (Stempfle & Badke Schaub, 20012) Apports d information, argumentation Espace de recherche, divergence/convergence, argumentation constructive et recherche de consensus (Pahl et al., 1999) Tightly coupled tasks, interdépendances entre sous-tâches Gestion du collectif, coordination, distribution des sous-tâches, gestion du temps (Olson & Olson, 2000) Pour le développement (à long-terme) des pratiques professionnelles Effort initial sur team building, apprendre à collaborer (Andriessen, Baker & van der Puil, 2011) Fluidité des échanges de rôles interactifs, importance pour le développement/ apprentissage (Bielaczyc & Collins, 1999 ; Baker, Détienne, Lund & Séjourné, 2003)

Considérations d ordre méthodologiques

Des approches basées sur l analyse des interactions Analyse qualitative-quantitative de corpus video ou de traces d interactions (e.g listes de discussion, log) Analyses approfondies, manuelles Niveau micro Schème de codage» Actes communicatifs: fonction dialogique et contenu épistémique Analyse structurelle des interactions Niveau meso Grille d évaluation multi-dimensionnelle: qualité de la collaboration Indicateurs de plus haut niveau, plus interprétatif

Niveau micro: schème de codage Espace de discussion Espace de production À distance Communautés en ligne épistémiques Réunions en co-présence MOSAIC conception architecturale (avec M. Baker, W Visser) Projet OSS Python (Doct. F. Barcellini, avec J-M Burkhardt) Projet Astronomie Wikipedia (avec M. Baker, D. Fréard, F. Barcellini, M. Quignard, A. Denis)

Objectifs et motivations Formes de collaboration Fonctions communicatives (ex. argumenter) Contenus épistémiques (ex. contraintes) Énonciation/ porte paroles des acteurs absents (ex. client) Effet des médiations technologiques Auto-organisation des collectifs (communautés épistémiques) Distribution, réciprocité, symétrie des rôles interactifs (comme émergeant dans l interaction)

Corpus - Wikipedia Projet astronomie: Interactions sur l article Pluton 18 fils de discussion 322 messages 40 participants (25 users, 9 admin, 6 IP)

Schème de codage

Extrait codé

Analyses statistiques Sélection des participants les plus actifs Analyse par séquences Lien entre variables participants * fct dialogiques participants * contenus épistémiques V2 de Cramer Taux de liaison Attractions (RD>.20) indicateurs des rôles

Evolution du débat 70 60 50 40 30 20 10 0 Informative Regulative Argumentative Sequence 1 Sequence 2 Sequence 3 Sequence 4 Informatif -> argumentatif Evolution des fonctions dialogiques 60 50 40 30 20 10 0 Astronomy Wikipedia Group Persons Sequence 1 Sequence 2 Sequence 3 Sequence 4 Evolution of epistemic content Emergence de l espace du débat Astronomie Wikipedia Interpersonnel

Rôles dialogiques spécialisation progressive

Rôles dialogiques réciprocité séquentielle

Rôles dialogiques réciprocité séquentielle Thanks, I guess the discussion is closed (at least for a while) I try a synthesis of votes and arguments

Rôles épistémiques Astronomie/Wikipedia

Rôles épistémiques Astronomie/Wikipedia Yes, this is one of the basic principle in wp: do not create a teminology when one already exists No. Ceres and Eris the two other dwarf planets are named according to the same convention: (number) planet s name

Rôles épistémiques symétrie entre tâche et interpersonnel

Rôles épistémiques symétrie entre tâche et interpersonnel Md addressing Rb considering how you change your mind I guess you have initiated this discussion just to troll (as you don t know anything in astronomy, which is obvious ) please stop you re getting annoying

Conclusion Importance des interactions sur les objets de connaissances mais aussi sur les aspects interpersonnels Développement d une approche pour analyser la co-évolution des rôles dans des communautés en lignes épistémiques Réciprocité and symétrie des roles comme indicateur de la qualité de la co-élaboration de connaissances dans ces collectifs?

Niveau meso: méthode QC Collaboration: Jean-Marie Burkhardt, Michael Baker, Anne-Marie Hébert, Stéphane Safin, Pierre Leclercq, Laurence Perron, Orange Labs, Lannion, France; Lucid Group, Liege University, Belgium

Objectifs Formaliser, fondements empiriques des impressions des coconcepteurs That meeting went/did not go well! Comprendre la/les qualité(s) de la collaboration En termes descriptifs: caractéristiques de la collaboration Dans un sens normatif: identifier ce qui relève d une bonne ou mauvaise collaboration Pourquoi la qualité de la collaboration est importante Liens entre qualité de la collaboration et ses outcomes (qualité des solutions, apprentissage, créativité ) Liens entre caractéristiques des médiations techologiques et qualité de la collaboration Outil réflexif pour les participants eux-mêmes

Difficultés à «quantifier» la collaboration Indicateurs comportementaux mesures de communication effort (Hornbæk (2006): e.g. number of speakers turns; number of words spoken; number of interruptions Indicateurs non univoques Quality may not always be picked up in our observations of spoken and written communication. High quality collaboration can often arise because of participants realising they DON T need to communicate. by Crook et al. (2010 Temporalité aspects of quality positively or negatively correlate with performance, depending on the timescale (Bunderson &Sutcliffe, 2003)

Méthode QC Qualité de la Collaboration PROCESS PRODUCT Descriptive Normative Un niveau meso? Larges quantités de données, vision développementale, prise en compte de différentes échelles temporelles Une extension de la recherche de Spada et al. (2005) en CSCL research Corrélation entre QC et apprentissage

QC: sept dimensions 1. Fluidity of collaboration: management of verbal communication (verbal turns), of actions (tool use) and of attention orientation. 2. Sustaining mutual understanding: grounding processes concerning the design artefact (problem, solutions), the designers actions and the state of the AR disposal (e.g. activated functions). 3. Information exchanges for problem solving: design ideas pooling, refinement of design ideas and coherency of ideas. 4. Argumentation and reaching consensus: argumentation and decision taken on common consensus. 5. Task and time management: planning (e.g. task allocation) and time management. 6. Cooperative orientation: balance of contribution of the actors in design, planning, and in verbal and graphical actions. 7. Individual task orientation: each contributor s motivation (marks of interest in the collaboration), implication (actions) and involvement (attention orientation). (validation, accord inter-juges)

Un corpus pour tester la méthode: conception architecturale avec médiation technologique Virtual desktop + videoconferencing Trois situations Co-localisée, paires d architectes Distance, paires d architectes Distance, groupes de 4 architectes 2 analyses: (1) comparative (coprésence vs. Distant) (2) longitudinale (distant); 2 groups

(1) Approche comparative Situation à distance versus en co-présence avec Virtual Desktop (Lucid Group) A distance Dégradation de [QC dimension 2 Sustaining mutual understanding ] Coherence de l orientation de l attention Compréhension mutuelle des actions [QC dimensions 6 Cooperative orientation + 7 individual task orientation ] Asymétrie des contributions, baisse de motivation (groupes de 4) Pas de différences pour les processus liés à la tâche Explications Cohérence et suivi des idées Argumentation fractured visibility desktop /videoconference screen Difficultés des co-actions avec la technologie (e.g. alternance des actions, asymétrie)

(2) Approche longitudinale G1 Meeting M3 Meeting M6 Meeting M10 G2 Figure 5 : Scores on the Collaboration Quality Scale F = Fluidity of collaboration ; MU = Mutual Understanding ; IE = Information exchanges ; AC = Argumentation and Consensus ; TM = Task and time management ; CO = Cooperative orientation (balance of contributions)

Approche longitudinale Evolution temporelle des dimensions QC Bonne corrélation de l évaluation QC avec les jugements des tuteurs et des participants Relation bilatérale entre conception et collaboration Une bonne collaboration permet une progression de la conception La progression du processus de conception fournit les conditions pour une bonne collaboration Des difficultés à collaborer, même si elles dégradent QC temporairement, peuvent être bénéfiques à plus long terme

Conclusion, perspectives Autres dimensions à prendre en compte Relations interpersonnelles, régulation des affects, tensions (Baker, Andriessen & Järvelä, 2013) Intégrer des perspectives multiples sur QC Chercheurs, participants, manageurs Comment articuler ces perspectives? Application dans une étude sur le développement d une culture of collaboration en conception (TIC) Doctorat en cours (Telecom ParisTech) de M. Vanhille (dir. Détienne & Baker) Projet PACT, groupes d élèves ingénieurs Telecom, projets innovants en TIC Comparaison avec projets équivalents à TokyoTech

QC Merci pour votre attention

Données sources: Wikipédia