L’efficacité des sites webs :quand les consommateurs s’en

mêlent:Étude comparative de 35 sites

Jacques Nantel Ph.D.Professeur titulaire

Entretiens Jacques Cartier2004

Plan de la présentation

• Qu’est ce que l’efficacité d’un site web ?

• Diverses approches pour l’analyse de l’efficacité d’un site web

• La Méthodologie Chaire RBC

• Etude comparative sur 35 sites

• Résultats et constatations

Qu’est ce que l’efficacité d’un site web ?

Sa capacité à bien performer ?

Sa capacité à se mesurer aux meilleures pratiques de l’industrie

Sa rapidité

Sa capacité à permettre aux consommateurs de se rendre au bout de leur tâche tout en maximisant leur degré de satisfaction.

Diverses approches pour l’analyse de l’efficacité d’un site web :

• Par des experts : Gomez, Secor

• Par des consommateurs : Chaire RBC

Un site est efficace s’il permet aux consommateurs d’accomplir la tâche pour laquelle il s’y est rendu, et ce, nonobstant de l’appréciation que peut en faire un expert externe.

Méthodologie Chaire RBC :

Analyse des processus décisionnels des consommateurs en situation de navigation

• Analyse des protocoles : Verbalisations des consommateurs

• Analyse du processus de navigation : Analyse des logs

• Entrevues en profondeur

Les consommateurs sont placés au centre de l’évaluation et non des experts

1ère étape : Chaque internaute est invité à réaliser une tâche bien précise sur un site.

L’ensemble du processus de navigation est enregistré selon deux méthodes :

• Verbalisation concourante lors de la navigation• La séquence des écrans de navigation (fichier AVI)

MÉTHODOLOGIE : Une approche en 3 étapes

2ème étape : Evaluation globale du site analysé

Selon deux approches :

• Répondre à un questionnaire visant à évaluer les principales dimensions d’un site (ergonomie, design, nature de l’offre, navigabilité, confiance, crédibilité, vitesse, interactivité et fiabilité) faisant ressortir un indice d’appréciation• Entrevue en profondeur afin de tester de manière qualitative l’appréciation du site par le consommateur

MÉTHODOLOGIE : Une approche en 3 étapes

3ème étape : Analyse complète

A partir des différentes sources (Vidéo, Log, Protocoles, Questionnaires, Entrevues) :

MÉTHODOLOGIE : Une approche en 3 étapes

Par exemple, à travers la vidéo de navigation :• Séquence des pages visitées• temps total de navigation• Conclusion de la tâche• Nombre de cul-de-sac• Pourcentage du temps perdu par rapport au temps de navigation

Participants à l’étude :

360 évaluations

59% de femmes et 41% d’hommes

dont la majorité est âgée entre 18 et 35 ans

avec 5 à 7 années d’expérience d’utilisation d’Internet

Etude comparative de 35 sites :

Etude comparative de 35 sites :

Sites Tâches effectuées

Banques1- Mouvement des Caisses Desjardins

(Desjardins.com)2- Banque Nationale du Canada3- Banque TD

S’informer sur un prêt personnel à taux fixe

Compagnies d’Assurance4- Inalco5- Promutuel6- Bélairdirect7- Melochemonex

Faire la demande d’une soumission d’assurance automobile

Compagnies aériennes8- Air Canada9- Air Transat10- Jetsgo

Faire la réservation et l’achat de 2 billets d’avion pour 2 adultes pour la destination Montréal – Vancouver

Agences de voyage Internet11- Exit12- Expedia13- Travelocity

S’informer et acheter un voyage pour 2 adultes à Cancun

Rénovation / Quincaillerie 14- Rona15- Home Dépôt16- Réno Dépôt 17- Canadian Tire

S’informer et acheter une tondeuse à gazon

Téléphones cellulaires18- Bell19- Fido20- Telus21- Rogers ATT

S’informer sur un forfait de cellulaire

Suite

Internet Haute vitesse22- Cogeco23- Vidéotron24- Sympatico

S’informer sur une connexion Haute vitesse

Produits cosmétiques25- L’Oréal Paris26- Revlon.com27- Sallyhansen.com28- Covergirl

S’informer sur un vernis à ongle

Vente de films29- Archambault30- HMV / Amazon31- Renaud Bray

Acheter le film DVD «Harry Potter et la chambre des secrets » 

Produits électroniques32- Future Shop33- Bureau en Gros34- Radio Shack35- Dumoulin Électronique

Acheter un appareil photo numérique de 4 méga pixels ou plus de résolution

Etude comparative de 35 sites :

RÉSULTATS :

L’efficacité d’un site se mesure avant tout par la valeur ajoutée qu’il offre aux consommateurs

Les principaux indicateurs utilisés pour l’efficacité :

• Pourcentage des consommateurs ayant pu accomplir leur tâche• Nombre de culs-de-sac et temps perdu• Indice HEC / Chaire RBC

Développé à partir d’une série de 20 questions visant à mesurer divers aspects d’un site (ergonomie, design, navigabilité, confiance, crédibilité, vitesse, interactivité, nature de l’offre, fiabilité)

Industrie Sites Succès

%

Nombre total de pages

visitées

Temps total de

navigation en s

Nombre de culs-de-sac

Temps perdu

dans les culs de

sac

Tps perdu cs

/Tps total

navig.

Indice HEC/Chaire

RBC (-2 à +2)

91.17 6.87 164.84 1.78 61.11 0.26 0.183

Desjardins 91.7 7.17 134.33 1.25 22.42 0.17 0.125

BNC 100 5.18 88 0.45 3.91 0.04 0.345

Banque

Banque TD 81.8 8.27 272.18 3.64 157.00 0.58 0.077

54.18 12.74 505.02 4.03 127.78 0.26 0.152

Inalco 30 11.2 491.5 2.9 141.00 0.29 0.037

Promutuel 66.7 16.67 474.67 6 193.22 0.41 0.008

Bélairdirect 90 12.3 548.7 3.4 90.40 0.16 0.258

Assurance

Melochemonex 30 10.8 505.2 3.8 86.50 0.17 0.304

68.97 10.06 457.68 3.65 148.32 0.32 0.071

Air Canada 76.9 9.69 469.38 5.23 213.15 0.45 0.387

Air Transat 30 11.7 456 3.4 156.60 0.34 -0.952 Compagnies Aériennes Jetsgo 100 8.78 447.67 2.33 75.22 0.17 0.777

43.23 16.33 611.02 7.58 276.23 0.46 -0.380

Exit 36.4 10.55 432.64 4.18 250.00 0.58 -1.079

Expedia 60 25.1 839.3 13 397.70 0.47 0.529 Agence de voyages Travelocity 33.3 13.33 561.11 5.56 181.00 0.32 -0.590

32.77 17.26 352.47 7.66 143.63 0.40 -0.492

Rona 40 13.2 254.33 5.4 100.40 0.39 -0.852

Home Dépôt 58.3 14.58 346.08 5.92 131.50 0.38 -0.159

Réno Dépôt 0 24 457 11.67 199.00 0.44 -1.466 Rénovation Canadian Tire 81.7 13.67 216.75 4.92 66.50 0.31 0.510

Les indicateurs d’efficacité des 35 sites étudiés

78.58 10.54 249.86 4.62 108.20 0.43 0.087

Bell 80 13.7 230.9 6.7 111.10 0.48 0.131

Fido 81.8 8.73 238.45 3.73 121.82 0.51 0.417

Telus 88.9 12.44 285 5.33 139.44 0.49 0.250

Téléphonie

Rogers ATT 63.6 7.27 245.09 2.73 60.45 0.25 -0.451

84.83 7.90 163.52 4.13 91.59 0.56 0.229

Cogeco 81.8 6.91 154.18 3.82 103.64 0.67 0.283

Videotron 72.7 7.45 162.45 3.91 86.45 0.53 -0.362

Internet Haute Vitesse

Sympatico 100 9.33 173.92 4.67 84.67 0.49 0.767

76.68 9.22 142.49 4.22 76.31 0.53 0.836

L'Oréal Paris 100 7.8 127.8 3 60.70 0.47 0.733

Revlon 100 12.5 158.3 5.9 77.60 0.49 0.336

Sally Hansen 66.7 9.67 123.67 4.78 70.44 0.57 -0.234

Produits cosmétiques

Covergirl 40 6.9 160.2 3.2 96.50 0.60 -0.766

73.33 12.61 275.39 4.84 99.43 0.36 -0.100

Archambault 40 10.5 270.2 3.9 90.40 0.33 0.340

HMV Amazon 90 13.22 295.78 6.22 134.78 0.46 -0.083

Renaud Bray 90 14.1 260.2 4.4 73.10 0.28 -0.559

Vente DVD

71.10 15.12 357.05 7.24 166.09 0.47 0.013

FutureShop 83.3 15.08 363.58 5.67 177.83 0.49 0.633

Bureau en gros 44.4 13.89 351 8 200.11 0.57 -0.953

Radio Shack 66.7 15.22 381 7.89 142.22 0.37 0.191

Produits Électroniques

Dumoulin Électronique 90 16.3 332.6 7.4 144.20 0.43 0.182

Industrie Sites Succès

%

Nombre total de pages

visitées

Temps total de

navigation en

secondes

Nombre de culs-de-sac

Temps perdu dans les

culs de sac

Tps perdu

cs /Tps total

navig.

Indice HEC/Chaire RBC (-2 à +2)

Banque 91.17 6.87 164.84 1.78 61.11 0.26 0.183

Desjardins 91.7 7.17 134.33 1.25 22.42 0.17 0.125

BNC 100 5.18 88 0.45 3.91 0.04 0.345

Banque TD 81.8 8.27 272.18 3.64 157.00 0.58 0.077

Assurance 56,95 12.74 505.02 4.03 127.78 0.26 0.152

Inalco 30 11.2 491.5 2.9 141.00 0.29 0.037

Promutuel 77,8 16.67 474.67 6 193.22 0.41 0.008

Bélairdirect 90 12.3 548.7 3.4 90.40 0.16 0.258

Melochemonex 30 10.8 505.2 3.8 86.50 0.17 0.304

Compagnies 68.97 10.06 457.68 3.65 148.32 0.32 0.071

Aériennes Air Canada 76.9 9.69 469.38 5.23 213.15 0.45 0.387

Air Transat 30 11.7 456 3.4 156.60 0.34 -0.952

Jetsgo 100 8.78 447.67 2.33 75.22 0.17 0.777

Agence de 43.23 16.33 611.02 7.58 276.23 0.46 -0.380

voyages Exit 36.4 10.55 432.64 4.18 250.00 0.58 -1.079

Expedia 60 25.1 839.3 13 397.70 0.47 0.529

Travelocity 33.3 13.33 561.11 5.56 181.00 0.32 -0.590

Rénovation 47,50 16.36 318,54 6,98 124,35 0,38 -0.492

Rona 40 13.2 254.33 5.4 100.40 0.39 -0.852

Home Dépôt 58.3 14.58 346.08 5.92 131.50 0.38 -0.159

Réno Dépôt 0 24 457 11.67 199.00 0.44 -1.466

Canadian Tire 91.7 13.67 216.75 4.92 66.50 0.31 0.510

78.58 10.54 249.86 4.62 108.20 0.43 0.087

Téléphonie Bell 80 13.7 230.9 6.7 111.10 0.48 0.131

Fido 81.8 8.73 238.45 3.73 121.82 0.51 0.417

Telus 88.9 12.44 285 5.33 139.44 0.49 0.250

Rogers ATT 63.6 7.27 245.09 2.73 60.45 0.25 -0.451

84.83 7.90 163.52 4.13 91.59 0.56 0.229

Internet Cogeco 81.8 6.91 154.18 3.82 103.64 0.67 0.283

Haute Videotron 72.7 7.45 162.45 3.91 86.45 0.53 -0.362

Vitesse Sympatico 100 9.33 173.92 4.67 84.67 0.49 0.767

76.68 9.22 142.49 4.22 76.31 0.53 0.836

Produits L'Oréal Paris 100 7.8 127.8 3 60.70 0.47 0.733

cosmétiques Revlon 100 12.5 158.3 5.9 77.60 0.49 0.336

Sally Hansen 66.7 9.67 123.67 4.78 70.44 0.57 -0.234

Covergirl 40 6.9 160.2 3.2 96.50 0.60 -0.766

72,97 12.61 275.39 4.84 99.43 0.36 -0.100

Vente DVD Archambault 40 10.5 270.2 3.9 90.40 0.33 0.340

HMV Amazon 88,9 13.22 295.78 6.22 134.78 0.46 -0.083

Renaud Bray 90 14.1 260.2 4.4 73.10 0.28 -0.559

71.10 15.12 357.05 7.24 166.09 0.47 0.013

Produits FutureShop 83.3 15.08 363.58 5.67 177.83 0.49 0.633

Électroniques Bureau en gros 44.4 13.89 351 8 200.11 0.57 -0.953

Radio Shack 66.7 15.22 381 7.89 142.22 0.37 0.191

Dumoulin Électronique 90 16.3 332.6 7.4 144.20 0.43 0.182

Les tâches effectuées sur les sites transactionnels requièrent en moyenne plus temps (409 secondes vs. 182 secondes; t= 9.77; sign= .000), et plus de pages (13.5 pages vs. 8.7 pages; t= 7.48; sign= .000) générant ainsi plus de risque de culs-de-sac (5.54 vs. 3.72; t= 3.35; sign= .001)

Il en demeure que certains des sites les mieux évalués et des plus efficaces étaient de nature transactionnelle (Jetsgo, Canadian Tire) alors que certains des sites les moins bien évalués étaient de nature informationnelle (Roger ATT, CoverGirl).

Ce constat suggère que peu importe la nature du site ou de la tâche, il y a toujours moyen, pour une opération Web, de bien performer.

Analyses

Analyses

Ce constat se vérifie, entre autres, par le fait qu’il n’y a pas de différence statistiquement significative entre l’indice moyen des sites transactionnels et celui des sites informationnels (.01 vs. -.009; t= .206; sign= .837)

Il n’y a pas non plus de différence entre les deux types de sites quant à la proportion du temps perdu dans des culs-de-sac par rapport au temps total de navigation ( 36% versus 34%; t= .89; sign= .372).

En résumé, ces analyses démontrent que les consommateurs savent très bien adapter leur évaluation à la complexité de la tâche qui leur est demandée.

• Il n’y a pas de secteurs entièrement plus efficaces que d’autres sur le web

• Peu importe le secteur, il n’y a aucune excuse pour ne pas répondre aux attentes des consommateurs

Analyses

• la corrélation entre ces deux variables, à travers les 35 sites est de .70.

• Sur une base individuelle, l’indice est en mesure de discriminer de manière très significative les consommateurs qui ont réussi leur tâche (indice moyen de .31) de ceux qui l’ont échoué (indice moyen de -.70) (t-test= 8.893; sig = .0001).

RÉSULTATS :

La réduction du nombre de cul-de-sac, un facteur clé de l’efficacité d’un site

• Importance du nombre de cul-de-sac rencontré et du temps y étant perdu dans le succès d’une tâche

• Aucun impact du nombre de pages visitées et du temps total de navigation sur la propension à terminer une tâche

Analyse

• Les consommateurs n’ayant pu compléter avec succès leur tâche se sont, en moyenne, égarés dans 6 culs-de-sac versus 4.2 pour ceux ayant complété avec succès cette même tâche.

• Les consommateurs ayant complété leur tâche ont perdu à peine 28% de leur temps de navigation dans ces culs-de-sac, ceux qui n’ont pu accomplir leur tâche ont perdu plus de 47%. Ces deux différences sont statistiquement significatives à un seuil inférieur à .005.

• Inversement le nombre de pages visitées ainsi que le temps total de navigation n’ont aucun impact sur la propension à pouvoir terminer ou non sa tâche.

Temps perdu sur un site et propension à compléter une tâche

De l’état de nourissonà celui du

brillant diplômé

Conclusion et discussion

Plus que les experts, ce sont les consommateurs qui, en bout de piste sont les meilleurs juges