Nous savons tous d'instinct que la formulation des questions a une incidence sur la qualité des réponses et qu'entre : « êtes vous satisfait » ou « êtes vous plutôt satisfait » le % de réponses obtenues ne sera pas le même !
Un de nos clients a voulu tester l'incidence de 2 échelles de recueil de la façon suivante :
Echelle 1 | Mauvais | Passable | Bon | Très Bon | Excellent |
Echelle 2 | Très Mauvais | Plutôt Mauvais | Plutôt Bon | Très Bon | Excellent |
L'interrogation de départ consistait à dire que « bon » n'est pas assez précis, pas assez segmentant et que « plutôt bon » pouvait permettre une répartition plus tranchée et plus « négative » des réponses, avec un transfert des opinions vers la gauche de l'échelle
Une étude test a été réalisée auprès d'un échantillon de 2500 personnes, interrogées par téléphone, sur la base de 8 questions de satisfaction formulées pour moitié en échelle 1 ou en échelle 2. Les échantillons ont été redressés et appareillés afin d'êtres strictement comparables en terme de structure de répondants.
Contrairement aux prévisions, l'échelle 1 se révèle en fait plus négative dans la distribution des opinions et le « plutôt bon » de l'échelle 2 à tendance à déporter les réponses vers le coté positif de l'échelle, plus que le contraire, comme le montre le tableau ci-dessous :
| Echelle 1 | ||||||||
formulation | Mauvais | Passable | Bon | Très Bon | Excellent | ||||
% réponses en 5 tranches | 6,5 | 13,9 | 56,0 | 17,2 | 6,4 | ||||
% réponses en 3 tranches | 20,4 | 23,6 | |||||||
| Echelle 2 | ||||||||
formulation | Très Mauvais | Plutôt Mauvais | Plutôt Bon | Très Bon | Excellent | ||||
% réponses en 5 tranches | 3,7 | 12,7 | 54,4 | 20,9 | 8,3 | ||||
% réponses en 3 tranches | 16,4 | 29,2 | |||||||
Ces écarts apparaissent nettement dans l'analyse des réponses en 3 tranches (2 réponses négatives 1 réponse neutre 2 réponses positives) du tableau en fin d'article.
Ainsi le terme « plutôt bon » de l'échelle 2 renvoie les personnes interrogées dans la partie positive de l'échelle mais abrite de ce fait une partie de la population légèrement négative. Ce terme affaiblit de ce fait les opinions les plus négatives
Nous préférerons pour notre part la première échelle et le terme « bon » à celui de « plutôt bon » pour les raisons suivantes :
Toutes ces réflexions renvoient en fait à la question essentielle : vous voulez une étude de satisfaction qui soit une mesure d'auto-satisfaction ou un outil au service de votre volonté de progrès ? Les études ne sont au final que des instruments au service de votre politique.
Auto-satisfaction ou réelle volonté d'amélioration ?