En période électorale près de cent sondages politiques sont publiés tous les mois en France. Pourtant, les méthodes des instituts sont de plus en plus contestées

Une enquête de Sylvain Tronchet pour Secrets d’Info.

Le « oui » des Britanniques lors du référendum sur le Brexit, l’élection de Donald Trump aux Etats-Unis, les désignations de François Fillon et de Benoît Hamon lors des primaires en France… Quel est le point commun entre tous ces scrutins ? A chaque fois, les instituts de sondage ont été incapables de prédire correctement leur issue. Evidemment, les électorats, les méthodes des instituts de sondage différant trop d’un pays à l’autre, il est difficile de tirer une conclusion définitive de cette succession d’échecs. Mais le problème est bien là. Admis par une partie de la profession.

VIDÉO | Sondages : des méthodes à bout de souffle

L’opinion est de plus en plus difficile à mesurer et les méthodes qui semblaient fonctionner jusque-là se révèlent défaillantes. Le constat est partagé par de nombreux spécialistes : la qualité des sondages s’est dégradée ces dernières années. Guenaëlle Gault, responsable du « digital » pour Kantar Sofres et ex-directrice du département « Opinion », constate que les humeurs des Français sont de plus en plus difficiles à capturer :

Avant, le centre de gravité de la société, c’était les groupes, les partis politiques, et quand vous saviez ce qu’ils pensaient, ça ne changeait pas beaucoup. Aujourd’hui, c’est l’individu, et ce n’est plus du tout stable, tout va extrêmement vite.

« L’exploit » de Georges Gallup

Pourtant, historiquement, les études d’opinion ont globalement vu juste en France au moment des scrutins majeurs, à l’exception notable de l’élection présidentielle 2002 (même si deux instituts avaient envisagé la présence de Jean-Marie Le Pen au deuxième tour dans la dernière semaine). Les sondages sont incontournables dans la vie politique française depuis novembre 1965. A l’époque, les deux instituts qui se partagent le marché (IFOP et SOFRES) prédisent la mise en ballotage du général De Gaulle, quand les renseignements généraux l’annoncent élu dès le premier tour. Ce « tour de force » installe leur crédibilité hexagonale 30 ans après les Etats-Unis. L’inventeur des sondages d’opinion, Georges Gallup avait, avant eux, réussi à contredire tous les pronostics sur une présidentielle, celle de 1936. « Un vrai mythe fondateur », selon le sociologue Loïc Blondiaux : « Les sondages annonçaient la victoire de Roosevelt alors que tout le monde croyait à la victoire de son adversaire républicain, Alfred Landon. Gallup devient un héros national, car le magazine « Literary Digest » qui s’est spécialisé dans l’anticipation des élections, avait annoncé la victoire de l’adversaire de Roosevelt. La symbolique est forte puisque le magazine va mettre la clé sous la porte, et l’institut Gallup va devenir une référence mondiale dans le domaine. »

Malgré quelques échecs cuisants (déjà) par la suite, les techniques de Gallup s’imposent.

Un produit d’appel pour les instituts

Les instituts de sondage se multiplient. Ils sont une douzaine aujourd’hui à se partager le marché de l’étude d’opinion en France. Mais les sondages politiques ne sont en réalité qu’une toute petite partie de leur activité. Leur chiffre d’affaires est essentiellement alimenté par les études qu’ils vendent aux entreprises : enquêtes de satisfaction clients, études des tendances en matière de consommation, etc. Alain Garrigou, créateur de l’observatoire des sondages, grand pourfendeur des instituts, a souvent dénoncé cette stratégie à deux étages : « Le sondage politique c’est un produit d’appel fantastique. Un des péchés mignons des sondeurs, c’est de montrer leur bobine à la télévision. « Vu à la télé », ça permet de signer des gros contrats sur plein de domaines. »

De fait, les sondages politiques ne rapportent que peu d’argent aux instituts (un sondage d’intention de vote se négocie aux alentours de 7000€, quand les marchés avec les entreprises se chiffrent en dizaines, voire en centaines de milliers d’euros), ce que confirme Bruno Jeanbart, directeur général adjoint d’Opinion Way : « On peut accepter de travailler à prix coûtant voire légèrement à perte, parce que c’est intéressant économiquement. Le sondage politique représente 5% de l’activité des instituts, ce n’est pas décisif. » Sous couvert d’anonymat, un bon connaisseur du milieu affirme même que « certains instituts, les plus petits, offrent parfois gratuitement des sondages politiques à des médias. La contrepartie, c’est l’interview du directeur du département Opinion qui accompagne la publication de l’étude. C’est donc de la visibilité pour l’institut ».

Du porte à porte… à internet

Les techniques ont évolué depuis les premières études des années 1930. A l’origine, les sondeurs employaient des armées d’enquêteurs qui frappaient aux portes et interrogeaient les gens chez eux. On reconstituait ensuite un échantillon représentatif de la population. Pour Alain Garrigou, cette méthode était « la meilleure mais la plus chère ». Puis beaucoup de portes sont restées fermées, donc à cette méthode s’est substituée le sondage par téléphone. Pour les sondages par téléphone, à un moment, les gens raccrochaient. Le taux de non-répondants a considérablement augmenté, les coûts aussi. Il fallait dix appels pour avoir une interview. Alors en 2000 les sondages en ligne sont lancés.

La quasi-totalité des sondages politiques sont donc réalisés par internet aujourd’hui. A partir de base de données que les plus gros instituts créent et administrent eux-mêmes. Les plus petits achètent, voire louent, ces « access panels » qui leur servent à constituer leurs échantillons. Une donnée essentielle a donc changé : les sondés ne sont plus trouvés au hasard des cages d’escaliers ou des annuaires téléphoniques. Ce sont des volontaires qui viennent s’inscrire sur les panels pour répondre à des questionnaires. Ce qui change beaucoup de choses pour Jean Chiche, statisticien et chercheur au CEVIPOF :

« En statistique, il n’est jamais bon de travailler sur des échantillons de volontaires, car ils peuvent être plus sensibles aux thématiques des enquêtes, plus en adéquation avec le système. Une partie de plus en plus importante de la population va passer au travers. Tout le travail est de persuader les citoyens d’accepter de répondre aux enquêtes. »

Des cadeaux en échange des réponses

Et pour inciter les Français à s’inscrire sur leurs panels, les sondeurs ont une méthode : ils leur offrent des cadeaux, voire de l’argent.

Ces « gratifications », comme on les appelle dans le métier, restent modestes, 50 centimes à 1€ par sondage. Mais elles font tiquer certains pourfendeurs des instituts qui dénoncent une « professionnalisation des sondés ». D’autant que la récompense n’est pas accessoire pour de nombreux inscrits. Guillaume, un jeune père de famille de l’Est de la France répond à des dizaines de sondages tous les mois : « La gratification est un élément primordial. Je ne réponds pas aux sondages qui ne sont pas rémunérés. Je suis inscrit depuis 2012 et j’ai pu avoir des appareils d’écoute bébé, un balai aspirant, un coffret de jardinage, des abonnements pour des magazines, des livres… »

Quand les sondés mentent pour gagner des points

Les instituts de sondage considèrent que ces petites gratifications ne peuvent en aucun cas influencer la qualité des réponses. Pourtant, Guillaume admet qu’il lui arrive de ne pas toujours dire la vérité : « Il m’est arrivé de mentir quand les questions sont tranchées dès l’entrée du sondage, par exemple : « êtes-vous fumeur ? ». Si vous répondez « non », le sondage s’arrête et vous ne gagnez pas de points. Parfois, le pragmatisme l’emporte et il m’arrive de dire que je suis fumeur alors que pas du tout. Dans les cas de figure politique, quand aucune réponse ne convient tout à fait à mon opinion, je choisis la moins mauvaise. Il faut faire un choix pour continuer le questionnaire. » Ce nouveau type de mensonge auquel peuvent être confrontés les sondeurs n’est pour l’instant – officiellement – pas pris en compte par les instituts. Les sondages par internet semblaient pourtant leur avoir retiré une épine du pied : la sous-estimation systématique des votes extrémistes et son corollaire, la surestimation du vote centriste. Un sondeur se souvient : « dans les années 90, avec les sondages téléphoniques, il fallait multiplier par deux ou trois le nombre des réponses en sa faveur pour obtenir une estimation correcte du vote Le Pen ». Ce problème, bien connu des instituts, avait déjà été observé lorsqu’il fallait estimer le vote communiste au temps de la splendeur du PC. Les sondés n’aiment pas raconter à un enquêteur que leur choix penche vers un bout ou l’autre du prisme politique. En revanche, le fait d’être seul face à un écran semble les désinhiber puisque les « corrections » apportées aujourd’hui sont nettement plus faibles.

La cuisine secrète des sondeurs

Reste qu’il y a toujours un traitement des chiffres obtenus à la sortie des questionnaires. Cette méthode porte un nom : le redressement. Procédé classique en statistique, il consiste à se référer à des scrutins anciens pour voir si les sondés sont sincères en évoquant leur vote passé. Si, sur un échantillon représentatif de Français, on observe qu’il y a deux fois moins de votes déclarés pour un candidat que son score effectivement réalisé, on sait alors qu’il faut multiplier par deux les chiffres bruts en faveur de ce même candidat pour le scrutin à venir. Dans les faits, le redressement peut faire appel à d’autres critères (sociodémographiques notamment), plus une part de « cuisine maison » propre à chaque institut. Ces redressements restant secrets, ils ont souvent été au centre de débats et de contestations.

Deux sénateurs Hugues Portelli (LR) et Jean-Pierre Sueur (PS) se battent pour que les sondeurs publient leurs « chiffres bruts » et leurs méthodes de redressement. Pour Jean-Pierre Sueur, c’est une question de rigueur intellectuelle : « Quand on écrit des articles scientifiques, on indique l’échantillon, la méthode, et tout le monde peut voir comment on arrive au résultat. Il faut que les sondeurs décident : soit ils disent que ce n’est pas scientifique et ça n’a pas beaucoup d’intérêt, soit ils disent que c’est scientifique et il faut que ce soit totalement transparent. » En avril 2016, après des années de bataille parlementaire et malgré l’opposition de l’Elysée (sous Nicolas Sarkozy, puis François Hollande), ils arrivent à faire voter une loi imposant aux sondeurs de publier leurs marges d’erreur, leurs chiffres bruts et leurs critères de redressement. Du moins le croient-ils.

Une loi souvent contournée

Les sondeurs trouvent la parade : pour éviter que les marges d’erreur ne soient affichées de manière trop visible dans les journaux qui ont commandé leurs études, ils publient d’abord leurs sondages sur leur propre site internet. Astucieux, la loi précisant que les marges d’erreurs doivent accompagner le sondage « lors de la première publication ». La loi n’a pas réussi non plus à imposer la transparence sur les chiffres bruts, les sondeurs ayant là aussi trouvé une faille dans le texte. Les instituts s’accrochent donc à leurs secrets de fabrication, et se réfugient derrière le secret des affaires, à l’instar de Frédéric Dabi, directeur général adjoint de l’IFOP :

Publier nos bruts c’est montrer des techniques que nous ne voulons pas montrer à nos concurrents.

Une exception : Opinion Way dévoile son redressement dans les notices qu’il envoie à la commission des sondages. Dans ce petit monde parfois impitoyable on raconte que l’institut cherche à faire oublier certaines de ses méthodes mises au jour par l’affaire des sondages de l’Elysée, toujours à l’instruction. Il n’empêche que l’initiative n’a pas incité les autres à plus de transparence.

Incompétente commission des sondages ?

La commission des sondages est en fait la seule à avoir accès à l’intégralité des chiffres des sondeurs. Autorité administrative créée en 1977 avec la première loi sur les sondages, elle a pour mission de contrôler la sincérité et la rigueur avec laquelle sont effectuées les études d’opinion. Mais son fonctionnement et sa composition sont régulièrement décriés, notamment par Hugues Portelli, sénateur du Val d’Oise : « Dans cette commission, il y a beaucoup de magistrats à la retraite. Ils ont un point commun : ils sont incompétents en matière de sondages, et ils ne connaissent pas grand-chose des problèmes de l’opinion publique. Ils ont d’autres activités à côté et pour eux, l’étude des sondages est une activité marginale. » Lorsqu’elle détecte (rarement) une irrégularité dans un sondage, la commission publie des « mises au point ». Ces petits textes de remontrance finissent dans les oubliettes du web ou relégués en bas de page des journaux. Dans le milieu, ces cartons jaunes sans conséquences ne font peur à personne. Et pour cause : 40 ans après sa promulgation, aucune condamnation n’a été prononcée au titre de la loi de 1977, qui prévoit pourtant une peine d’amende pouvant aller jusqu’à 75 000€. Etonnant, parce que les cas suspects ne manquent pas dans l’histoire des sondages, jusqu’à très récemment. Deux exemples :

• Le sondage fantôme de « Valeurs actuelles » : en 2014, le magazine Valeurs Actuelles évoque un sondage donnant Nicolas Sarkozy seul à même de battre Marine Le Pen au second tour de la présidentielle. Cette « information » est également reprise par L’Opinion. Problème : ce sondage n’a jamais existé. La commission a enquêté, et a fini par publier six mois plus tard une mise au point où elle appelle « l’attention de l’opinion publique sur l’absence de fiabilité de ces résultats ». Les termes sont choisis. Aucune poursuite n’a été engagée.
• L’institut de sondage inconnu : lors des dernières régionales, dans la région Occitanie, le candidat dissident de gauche, Philippe Saurel, publie un sondage qu’il a fait réaliser le créditant de 9,9% des voix. Pour le maire de Montpellier, c’est un score inespéré, au bord des 10% qui permettent de se maintenir au deuxième tour et de peser sur le scrutin. Mais un détail intrigue Laurent Dubois, un journaliste de France 3 à Toulouse : l’institut qui a réalisé cette étude est totalement inconnu. Alertée, la commission conclue après enquête que le sondage est « dépourvu de caractère significatif« . En clair : bidon. Pourtant, là encore, aucun dossier n’est transmis au procureur, ce qui étonne beaucoup Laurent Dubois : « Un membre de la commission des sondages m’a dit : « comme c’est un primo-délinquant, on ne va pas lui casser les jambes et les bras, on va juste le rappeler à l’ordre ». Ce qui a joué n’était pas tellement la gravité des faits, mais le profil de la personne. Mais si tout le monde se met à publier n’importe quel sondage fait sur le coin d’une table de cuisine, on ne s’en sort plus ! » Pour l’anecdote, Philippe Saurel obtiendra finalement 2,8% des voix au premier tour.

Des échantillons peu représentatifs

Le débat sur le redressement des chiffres et les « recettes de cuisine » des sondeurs s’est déplacé vers un autre champ ces derniers mois : la constitution des échantillons. Les primaires de droite et de gauche pour les élections présidentielles de 2017 en ont été le déclencheur. Ces deux scrutins se sont révélés extrêmement périlleux pour les instituts, et selon Bruno Jeanbart, le directeur général adjoint d’Opinion Way, c’était prévisible :

Cette primaire était un peu un piège pour nous.

« Environ 10% des électeurs vont voter, donc si vous voulez interroger 1000 électeurs, il faut interroger 10 000 personnes, ce qui est cher et long, poursuit Bruno Jeanbart. Et quand il y a un mouvement tardif, la mesure précise est très compliquée. »

De nombreux observateurs ont critiqué la taille des échantillons des études concernant ces deux scrutins. En partant d’un petit millier de personnes interrogées, on arrivait parfois à moins de 400 sondés sûrs d’aller voter à l’une ou l’autre primaire… Trop faible pour être représentatif, d’après tous les statisticiens. Dans le cas de la primaire de droite, de nombreux retraités sont probablement passés sous les écrans radar des panels internet. C’est l’avis du politologue Vincent Tiberj : « L’électorat des primaires est très mal couvert par les enquêtes faites sur internet : ce sont souvent des retraités peu diplômés, artisans ou commerçants, des classes moyennes et des classes populaires. Il n’y a pas de problème pour la représentativité quand il s’agit des 18-35 ans, car ils sont tous sur le net. » Les panels sont pourtant bien pratiques pour les sondeurs à l’heure où les portes restent fermées devant les enquêteurs et quand les téléphones ne répondent plus. Aujourd’hui, pour arriver à remplir un questionnaire par téléphone, il faut bien souvent vingt appels ! Passer par internet a un autre avantage : cela permet de constituer un échantillon à moindre frais. Mais est-il vraiment représentatif ?

Petits budgets, petits sondages

Chez certains instituts, on admet à demi-mot que le système a ses limites, surtout pour faire du sondage d’intention de vote. Guenaëlle Gault, de Kantar Sofres souligne aussi que les moyens économiques engagés ne sont pas à la hauteur des résultats escomptés : « Un des problèmes que nous avons, c’est que les commanditaires de sondages sont souvent les médias, et qu’ils ont de moins en moins d’argent à consacrer à ces études. Les access panels, c’est un moyen commode, pas cher et rapide, mais de moins en moins pertinent quand il s’agit de modéliser toute la population. » Leur situation économique fragile conduirait également les médias à réduire la taille des enquêtes. Plus il y a de questions, plus elles coûtent cher.

La plupart des sondages commandés aujourd’hui par les médias ne comportent donc que quatre ou cinq questions. Ce qui s’avère très insuffisant dans certains cas selon Eric Dupin, journaliste, ancien de Libération, et spécialiste des sondages : « Nous sommes souvent ambivalents. Sur la question de l’immigration par exemple, il y a une certaine méfiance et en même temps une forme de générosité. Seule une enquête riche permet d’appréhender honnêtement les positions des français. Sinon, on a un seul chiffre, ce qui peut être utile pour les médias, mais est assez malhonnête d’un point de vue intellectuel. »

Vers de nouvelles méthodes ?

De nouvelles méthodes ont pourtant déjà émergé, testées parfois avec succès. Elles consistent à agréger plusieurs sources de données : sondages « classiques », remontées des réseaux sociaux, études des « requêtes » sur web (ce que cherchent les gens dans les moteurs de recherche), etc. Ces études, nettement plus complexes que les sondages d’intention de vote qualifiés de « course de petits chevaux » par les sondeurs eux-mêmes, permettent de mieux discerner certaines aspirations de l’électorat. Les tendances de fond apparaissent mieux. Pendant la campagne de la primaire de la droite et du centre, les équipes de Kantar Sofres se sont livrées à ce genre d’exercice. Guenaëlle Gault y a vu François Fillon émerger bien avant les sondages classiques : « Sur Facebook, les dynamiques de François Fillon et de Benoît Hamon étaient massives et solides car elles reposaient sur un engagement fort. Nicolas Sarkozy était beaucoup commenté mais très peu partagé, à l’inverse François Fillon était beaucoup partagé et peu commenté. Ce n’était pas difficile de le voir, on peut tout à fait mettre en place cela. » Pour autant, ces méthodes basées sur l’analyse du web ne sont pas à l’abri d’erreurs. La start up Filteris encensée par les supporters de François Fillon pendant cette campagne présidentielle (parce qu’elle le voit présent au deuxième tour) avait effectivement prévu qu’il arriverait en tête de la primaire. Mais face à Nicolas Sarkozy… Ces outils sont en fait certainement plus complémentaires que révolutionnaires.

Pour inclure ces méthodes dans leurs commandes, il faudrait que les médias acceptent de publier moins de sondages d’intention de vote au profit de ces « tableaux de bord » plus complexes, et environ deux fois plus chers. Pas gagné. Il faudrait également que les instituts de sondage prennent la mesure des problèmes qu’ils rencontrent et acceptent d’ouvrir le débat. Comme en Grande Bretagne où « le métier a créé une commission d’enquête avec des universitaires auxquels les instituts ont fournis leurs données pour essayer d’améliorer la méthode et éviter les erreurs » explique Bruno Jeanbart, directeur général adjoint d’Opinion Way. Et lui, comme d’autres, regrettent que ce ne soit pas encore le cas en France, où les instituts restent trop soucieux de conserver leurs secrets de fabrication.

Références bibliographiques :

• « La fabrique de l’opinion« , Loïc Blondiaux, Editions du Seuil.
• « Manuel anti-sondages. La démocratie n’est pas à vendre ! », Alain Garrigou, Richard Brousse, L’Observatoire des sondages, Ed. La ville brûle.

France Inter 16/03/2017