Méfiez-vous des observables
par Ploum le 2013-01-08
Comment mesurer le courant dans un circuit électrique sans que votre appareil de mesure n’interfère lui-même avec le circuit ? Comment mesurer la température d’un objet sans que la température du thermomètre ne la perturbe ?
Toutes ces questions montrent que mesurer est une démarche complexe bien plus difficile qu’il n’y paraît au premier abord. Souvent, la mesure ne peut même pas être faite directement. L’expérimentateur va donc utiliser d’autres variables que j’appelle, par un abus de langage issu de la physique quantique, des « observables ».
Cependant, pour que la mesure soit utile, il est important que votre observable soit parfaitement corrélée à ce que vous souhaitez mesurer.
J’insiste sur le fait que la corrélation doit être parfaite. L’intuition aura tendance à nous dire que même si la corrélation est imparfaite, la mesure ne sera alors qu’approximative. Que si le besoin de précision n’est pas absolu, on pourra s’en contenter. En réalité, si la corrélation n’est pas absolue, votre mesure peut se révéler complètement fausse voire totalement absurde. Avec le danger que votre observable serve de justification pour l’accepter.
Le résultat ne se fera pas attendre : toute personne souhaitant influencer les résultats s’attaquera à l’observable uniquement, exploitant la décorrélation possible.
Le pointage horaire comme mesure du travail
Une des plus fameuse erreurs du monde moderne est de tenter de mesurer le travail en nombre d’heures de présence dans un bâtiment donné. La justification est « que même si ce n’est pas parfait, tout le monde n’ayant pas le même rendement horaire, c’est une estimation acceptable ».
Or il n’en est rien. Vous connaissez sans doute des dizaines d’exemples de personnes capables de passer 10h par jour au bureau sans avoir la moindre once de productivité. Pire : la productivité générale se trouverait probablement accrue s’ils n’étaient pas là.
À l’opposé, un employé consciencieux ayant vérifié un dossier le soir chez lui, ayant appelé un client avant de prendre la route le matin et ayant du s’arrêter pour noter un rendez-vous se verra pénalisé par un retard. À la fin du mois, votre glandeur recevra un jour de congé de récupération pour heures supplémentaires.
Le signal est clair : une personne est payée pour être dans un bureau, pas pour travailler. La perversion est telle que ça en devient un argument politique majeur. Loin d’être une approximation souhaitable, la mesure du temps passé au travail est donc pire que pas de mesure du tout.
La longueur de la Twitter-quequette
Un autre domaine fortement concerné est l’influence sur le web. Intuitivement, tout le monde sent que certaines personnes sont plus influentes que d’autres sur le web. Il s’est donc développé tout un marché de classements sur le nombre d’abonnés ou de score fait à partir d’une logique opaque.
Ainsi, en juillet 2012, le journal l’Avenir décide de faire un classement des politiques du Brabant -Wallon sur Twitter. Surprise, étant candidat aux élections, j’y apparais en troisième position. Or, il est évident que je ne suis pas un politicien influent. La majeure partie de mes abonnés n’ont sans doute jamais entendu parler du Brabant-Wallon. Mais l’observable étant choisie, il faut s’y conformer. Le journaliste a l’intelligence de ne pas faire de commentaire et d’intituler ce classement « Les plus suivis » afin de rester factuel.
Qui Klout le plus loin ?
Un score très populaire pour mesurer l’influence d’une personne sur les réseaux sociaux est le Klout. Outre son opacité totale, le Klout possède une faiblesse majeure : il est la somme des influences d’une personne sur les réseaux sociaux mais n’est mesurable que si cette personne est inscrite volontairement à Klout. Sinon, chaque profil sur un réseau social sera considéré comme une personne différente. Le Klout fait également abstraction totale de ce qui n’est pas Twitter/Facebook/Google+, avec une influence négligeable dans le score total pour le dernier. Faire augmenter son Klout passe donc par avoir beaucoup de retweets et de like sur Facebook, une mesure certainement simpliste. Rick Falkvinge, fondateur du Parti Pirate, blogueur mondialement renommé, conférencier TED, sélectionné en 2012 dans la liste des personnes les plus influentes de la planète du magazine TIME, y reçoit une note de 71. Il est en effet inscrit sur Klout et utilise beaucoup les réseaux sociaux. Damien Van Achter, dont le métier est justement d’utiliser ces mêmes réseaux sociaux, de jouer avec ces outils, y reçoit une note de 73. Le TIME aurait-il oublié de sélectionner Damien ?
Mon ebuzz est plus gros que le tien
Dernier exemple avec le classement de blogs Ebuzzing, ancien Wikio, et véritable référence en matière de classement des blogs. En janvier 2013, mon blog apparaît comme le second plus influent de Belgique et le 144ème blog francophone, tous pays confondus.
Or, il est amusant de constater que, sur l’année 2012, la source qui m’a apporté le plus de visiteurs, hors Google et réseaux sociaux, est le blog de Sebsauvage. Chaque fois que Sebsauvage parle de moi ou me lie sur son Shaarli, une avalanche de visiteurs m’envahit. Des amis m’ont même félicité pour cet honneur. Sebsauvage, qui semble avoir une audience nettement plus importante que la mienne, devrait logiquement être plus influent. Or, le blog de Sebsauvage apparaît à la 1198ème place de ce classement.
L’explication est simple : le classement est fait en additionnant les like, les retweet et les google +1 reçus par un blog sur une période du mois précédent. Le premier moyen d’être bien classé est donc de publier beaucoup. 10 articles avec 1 like chacun valent un article avec 10 likes. Mais cela n’explique pas mon si bon classement. Mon article sur le monde de Google a bien tourné mais sans casser la baraque. La raison est, au fond, toute simple : j’ai posté un article parlant de chats qui a tourné sur Facebook. Cette article n’est pas important, n’influencera personne et ne restera pas dans les mémoires. Mais il a eu 1000 likes sur Facebook.
Conclusion
Tous ces exemples mettent en exergue le même phénomène : en se disant qu’une approximation de corrélation amènerait une approximation de résultat, on obtient des aberrations qui sont considérées comme paroles d’évangile.
Mais les conséquences sont vicieuses : ces fausses mesures influencent elles-même les résultats. Le glandeur qui reste tard au bureau finira par être persuadé qu’il travaille dur, à convaincre ses collègues et à obtenir des promotions. Les scores ebuzz, Klout ou d’abonnés Twitter forgent de toutes pièces une réputation d’influenceur ce qui a pour conséquence de créer une audience à partir de rien, de Paris Hiltoniser un blogueur ou un Twittos.
Quelle que soit la situation, posez-vous toujours les questions suivantes : « Que suis-je en train de mesurer exactement ? Quelle observable vais-je utiliser ? Cette observable est-elle corrélée exactement à ce que je mesure ? Puis-je trouver un exemple de cas manifeste de décorrélation, ce qui invaliderait tout à fait l’observable ? ».
Peut-être vaut-il mieux pas de mesure du tout et un peu de bon sens subjectif qu’une fausse mesure pseudo-objective ?
Je suis Ploum et je viens de publier Bikepunk, une fable écolo-cycliste entièrement tapée sur une machine à écrire mécanique. Pour me soutenir, achetez mes livres (si possible chez votre libraire) !
Recevez directement par mail mes écrits en français et en anglais. Votre adresse ne sera jamais partagée. Vous pouvez également utiliser mon flux RSS francophone ou le flux RSS complet.