Couverture du résumé de « Algorithmes : la bombe à retardement »

Technologie & avenir · 15 min

Algorithmes : la bombe à retardement

Cathy O'Neil · 2016

À qui s’adresse ce livre ?

Pour celles et ceux qui veulent comprendre comment les scores et les décisions automatisées affectent le travail, l'éducation, le crédit et les droits. Aucune connaissance en programmation ou en mathématiques avancées n'est nécessaire.

Gratuit à télécharger · iPhone et Android

Ce résumé existe aussi en version audio dans l’appli.

3 idées clés à retenir

  1. Une mesure peut aider à voir le travail et, lorsqu'elle devient l'unique objectif, commencer à le déformer.

  2. L'efficacité d'une entreprise mérite une autre lecture lorsqu'elle repose sur des coûts qui n'apparaissent que dans le quotidien des familles.

  3. Les données sur les contrôles racontent une partie de l'histoire des lieux observés et une partie de l'histoire de ceux qui ont décidé de les observer.

Une carte utile reconnaît ses limites ; un classement dangereux tente de passer pour un portrait complet.
Une idée tirée de « Algorithmes : la bombe à retardement », dans les mots de 15 Minutes

Aperçu

Les premières sections

1. L'autorité des chiffres

Une enseignante perd son emploi, un candidat n'obtient jamais d'entretien et une famille reçoit une offre de crédit désavantageuse. Ces décisions semblent différentes, mais elles peuvent partager une même origine : des systèmes qui transforment les personnes en scores. Cathy O'Neil se demande qui a choisi les critères et qui répond lorsque ces critères portent injustement préjudice à quelqu'un.

L'autrice qualifie d'armes de destruction mathématique certains systèmes qui combinent opacité, échelle et dommage. Ils dissimulent leur fonctionnement, touchent un grand nombre de personnes et produisent des conséquences négatives importantes. Il ne s'agit pas de condamner tout calcul ou tout ordinateur, mais d'examiner des décisions automatisées présentées comme des vérités techniques, au-dessus du débat public.

En France, imaginez un travailleur refusé par une plateforme sans comprendre la raison. Il a peut-être envoyé tous les documents et rempli toutes les exigences visibles. Pourtant, un classement interne lui ferme la porte. Le problème commence lorsque l'apparence de précision remplace l'obligation d'expliquer une décision qui concerne une personne.

2. Les choix cachés dans les calculs

Un modèle mathématique est une représentation simplifiée de la réalité. Pour le construire, on sélectionne des informations, on établit des relations et on définit un objectif. Cette sélection laisse certaines choses de côté. Comme un plan de bus ne montre pas tous les arbres de la ville, un score professionnel ne peut pas représenter toute la capacité d'une personne.

O'Neil présente les modèles comme des opinions intégrées à des procédures formelles. Cela ne signifie pas que tous aient la même valeur ou qu'ils ne soient que des suppositions. Cela signifie que leurs choix doivent apparaître. Évaluer une école uniquement d'après les notes des élèves, par exemple, privilégie un résultat mesurable et réduit l'attention portée à d'autres apports.

Imaginez une famille qui organise son budget en choisissant toujours le prix le plus bas. Le calcul semble excellent, jusqu'à ce qu'on oublie le billet de transport, le temps de trajet et l'usure. La simplification peut être utile, mais tout dépend de son objectif. Avant de faire confiance à un classement, demandez-vous ce qu'il mesure et ce qu'il a dû laisser invisible.

3. Des indices ne sont pas des personnes

De nombreux systèmes n'observent pas directement ce qu'ils souhaitent évaluer. Ils recourent donc à une variable de substitution : un indicateur disponible utilisé à la place d'une caractéristique difficile à mesurer. L'adresse peut servir d'approximation du revenu. L'historique d'achats peut être considéré comme un signe de fiabilité ou de stabilité personnelle.

Cet échange demande de la prudence, car la corrélation n'établit pas la causalité. Deux caractéristiques peuvent apparaître ensemble sans que l'une produise l'autre. Habiter loin des pôles d'emploi peut être associé à des parcours professionnels interrompus, mais cela ne démontre pas un manque d'engagement. Les transports insuffisants, les journées longues et les inégalités de chances doivent aussi entrer en ligne de compte.

Imaginez quelqu'un qui prend deux bus pour aller travailler. Un système peut interpréter des changements fréquents d'emploi comme une instabilité individuelle, en ignorant les entreprises qui ont fermé ou les contrats temporaires. Le score transforme des circonstances en traits personnels. La critique du livre est particulièrement forte lorsque cette réduction se produit sans révision et sans explication accessible.

11 sections de plus dans l’appli

Continuez dans l’appli

Lisez le résumé en entier ou écoutez-le et testez-vous à la fin avec le quiz du livre. L’appli est gratuite à télécharger, et une lecture gratuite vous attend chaque jour.

À propos de Cathy O'Neil

Cathy O'Neil est une mathématicienne et autrice américaine, titulaire d'un doctorat en mathématiques de l'université Harvard. Elle a été professeure au Barnard College et a travaillé pour le fonds d'investissement D. E. Shaw avant de se consacrer à la science des données. Elle a créé le blog mathbabe, consacré aux débats sur les mathématiques, la finance et les questions sociales. Son livre Algorithmes : la bombe à retardement a été publié à l'origine en 2016.