n juin 2020, un chercheur en entreprise a commencé à s’intéresser à la montée des discours haineux et violents sur Facebook après la mort de George Floyd sur le trottoir du sud de Minneapolis sous les genoux d’un policier blanc.
Au fur et à mesure que les protestations se propageaient, les rapports d’utilisateurs signalant des contenus dangereux et offensants sur Facebook faisaient de même. Mais ce n’est que lorsque le président de l’époque, Donald Trump, a lancé un avertissement sur Facebook : « Quand les pillages commencent, les tirs commencent », que les vannes se sont ouvertes, a constaté le chercheur.
Facebook a vu le nombre de signalements de violence et d’incitation à la haine multiplié par cinq et par trois respectivement. Le 2 juin, le pays tout entier était « en feu », selon le rapport.
Le message de M. Trump reprenait une phrase prononcée par un chef de la police de Miami dans les années 1960 concernant la répression des quartiers noirs pendant les périodes de troubles civils. Il a été vu « des ordres de grandeur de fois plus » que le nombre total de vues de discours haineux que Facebook empêche en une seule journée, a déclaré un employé dans un mémo de départ.
Cette personne a accusé la société de « soutenir des acteurs qui attisent les flammes du feu que nous essayons d’éteindre ».
Alors même que les défenseurs des droits civiques et la communauté noire déposaient plainte après plainte contre Facebook, des documents internes examinés par USA TODAY montrent que l’entreprise a continué à combattre une vague incessante de discours haineux à caractère racial à l’aide d’outils de modération automatisés qui ne sont pas assez sophistiqués pour attraper la plupart des contenus préjudiciables et qui sont sujets à des erreurs.
Un employé de Facebook a estimé qu’un contenu sur 1 000 sur la plateforme était un discours de haine. Les documents internes font partie des centaines de documents divulgués à la Securities and Exchange Commission et fournis au Congrès sous forme expurgée par les avocats de Frances Haugen, une ancienne chef de produit de Facebook devenue dénonciatrice. Les versions expurgées des Facebook Papers ont été obtenues par un consortium de 17 organismes de presse, dont USA TODAY.
Les documents internes font partie des centaines de documents divulgués à la Securities and Exchange Commission et fournis au Congrès sous forme expurgée par les avocats de Frances Haugen, une ancienne chef de produit de Facebook devenue dénonciatrice. Les versions expurgées des Facebook Papers ont été obtenues par un consortium de 17 organismes de presse, dont USA TODAY.
Ils ont trompé le monde entier ».
Les défenseurs des droits civils affirment que les documents de Facebook confirment leurs pires soupçons. Pendant des années, les dirigeants de Facebook n’ont cessé de faire des promesses mais n’ont guère progressé dans la protection de la communauté noire et d’autres groupes souvent ciblés contre les discours haineux et les menaces pouvant conduire à la violence.
Leurs doléances n’ont fait que s’intensifier avec l’afflux de contenus haineux sur les plateformes de Facebook après la mort de Floyd. L’été dernier, des groupes de défense des droits civils se sont joints aux principaux annonceurs pour mener un boycott de l’entreprise.
« Ils nient toute responsabilité. Ils détournent la responsabilité. Ils retardent la prise de mesures », a déclaré Imran Ahmed, PDG du Center for Countering Digital Hate, à USA TODAY. « Maintenant, il est clair qu’ils ont trompé le monde entier ».
Des recherches datant de deux ans montrent les pièges de la stratégie de Facebook pour contenir les discours de haine.
Facebook s’appuie sur un ensemble de règles appelées « normes communautaires » pour guider les décisions sur ce qui constitue un discours de haine. Ces normes sont appliquées par des modérateurs humains, mais Facebook dépend surtout d’outils automatisés pour filtrer les publications.
En 2019, un chercheur de Facebook a estimé que les outils de modération automatisés supprimaient des posts qui ne généraient que 2% des vues de discours de haine qui violaient les règles de Facebook.
Les raisons étaient nombreuses . Les normes de Facebook concernant ce qui est qualifié de discours de haine étaient compliquées et difficiles à appliquer de manière cohérente. Les politiques diffèrent également d’un pays à l’autre. Enfin, les outils automatisés de l’entreprise passaient souvent à côté des discours haineux ou renvoyaient de faux positifs.
« Des estimations récentes suggèrent qu’à moins d’un changement majeur de stratégie, il sera très difficile d’améliorer ce résultat de plus de 10 à 20 % à court et moyen terme », écrit le chercheur.
Selon un autre rapport de recherche, Facebook a estimé en mars dernier que des outils automatisés avaient supprimé les publications qui généraient 3 à 5 % des vues de discours haineux et 0,6 % des contenus qui violaient les règles de Facebook contre la violence et l’incitation.
Facebook affirme que les utilisateurs voient moins de discours haineux
Facebook affirme que les pourcentages cités dans les documents internes font référence aux discours haineux supprimés à l’aide d’outils automatisés et ne tiennent pas compte des autres moyens utilisés par l’entreprise pour limiter la quantité de discours haineux que les utilisateurs voient, notamment en poussant les contenus nuisibles plus bas dans les fils d’actualité.
« Lorsque nous luttons contre les discours haineux sur Facebook, notre objectif est de réduire leur prévalence, c’est-à-dire la quantité que les gens voient réellement », a déclaré Andy Stone, porte-parole de Facebook, à USA TODAY.
Ce volume a diminué au cours des trois derniers trimestres, passant de 10 sur 10 000 vues à environ cinq, a-t-il précisé. Facebook travaille avec un auditeur indépendant pour valider ces chiffres.
Facebook affirme que la quasi-totalité des discours haineux qu’il supprime sont découverts par ses outils de modération automatisés avant d’être signalés par les utilisateurs. Ce processus, qu’elle appelle le taux de détection proactive, atteint presque 98 %, selon l’entreprise.
Ces systèmes aident également Facebook à réduire le nombre de personnes qui voient des contenus susceptibles de violer ses politiques, a déclaré M. Stone.
« Il s’agit de l’effort le plus complet de toutes les grandes entreprises de technologie grand public pour supprimer les discours haineux et, bien que nous ayons encore du travail à faire, nous restons déterminés à bien faire les choses », a-t-il déclaré.
Mais un employé de Facebook qui a travaillé sur les efforts visant à réduire la violence et l’incitation à la violence pendant l’élection présidentielle de 2020 a qualifié les progrès de l’entreprise en matière d’éradication des discours haineux d’incrémentaux et « simplement éclipsés par le simple volume de contenus violents qu’il y a sur Facebook. »
« Une augmentation incrémentale sur un très petit nombre reste un très petit nombre », a écrit cette personne dans un mémo de sortie. « La vérité est que le problème de l’inférence du sens sémantique du discours avec une grande précision n’est pas du tout près d’être résolu – il suffit de demander à Siri. En termes d’identification des discours haineux, nous sommes peut-être les meilleurs au monde, mais les meilleurs au monde ne sont pas assez bons pour en trouver une fraction. »
Même avec certaines des personnes les plus intelligentes du monde travaillant sur le problème, l’ancien employé a émis des doutes sur la réussite de Facebook avec sa stratégie actuelle.
« Je suis très confiant que notre approche actuelle, qui consiste à saisir une centaine de milliers de contenus, à payer des gens pour les étiqueter comme étant haïssables ou non, à former un classificateur et à l’utiliser pour supprimer automatiquement des contenus avec une précision de 95 %, ne fera jamais grand-chose », a déclaré la personne.
Tempête de feu après le pillage et la fusillade du poste Trump
Certains employés de l’entreprise ont accusé les produits de l’entreprise d’être responsables de la propagation incontrôlée de la haine.
Facebook a « des preuves irréfutables que les mécanismes de base de nos produits, tels que la viralité, les recommandations et l’optimisation de l’engagement, expliquent en grande partie pourquoi ces types de discours fleurissent sur la plateforme », a commenté un employé. « Le résultat net est que Facebook, pris dans son ensemble, va promouvoir activement (mais pas nécessairement consciemment) ces types d’activités. La mécanique de notre plateforme n’est pas neutre. »
Les employés se sont également opposés au programme XCheck qui protège les utilisateurs très médiatisés comme les célébrités et les politiciens, même si leurs publications contiennent des incitations à la violence.
Un système automatisé formé pour détecter si une publication Facebook enfreint les règles de l’entreprise a attribué à la publication de Trump une note de 90 sur 100, indiquant qu’il était très probable qu’elle le fasse. Mais XCheck a protégé le compte de M. Trump de l’application des règles, selon des documents internes de Facebook.
Après avoir examiné le message dans un contexte de conflit à l’intérieur et à l’extérieur de Facebook, le PDG Mark Zuckerberg a décidé personnellement de le laisser en ligne.
« Personnellement, j’ai une réaction négative viscérale à ce genre de discours incendiaire qui divise », a-t-il écrit à l’époque. « Mais je suis responsable de réagir non seulement à titre personnel, mais aussi en tant que dirigeant d’une institution engagée dans la liberté d’expression. »
Rashad Robinson, président de Color of Change, un groupe de justice raciale en ligne, dit avoir appelé Zuckerberg pour contester cette décision. M. Zuckerberg a écarté les craintes que le message de Trump n’incite à l’autodéfense contre la communauté noire et a insisté sur le fait que le message restait affiché pour avertir le public de la menace d’une force militaire, explique M. Robinson.
La réponse de Zuckerberg « nous a confortés dans l’idée que les gens de Facebook sont parfaitement d’accord pour que cela se produise et qu’ils ne se soucient pas du tout que des personnes soient blessées », a déclaré Robinson à USA TODAY. « Ils sont prêts à nous mettre en danger tant qu’ils font plus d’argent ».
Le 5 mai, le conseil de surveillance de Facebook a confirmé la suspension de deux ans de Trump. Facebook a banni Trump indéfiniment le lendemain de l’attaque du Capitole. « Nous pensons que les risques de permettre au président de continuer à utiliser notre service pendant cette période sont tout simplement trop importants », avait alors écrit Mark Zuckerberg.
Dans sa décision, le tribunal d’experts extérieurs mis en place et financé par Facebook avec des pouvoirs de surveillance limités a déclaré que les commentaires de Trump le jour du siège du Capitole « ont créé un environnement où un risque sérieux de violence était possible. »
La semaine dernière, l’Oversight Board a reproché à Facebook de ne pas avoir mentionné XCheck lorsque l’entreprise a informé le conseil de ses activités.
Les leaders des droits civiques affirment que Facebook laisse tomber la communauté noire.
Tanya Faison, fondatrice de la section Black Lives Matter de Sacramento, est confrontée quotidiennement à des discours haineux et à des menaces violentes sur Facebook.
En août, la page Facebook du chapitre a publié un article sur un leader des Proud Boys condamné à cinq mois pour avoir brûlé une bannière Black Lives Matters prise dans une église noire de Washington lors d’une manifestation pro-Trump.
« Pourquoi ai-je le sentiment que si je crache sur un chapeau MAGA, je prendrais cinq ans ? » a commenté une personne sur le post.
Quelqu’un a répondu : « Essaie. Tu pourrais recevoir une balle à la place ».
Faison a signalé la menace à Facebook, mais dit avoir reçu une réponse automatisée indiquant que cela ne violait pas les règles de Facebook.
« Quelqu’un a littéralement dit à une autre personne qu’elle recevrait une balle dans la tête. Comment cela peut-il être considéré comme respectant les normes ? » a-t-elle écrit dans un courriel à Facebook examiné par USA TODAY. L’entreprise a ensuite supprimé le commentaire.
Selon Mme Faison, les politiques de Facebook en matière de discours haineux et les systèmes de modération du contenu ne répondent pas aux besoins des personnes que l’entreprise prétend vouloir protéger.
Le racisme flagrant et la violence extrême continuent de ne pas être contrôlés alors que des gens de gauche et de droite sont régulièrement bannis pour avoir utilisé le terme « blancs » ou pour avoir exprimé leur frustration face à des expériences racistes », a-t-elle déclaré à USA TODAY.
Des documents internes de Facebook montrent que l’entreprise sait que les Afro-Américains font partie des communautés les plus actives sur la plateforme. Ils « dépassent l’indice de tous nos principaux paramètres d’engagement », selon l’étude. Les Afro-Américains produisent et partagent plus de contenu, s’engagent davantage dans les histoires Facebook et « ont un engagement plus significatif », selon un document interne.
ependant, les voix des Noirs qui s’élèvent contre le racisme sont régulièrement étouffées et Facebook prend rarement des mesures contre les insultes raciales, les menaces violentes et les campagnes de harcèlement qui visent les utilisateurs noirs, explique Mme Faison.
« En 2016, Black Lives Matter Sacramento, et le réseau BLM sont allés rencontrer les dirigeants de Facebook pour discuter des problèmes que les Noirs rencontraient sur la plateforme Facebook, avec la conviction que nous travaillions ensemble pour résoudre cet énorme problème raciste », dit-elle. « Tout au long de la réunion, on ne nous a donné que des excuses, et aucune solution. On nous a dit que ce serait quelque chose sur lequel ils allaient travailler ».
« Cinq ans plus tard, le racisme et la haine n’ont fait qu’empirer », a déclaré Mme Faison. « Les gens sont constamment mis en ‘prison Facebook’ pour s’être littéralement défendus contre la chose même pour laquelle Facebook devrait bannir les gens : la haine. »
Les discours haineux sont un problème coûteux pour Facebook
Facebook lutte contre les discours de haine depuis des années et le fait que des modérateurs humains filtrent les contenus violents était un défi particulier aux États-Unis, selon des documents internes. Ces critiques haineuses représentaient 37,69 % du total mondial.
La haine était également le problème de modération le plus coûteux et le plus laborieux de Facebook, coûtant à l’entreprise 2 millions de dollars par semaine, selon un rapport interne qui faisait des plans pour le premier semestre 2019.
Cherchant à réduire les coûts, Facebook a réduit le nombre d’heures que les modérateurs passaient à examiner les discours haineux, selon les documents internes.
Stone, le porte-parole de Facebook, a déclaré que les fonds ont été transférés au personnel qui formait les algorithmes de Facebook pour identifier les discours de haine et que le budget global n’a pas changé.
Dans le même temps, Facebook a commencé à utiliser un algorithme qui ignorait les rapports des utilisateurs qu’il jugeait peu susceptibles de violer ses politiques.
Le processus permettant aux utilisateurs de Facebook de signaler les discours haineux est également devenu plus lourd, ce qui a réduit le nombre de plaintes déposées, selon les documents.
« Il se peut que nous soyons allés trop loin dans l’ajout de frictions », a déclaré un chercheur dans un document.
Selon M. Stone, cette recherche a permis à l’entreprise de se rendre compte qu’elle avait rendu le signalement des discours haineux trop difficile pour les utilisateurs de Facebook, et l’entreprise a donc réduit le nombre d’étapes nécessaires.