Mise à jour (13 juin 2023) : Ce message a été mis à jour pour refléter les informations supplémentaires fournies par Muslim Pro. Sa déclaration complète peut être consultée via son site Web.

Nos données personnelles et la manière dont les entreprises privées les récoltent et les monétisent jouent un rôle de plus en plus puissant dans la vie moderne. Les bases de données d'entreprise sont vastes, interconnectées et opaques. Le mouvement et l'utilisation de nos données sont difficiles à comprendre, et encore moins à retracer. Pourtant, les entreprises l'utilisent pour tirer des conclusions à notre sujet, ce qui entraîne la perte d'emplois, de crédits et d'autres opportunités.

Un fil conducteur de ce système omniprésent est la collecte d'informations personnelles auprès des communautés marginalisées, et l'utilisation discriminatoire qui en résulte par les entreprises et les agences gouvernementales, exacerbant les inégalités structurelles existantes dans la société. La surveillance des données est un problème de droits civils, et la législation visant à protéger la confidentialité des données peut aider à protéger ces droits civils.  

Collecte discriminatoire de données

Nos téléphones et autres appareils traitent une grande quantité d'informations personnelles très sensibles que les entreprises collectent et vendent pour des profits étonnants. Cela incite les acteurs en ligne à collecter autant de nos informations comportementales que possible. Dans certaines circonstances, chaque clic de souris et chaque balayage d'écran sont suivis puis vendus à des sociétés de technologie publicitaire et aux courtiers en données qui les desservent.

Lorsque les applications mobiles sont utilisées de manière disparate par des groupes spécifiques, la collecte et le partage de données personnelles peuvent aggraver les problèmes de droits civils. Par exemple, une enquête de Motherboard en 2020 a révélé qu'un courtier en données appelé X-Mode collectait des données de géolocalisation à partir de milliers d'applications, y compris Muslim Pro, une application de prière utilisée par des millions de musulmans dans le monde. Avant ses relations avec Muslim Pro, X-Mode avait concédé sous licence des données de géolocalisation similaires à l'armée américaine par l'intermédiaire d'entrepreneurs de la défense. Bien que Muslim Pro ait cessé de partager des données avec X Mode, et que Muslim Pro maintienne qu'aucune de ses données n'a été partagée avec l'armée, la terrible vérité reste : la collecte et le partage généralisés de données de géolocalisation par les entreprises peuvent rendre les utilisateurs vulnérables à la discrimination, en particulier lorsque les autorités policières et d'autres organismes gouvernementaux sont des acheteurs réguliers.

En 2016, il a été découvert que Twitter, Facebook, Instagram et neuf autres plateformes de médias sociaux avaient fourni à la société de logiciels Geofeedia des informations sur les médias sociaux et des données de localisation de leurs utilisateurs. Ces données ont ensuite été utilisées par les services de police des États-Unis pour retrouver et identifier les personnes participant aux manifestations de Black Lives Matter. Le FBI a également été un client de Geofeedia et un rapport de The Intercept a révélé que la société de capital-risque de la CIA, In-Q-Tel, avait investi dans Geofeedia. Ces exemples montrent comment la surveillance des médias sociaux, la collecte excessive de données et les divulgations par les plateformes numériques peuvent provoquer des conséquences inéquitables de grande envergure pour les Noirs.

De plus, les personnes à faible revenu sont souvent moins en mesure d'éviter la collecte de leurs données par les entreprises. Par exemple, certaines technologies moins chères collectent plus de données que d'autres technologies, comme les smartphones bon marché qui sont livrés avec des applications préinstallées qui divulguent des données et ne peuvent pas être supprimées. De même, certaines entreprises technologiques exigent aux clients payer un supplément pour éviter la surveillance des données, comme AT&T facturant 29 $ par mois aux clients FAI pour éviter de suivre leur historique de navigation. De même, certaines entreprises technologiques exigent que les clients paient un supplément pour les fonctionnalités de sécurité de base qui les protègent contre le vol de données, comme le nouveau plan de Twitter de facturer 11 $ par mois pour l'authentification à deux facteurs. Malheureusement, la confidentialité des données est souvent un luxe que les personnes à faible revenu ne peuvent pas se permettre.  

Utilisation discriminatoire des données dans la diffusion des publicités

Une fois les données personnelles collectées, des informations hautement sensibles sur des millions de personnes sont largement mises en vente. Les entreprises et les gouvernements l'utilisent de manière à cibler certains groupes vulnérables de la société pour un traitement défavorisé et à exclure d'autres d'opportunités importantes. Malgré les règles juridiques contre la discrimination fondée sur l'origine ethnique, le sexe et d'autres caractéristiques, de nombreuses entreprises ont utilisé des algorithmes qui ciblent les publicités sur ces mêmes caractéristiques.

De nombreuses plateformes et annonceurs utilisent des données personnelles pour cibler les publicités sur certaines personnes et pas sur d'autres. Par exemple, l'outil Tailored Audiences de Twitter permet aux annonceurs de cibler les utilisateurs sur des mots-clés, des centres d'intérêt et un emplacement géographique, tandis que Google utilise un outil de ciblage par liste de clients, Customer Match en anglais, pour que les annonceurs combinent leurs informations avec les données utilisateur de Google.

Un tel ciblage est souvent discriminatoire. Le Federal Reserve Board a constaté que « même les consommateurs qui recherchent des informations pour prendre des décisions éclairées peuvent être empêchés de faire les meilleurs choix pour eux-mêmes ou pour leur famille et peuvent à la place être soumis à une correction numérique ou à une orientation ».

Les entreprises ont dirigé des publicités risquées vers les groupes vulnérables. Des milliers de personnes âgées ont été ciblées par des annonces d'escroqueries à l'investissement par des prêteurs subprime. De même, des publicités politiques ont été ciblées sur des groupes ethniques minoritaires - ce qui a conduit à la suppression des électeurs. Cela est rendu possible grâce à la collecte massive d'informations personnelles et à leur compilation dans des dossiers qui identifient des caractéristiques telles que l'ethnicité. Une publicité ciblée utilisée par l'ancien président Trump comprenait un graphique animé d'Hillary Clinton qui cherchait à convaincre les électeurs noirs de ne pas voter le jour du scrutin.

Les données personnelles sont également utilisées pour empêcher certains groupes de recevoir des publicités pour des opportunités positives. En 2016, par exemple, ProPublica a révélé que Facebook permettait aux annonceurs d'empêcher les groupes raciaux protégés de voir leur contenu. Une revue universitaire a précédemment rapporté que les femmes recevaient moins d'annonces en ligne pour des emplois bien rémunérés que les hommes. L'impact discriminatoire peut se produire même lorsque l'annonceur n'a pas l'intention de discriminer. En 2018, Upturn a découvert que Facebook avait distribué son annonce pour un emploi de chauffeur de bus à un public composé à 80 % d'hommes, même si Upturn n'avait pas l'intention de cibler l'annonce en fonction du sexe.

Les annonces immobilières ont également été diffusées de manière discriminatoire sur le plan racial. En 2019, Facebook a fait l'objet d'une poursuite devant la Cour fédérale alléguant que la plateforme maintenait une « liste préremplie de données démographiques, de comportements et d'intérêts » pour les courtiers immobiliers et les propriétaires afin d'empêcher certains acheteurs ou locataires de voir leurs annonces. Le procès alléguait en outre que cela permettait « le placement d'annonces de logement excluant les femmes, les personnes handicapées et celles de certaines origines nationales ». Le système de Facebook a depuis évolué suite à un accord avec le ministère américain de la Justice. En annonçant le règlement, le gouvernement a expliqué que les algorithmes de Facebook violaient les lois fédérales sur le logement équitable.

Le système répandu d'entreprises qui collectent et monétisent des informations personnelles conduit dans de nombreux cas à la diffusion d'annonces discriminatoires. En conséquence, les groupes protégés passent à côté d'importantes opportunités d'emploi et de logement. Pour éviter une telle discrimination dans la diffusion des publicités, nous avons besoin de lois qui limitent la collecte initiale d'informations personnelles.  

Utilisation discriminatoire des données dans la prise de décision automatisée

Les banques et les propriétaires utilisent des systèmes de prise de décision automatisés pour aider à décider de fournir ou non des services aux clients potentiels. De même, les employeurs utilisent ces systèmes pour aider à sélectionner les employés, et les collèges les utilisent pour aider à sélectionner les étudiants. De tels systèmes discriminent les groupes vulnérables. Il existe de nombreuses solutions à ce problème, notamment la transparence algorithmique et l'application rigoureuse des lois contre les politiques organisationnelles qui ont un impact disparate sur les groupes vulnérables.

Une partie du problème est que les systèmes de prise de décision automatisés ont un accès facile au vaste réservoir de données personnelles que les entreprises ont collectées auprès de nous et se vendent les unes aux autres. Ces données alimentent les biais algorithmiques. Une partie de la solution consiste donc à vider ces réservoirs en limitant la manière dont les entreprises collectent nos données en premier lieu.

Des préoccupations particulières sont soulevées lorsque les magasins physiques utilisent la technologie de reconnaissance faciale pour filtrer tous leurs clients potentiels afin d'exclure les clients soi-disant indésirables. De nombreux magasins utilisent depuis longtemps cette technologie pour essayer de détecter les voleurs à l'étalage potentiels, en s'appuyant souvent sur des données de justice pénale sujettes aux erreurs et biaisées sur le plan racial. Madison Square Gardens a récemment été surpris en train d'utiliser cette technologie pour exclure les employés d'un cabinet d'avocats qui a poursuivi la société mère du lieu. Une entreprise pourrait facilement étendre ce type de « liste d'ennemis » aux personnes qui, en ligne ou sur le trottoir à l'extérieur, protestent contre les politiques discriminatoires d'un lieu.

De plus, la reconnaissance faciale ne fonctionne trop souvent pas, en particulier pour les Noirs et les femmes. La technologie a été utilisée pour expulser par erreur l'adolescente noire Lamya Robinson d'une patinoire publique à Detroit après l'avoir identifiée à tort comme une personne qui s'y serait prétendument battue. Encore une fois, il existe une solution de confidentialité des données à ce problème de droits civils : interdire aux entreprises de collecter les empreintes faciales de quiconque, sans avoir obtenu au préalable leur consentement volontaire, éclairé et opt-in. Cela doit inclure le consentement à utiliser le visage de quelqu'un (ou un identifiant similaire comme un tatouage) dans les données de formation pour les algorithmes.  

Discrimination dans la violation et l'utilisation abusive des données

La collecte et le stockage de quantités massives d'informations personnelles génèrent également des risques que les employés de l'entreprise abusent des données d'une manière qui viole les droits civils. Par exemple, en 2014 et 2015, 52 employés de Facebook ont ​​été licenciés pour avoir exploité leur accès aux données des utilisateurs. Un ingénieur a utilisé le référentiel Facebook de conversations Messenger privées, de données de localisation et de photographies personnelles pour rechercher pourquoi une femme avec qui il sortait a cessé de répondre à ses messages. Un autre ingénieur a utilisé les données de Facebook pour suivre une femme jusqu'à son hôtel. La collecte excessive de données par l'entreprise a permis ce harcèlement.

La collecte excessive crée également un risque de fuite de données, qui peut avoir un impact disparate sur les personnes à faible revenu. Le vol de données crée un risque collatéral d'usurpation d'identité, d'attaques de rançongiciels et de spam indésirable. Pour éviter ces attaques, les victimes de violation doivent consacrer du temps et de l'argent pour geler et dégeler leurs rapports de crédit, pour surveiller leurs rapports de crédit et pour obtenir des services de prévention du vol d'identité. Ces coûts financiers peuvent souvent être plus lourds pour les communautés à faible revenu et marginalisées. De plus, l'instabilité du logement pourrait rendre plus difficile d'alerter les personnes vulnérables qu'une infraction s'est produite.

Un moyen important de réduire ces types de risques pour les droits civils est que les entreprises collectent et stockent moins de données personnelles.  

Divulgation de données par les entreprises au gouvernement, qui les utilise de manière discriminatoire

Les pratiques gouvernementales discriminatoires peuvent être alimentées par l'achat de données personnelles auprès d'entreprises. Les gouvernements utilisent des systèmes de prise de décision automatisés pour aider à faire une multitude de choix concernant la vie des gens, notamment si la police doit inspecter une personne ou un quartier, si les responsables de la protection de l'enfance doivent enquêter sur un domicile et si un juge doit libérer une personne en attendant son procès. De tels systèmes « automatisent les inégalités », selon les mots de Virginia Eubanks. Le gouvernement achète de plus en plus de données aux entreprises pour les utiliser dans ces décisions.

De même, depuis que la Cour suprême des États-Unis a annulé Roe v. Wade, la santé reproductive est devenue un vecteur d'attaque de plus en plus important pour les droits numériques. Par exemple, les données de Google Maps peuvent informer la police si vous avez recherché l'adresse d'une clinique. Cette menace accrue pour les droits numériques est spécialement dangereuse pour les PANDC, les personnes à faible revenu, les immigrants, les personnes LGBTQ+ et d'autres communautés traditionnellement marginalisées, ainsi que les prestataires de soins de santé desservant ces communautés. Nous devrions réduire l'offre de données personnelles que les shérifs anti-choix et les chasseurs de primes peuvent acquérir auprès des entreprises. Et nous devrions également limiter l'accès de la police à ces données.

De plus, la police acquiert des services de surveillance faciale auprès d'entreprises comme Clearview, qui extraient les empreintes faciales de milliards de personnes sans leur permission, puis utilisent leur base de données d'empreintes faciales pour aider la police à identifier les suspects inconnus sur les photos. Par exemple, Clearview a aidé la police de Miami à identifier un manifestant pour la vie des Noirs.

L'utilisation par la police de ce type de service de données d'entreprise est intrinsèquement dangereuse. Les faux positifs de la reconnaissance faciale ont provoqué l'arrestation injustifiée d'au moins quatre hommes noirs. En janvier 2020, la police de Detroit a utilisé un logiciel de reconnaissance faciale pour arrêter Robert Williams pour avoir prétendument volé des montres. Williams a été détenu par la police pendant 30 heures. Après un long interrogatoire, la police a admis que « l'ordinateur avait dû se tromper ». Un an auparavant, le même détective de Detroit avait arrêté un autre homme, Michael Oliver, après qu'un logiciel de reconnaissance faciale l'ait identifié à tort comme un match. Nijeer Parks a été accusé de vol à l'étalage de collations dans le New Jersey et arrêté à tort après une erreur d'identification. Parks a passé 10 jours en prison et près d'un an avec des accusations qui pèsent sur lui. Plus récemment, le département de police de Baton Rouge a arrêté et emprisonné Randal Reid pendant près d'une semaine après une correspondance incorrecte avec un vol.  

Prochaines étapes

Les entreprises, les gouvernements et autres utilisent les données personnelles de nombreuses manières discriminatoires. Une approche nécessaire pour résoudre ce problème consiste à réduire la quantité de données que ces entités peuvent utiliser pour discriminer. Pour résister à ces violations des droits civils à leur source, nous devons limiter la manière dont les entreprises collectent et récoltent nos données personnelles.

L'EFF a demandé à plusieurs reprises une telle législation sur la confidencialité. Pour être efficace, il doit inclure une application privée efficace et interdire les systèmes de « paiement pour la confidentialité » qui nuisent aux personnes à faible revenu. La législation au niveau fédéral ne doit pas prévaloir sur la législation des États.