L’été dernier, une vidéo pornographique d’un éminent créateur de TikTok est devenue virale sur les réseaux sociaux. Une capture d’écran de la vidéo sur TikTok s’est rendue sur le compte Instagram @tiktokroom, accompagnée d’un commentaire du créateur dont le visage a été publié dans la vidéo. « C’est un deepfake mais quand même, mes parents sur cette application, détendez-vous », a déclaré le créateur. (Pierre roulante ne nomme pas ce créateur ou tout autre créateur référencé dans cette histoire, au motif que les vidéos ont été publiées sans leur consentement.)
Un deepfake est une vidéo manipulée numériquement qui utilise la technologie de l’intelligence artificielle pour échanger le visage d’une personne (souvent, mais pas toujours, une célébrité) sur le corps d’une autre personne, généralement sans son consentement. Une grande partie de l’attention des médias sur les deepfakes a porté sur leur potentiel de propagation de la désinformation, en particulier en ce qui concerne une campagne politique ou une élection, comme le souligne un clip trafiqué de Nancy Pelosi qui est devenu viral sur Facebook l’année dernière. Pourtant, la grande majorité des deepfakes – 96%, selon les recherches de 2019 de la société d’intelligence artificielle Sensity – sont pornographiques et utilisées pour cibler les femmes.
Dans le passé, la technologie deepfake était principalement utilisée pour créer des images nues ou sexuellement explicites de célébrités féminines en particulier. C’est en partie parce que pour créer des modèles de deepfakes, vous avez besoin de milliers de photos ou de plusieurs minutes de séquences vidéo pour faire du bon travail, explique Giorgio Patrini, fondateur et PDG de Sensity.
Mais la technologie est devenue plus accessible et moins complexe, avec des résultats terrifiants. La semaine dernière, Sensity a publié un rapport sur un bot AI sur l’application de messagerie cryptée Telegram utilisée pour créer des images nues ou sexuellement explicites de centaines de milliers de femmes sans leur consentement. Contrairement à d’autres logiciels utilisés pour créer des vidéos deepfake, le bot n’a requis que l’utilisation d’une photo pour représenter les femmes nues, ce qui a conduit à cibler de plus en plus les femmes et les filles non célèbres. Il en va de même des influenceurs sur des plateformes comme Instagram et TikTok. « C’est une plate-forme basée sur la vidéo, donc elle fournit en fait plus de matériel [to make deepfakes], dit Patrini. « Ces personnes sont plus exposées que s’ils ne faisaient que télécharger des photos. »
Danielle Citron, professeur de droit à la faculté de droit de l’Université de Boston et vice-présidente de la Cyber Civil Rights Initiative, affirme que l’impact psychologique d’apparaître dans une vidéo deepfake pornographique ne peut pas être surestimé, et certains ont également comparé la pornographie non consensuelle à une forme de viol numérique. « Quand vous voyez une vidéo de sexe deepfake de vous-même, vous avez l’impression viscéralement que c’est votre corps. C’est une appropriation de votre identité sexuelle sans votre permission. Cela ressemble à une terrible violation de l’autonomie et du corps, et cela fait de la place dans votre tête », dit-elle. Selon Patrini, apparaître dans une vidéo porno deepfake peut avoir un impact financier important et délétère sur le modèle commercial d’un créateur, citant l’exemple d’un YouTuber de premier plan qui a perdu un partenariat avec une marque après que quelqu’un a publié une vidéo deepfake d’elle sur un site porno.
Pour empirer les choses, près d’un tiers des utilisateurs de TikTok ont moins de 14 ans, selon les données internes de l’entreprise examinées par le New York Times, rendant cette population encore plus vulnérable à la menace. Comme Pierre roulante signalé précédemment, il n’est pas rare que des créateurs mineurs de TikTok trouvent leurs vidéos publiées dans des vidéos de compilation sur des sites de tubes comme Pornhub. Pierre roulante a parlé avec la mère d’une jeune fille de 17 ans qui a découvert qu’une de ses vidéos TikTok avait été publiée sur Pornhub. « Elle était mortifiée. Elle ne voulait pas retourner à l’école », m’a dit la mère, qui a demandé à garder l’anonymat. «Elle a posté cette vidéo très innocemment. Elle ne voulait pas s’impliquer avec Pornhub. Ce n’est pas une leçon que vous devriez avoir à apprendre à 17 ans. (Elle dit que Pornhub a immédiatement retiré la vidéo à leur demande. Dans un e-mail à Pierre roulante, Pornhub a nié que le contenu de TikTok était fréquemment publié sur sa plate-forme.)
Dans notre enquête pour cette histoire, Pierre roulante trouvé plus de deux douzaines d’exemples d’éminents créateurs de TikTok présentés dans du porno deepfake. La plupart d’entre eux sont initialement publiés sur l’un des rares sites Web consacrés exclusivement à la publication de deepfakes, mais ils ne sont pas non plus difficiles à trouver sur les plateformes de médias sociaux comme Twitter et Reddit, même si les deux plateformes ont des politiques interdisant les deepfakes.
Dans un communiqué, un porte-parole de Twitter a dirigé Pierre roulante à sa politique interdisant les deepfakes, ou toutes « photos ou vidéos intimes de quelqu’un qui ont été produites ou distribuées sans son consentement ». Au moment de la publication, il n’a pas supprimé un tweet contenant une vidéo pornographique deepfake de deux créateurs de TikTok. Reddit, qui a également une politique contre la publication de deepfakes non consensuels, n’a pas immédiatement répondu à la demande de commentaires.
Ils ne sont pas non plus difficiles à trouver sur Pornhub et d’autres sites de tubes, même si Pornhub interdit également les deepfakes. « Tils ont simplement interdit aux gens d’étiqueter les deepfakes. Les gens pouvaient toujours les télécharger et utiliser un nom différent », explique l’ancien chercheur de Sensity, Henry Ajder. Il estime que « vous avez probablement quelque part dans les quelques milliers » de deepfakes sur Pornhub.
L’un des sites Web les plus populaires pour les deepfakes, qui Pierre roulante refuse de nommer, avait un serveur Discord avec plus de 100 membres où les utilisateurs pouvaient demander à leurs célébrités et influenceurs TikTok préférés de faire l’objet d’un deepfake. Bien que ce site Web ne publie que des vidéos mettant en vedette des créateurs de plus de 18 ans, l’une des célébrités les plus demandées sur ce serveur est un créateur populaire de TikTok qui vient d’avoir 17 ans. [name redacted], en passant, elle aura 18 ans dans 4 jours », a récemment déclaré un utilisateur, demandant à un créateur. (L’administrateur a réalisé la vidéo et l’a publiée sur le site Web deux semaines après ses 18 ans.)
Interrogé sur le serveur, Discord a déclaré qu’il avait violé ses politiques concernant la nudité non consensuelle et qu’il l’avait supprimé. « Discord a une approche de tolérance zéro à l’égard de la pornographie non consensuelle sur le service et la société prend des mesures immédiates lorsque nous en prenons connaissance », a déclaré un porte-parole de la société. Un avis sur le site Web de pornographie deepfake, cependant, indique qu’il « travaille sur un serveur alternatif ».
Quant à savoir pourquoi les gens créent de la pornographie deepfake en premier lieu, Citron dit que certains croient à tort qu’il s’agit essentiellement d’un crime sans victime. « Le mal est si loin des gens que cela ressemble à un jeu », dit-elle. « Vous pouvez vous approprier le corps de quelqu’un et vous n’avez pas à lui demander. » Le phénomène de la deepfake pornographie découle d’une « culture de l’impunité », ou de l’idée que les jeunes hommes ont le droit de faire ce qu’ils veulent avec le corps des femmes.
Mais même si certains hommes peuvent se sentir autorisés à faire ce qu’ils veulent avec les images des influenceurs, du fait qu’ils sont des personnalités publiques, en fin de compte faisant l’objet de deepfake porn, Citron dit, « se sent comme un agression sexuelle. »
