No Verão passado, um vídeo pornográfico de um proeminente criador de TikTok viralizou nas redes sociais. Uma captura de tela do vídeo em TikTok foi para a conta do Instagram @tiktokroom, acompanhado de comentário do criador cujo rosto foi publicado no vídeo. “É um deepfake, mas ainda assim, meus pais neste aplicativo, relaxem”, disse o criador. (Rolling stone não nomeia este criador ou qualquer outro criador referenciado nesta história, com o fundamento de que os vídeos foram postados sem seu consentimento.)
Um deepfake é um vídeo digitalmente manipulado que usa tecnologia de inteligência artificial para trocar o rosto de uma pessoa (muitas vezes, mas nem sempre, uma celebridade) pelo corpo de outra pessoa, geralmente sem seu consentimento. Grande parte da atenção da mídia aos deepfakes tem se concentrado em seu potencial para espalhar desinformação, especialmente em relação a uma campanha política ou eleição, como uma Clipe adulterado de Nancy Pelosi que se tornou viral no Facebook no ano passado. No entanto, a grande maioria dos deepfakes - 96%, de acordo com uma pesquisa de 2019 da empresa de inteligência artificial Sensity - é pornográfica e usada para atingir mulheres.
No passado, a tecnologia deepfake era usada principalmente para criar imagens nuas ou sexualmente explícitas de celebridades femininas em particular. Parte disso é porque, para criar modelos deepfake, você precisa de milhares de fotos ou vários minutos de vídeo para fazer um bom trabalho, diz Giorgio Patrini, fundador e CEO da Sensity.
Mas a tecnologia se tornou mais acessível e menos complexa, com resultados assustadores. Na semana passada, Sensity publicou um relatório sobre um bot de IA no aplicativo de mensagens criptografadas Telegram usado para criar imagens nuas ou sexualmente explícitas de centenas de milhares de mulheres sem o seu consentimento. Ao contrário de outros softwares usados para criar vídeos deepfake, o bot exigia apenas o uso de uma foto para retratar mulheres nuas, levando a uma segmentação cada vez maior de mulheres e meninas que não eram celebridades. O mesmo vale para influenciadores em plataformas como Instagram e TikTok. “É uma plataforma baseada em vídeo, então na verdade fornece mais material [para fazer deepfakes]”, diz Patrini. “Essas pessoas correm um risco maior do que se estivessem apenas enviando fotos. »
Danielle Citron, professora de direito da Escola de Direito da Universidade de Boston e vice-presidente da Cyber Civil Rights Initiative, diz que o impacto psicológico de aparecer em um vídeo pornográfico falso não pode ser exagerado, e alguns também compararam a pornografia não consensual a uma forma de estupro digital. “Quando você vê um vídeo de sexo falso e profundo de você mesma, parece que é o seu corpo visceralmente. É uma apropriação de sua identidade de gênero sem sua permissão. Parece uma violação terrível da autonomia e do corpo, e abre espaço na sua cabeça ”, diz ela. De acordo com Patrini, aparecer em um vídeo pornô falso pode ter um impacto financeiro significativo e deletério no modelo de negócios de um criador, citando o exemplo de uma YouTuber proeminente que perdeu uma parceria com a marca depois que alguém postou um vídeo falso dela em um site pornô.
Para piorar a situação, quase um terço dos usuários de TikTok tem menos de 14 anos, de acordo com dados internos da empresa revisados pela New York Times tornando esta população ainda mais vulnerável à ameaça. Como Rolling stone relatado anteriormente, não é incomum que pequenos criadores de TikTok encontre seus vídeos postados em vídeos de compilação em sites de tubo como o Pornhub. Rolling stone conversou com a mãe de uma menina de 17 anos que descobriu que um de seus vídeos TikTok foi publicado no Pornhub. “Ela ficou mortificada. Ela não queria voltar para a escola”, disse-me a mãe, que pediu para permanecer anônima. “Ela postou esse vídeo de forma muito inocente. Ela não queria se envolver com o Pornhub. Esta não é uma lição que você deveria aprender aos 17 anos. (Ela diz que o Pornhub removeu imediatamente o vídeo a pedido deles. Em um e-mail para Pedra rolando, O Pornhub negou que o conteúdo de TikTok foi frequentemente postado em sua plataforma.)
Em nossa investigação para esta história, Rolling stone encontrei mais de duas dúzias de exemplos de criadores proeminentes de TikTok apresentado em pornografia deepfake. A maioria deles é inicialmente postada em um dos poucos sites dedicados exclusivamente à publicação de deepfakes, mas também não são difíceis de encontrar em plataformas de mídia social como Twitter e Reddit, embora ambas as plataformas tenham políticas que proíbem deepfakes.
Em um comunicado, um porta-voz do Twitter dirigiu Rolling stone à sua política que proíbe deepfakes ou quaisquer “fotos ou vídeos íntimos de alguém que foram produzidos ou distribuídos sem o seu consentimento”. No momento da publicação, ele não excluiu um tweet contendo um vídeo pornográfico deepfake de dois criadores de TikTok. O Reddit, que também tem uma política contra a publicação de deepfakes não consensuais, não respondeu imediatamente ao pedido de comentários.
Eles também não são difíceis de encontrar no Pornhub e em outros sites de tubo, embora o Pornhub também proíba deepfakes. "Teles apenas proibiram as pessoas de rotular deepfakes. As pessoas ainda podem baixá-los e usar um nome diferente ”, diz Henry Ajder, ex-pesquisador do Sensity. Ele avalia que "você provavelmente tem em algum lugar alguns milhares" de deepfakes no Pornhub.
Um dos sites mais populares de deepfakes, que Rolling stone se recusa a nomear, tinha um servidor Discord com mais de 100 membros onde os usuários podiam perguntar às suas celebridades e influenciadores TikTok favoritos para serem objeto de um deepfake. Embora este site publique apenas vídeos de criadores com mais de 18 anos, uma das celebridades mais solicitadas neste servidor é um popular criador de TikTok que acabou de completar 17 anos. [nome redigido], aliás, ela fará 18 anos em 4 dias”, disse recentemente um usuário, perguntando a um criador. (A administradora fez o vídeo e postou no site duas semanas depois de completar 18 anos.)
Quando questionado sobre o servidor, Discord disse que ele violou suas políticas em relação à nudez não consensual e o removeu. “O Discord tem uma abordagem de tolerância zero para pornografia não consensual no serviço e a empresa toma medidas imediatas quando tomamos conhecimento disso”, disse um porta-voz da empresa. Um aviso no site de pornografia deepfake, entretanto, afirma que ele está "trabalhando em um servidor alternativo".
Quanto ao motivo pelo qual as pessoas criam pornografia profunda em primeiro lugar, Citron diz que alguns acreditam erroneamente que é essencialmente um crime sem vítimas. “O mal está tão longe das pessoas que parece um jogo”, disse ela. “Você pode fazer o corpo de alguém e você não tem que pedir a eles. O fenômeno da pornografia falsa se origina de uma "cultura da impunidade", ou da ideia de que os jovens têm o direito de fazer o que quiserem com os corpos das mulheres.
Mas, embora alguns homens possam se sentir capacitados para fazer o que quiserem com as imagens dos influenciadores, sendo figuras públicas, em última análise, o assunto da pornografia profunda, diz Citron, "como uma agressão sexual. "
