L'estate scorsa, un video pornografico di un importante creatore di TikTok è diventato virale sui social media. Uno screenshot del video su TikTok è andato all'account Instagram @tiktokroom, accompagnato da un commento del creatore il cui volto è stato pubblicato nel video. "È un deepfake, ma i miei genitori su questa app si rilassano", ha detto il creatore. (Rolling Stone non nomina questo creatore o qualsiasi altro creatore a cui si fa riferimento in questa storia, sulla base del fatto che i video sono stati pubblicati senza il loro consenso.)
Un deepfake è un video manipolato digitalmente che utilizza la tecnologia dell'intelligenza artificiale per scambiare il volto di una persona (spesso, ma non sempre, una celebrità) con il corpo di un'altra persona, di solito senza il suo consenso. Gran parte dell'attenzione dei media ai deepfake si è concentrata sul loro potenziale di diffusione della disinformazione, in particolare in relazione a una campagna politica o elettorale, come uno La clip ritoccata di Nancy Pelosi che è diventato virale su Facebook l'anno scorso. Eppure la stragrande maggioranza dei deepfake - il 96%, secondo una ricerca del 2019 della società di intelligenza artificiale Sensity - è pornografica e utilizzata per colpire le donne.
In passato, la tecnologia deepfake veniva utilizzata principalmente per creare immagini di nudo o sessualmente esplicite di celebrità femminili in particolare. Parte di ciò è dovuto al fatto che per creare modelli deepfake sono necessarie migliaia di foto o diversi minuti di riprese video per fare un buon lavoro, afferma Giorgio Patrini, fondatore e CEO di Sensity.
Ma la tecnologia è diventata più accessibile e meno complessa, con risultati terrificanti. La scorsa settimana, Sensity pubblicato un rapporto su un bot di intelligenza artificiale sull'app di messaggistica crittografata Telegram utilizzato per creare immagini nude o sessualmente esplicite di centinaia di migliaia di donne senza il loro consenso. A differenza di altri software utilizzati per creare video deepfake, il bot richiedeva solo l'uso di una foto per rappresentare donne nude, portando a un crescente targeting di donne e ragazze non celebrità. Lo stesso vale per gli influencer su piattaforme come Instagram e TikTok. "È una piattaforma basata su video, quindi in realtà fornisce più materiale [per realizzare deepfake]", afferma Patrini. “Queste persone corrono rischi maggiori che se si limitassero a caricare foto. »
Danielle Citron, professore di diritto presso la Boston University Law School e vicepresidente della Cyber Civil Rights Initiative, afferma che l'impatto psicologico dell'apparire in un video deepfake pornografico non può essere sopravvalutato, e alcuni hanno anche paragonato la pornografia non consensuale a una forma di stupro digitale. “Quando vedi un video di sesso deepfake di te stesso, sembra che sia il tuo corpo visceralmente. È un'appropriazione della tua identità di genere senza il tuo permesso. Sembra una terribile violazione dell'autonomia e del corpo, e ti fa spazio nella testa ", dice. Secondo Patrini, apparire in un video porno deepfake può avere un impatto finanziario significativo e deleterio sul modello di business di un creatore, citando l'esempio di un importante YouTuber che ha perso una partnership con un marchio dopo che qualcuno ha pubblicato un suo video deepfake su un sito porno .
A peggiorare le cose, quasi un terzo degli utenti di TikTok hanno meno di 14 anni, secondo i dati aziendali interni esaminati dal New York Times, rendendo questa popolazione ancora più vulnerabile alla minaccia. Come Rolling Stone precedentemente segnalato, non è raro che i creatori minori di TikTok trova i loro video pubblicati in video compilation su siti di tubi come Pornhub. Rolling Stone ho parlato con la madre di una ragazza di 17 anni che ha scoperto quello uno dei suoi video TikTok era stato pubblicato su Pornhub. “Era mortificata. Non voleva tornare a scuola”, mi ha detto la madre, che ha chiesto di rimanere anonima. “Ha pubblicato questo video in modo molto innocente. Non voleva essere coinvolta con Pornhub. Questa non è una lezione che dovresti imparare a 17 anni. (Dice che Pornhub ha immediatamente rimosso il video su loro richiesta. In un'e-mail a pietra rotolante, Pornhub ha negato che il contenuto di TikTok è stato spesso pubblicato sulla sua piattaforma.)
Nella nostra indagine per questa storia, Rolling Stone trovato più di due dozzine di esempi di importanti creatori di TikTok presente nel porno deepfake. La maggior parte di essi vengono inizialmente pubblicati su uno dei pochi siti Web dedicati esclusivamente alla pubblicazione di deepfake, ma non sono difficili da trovare anche su piattaforme di social media come Twitter e Reddit, sebbene entrambe le piattaforme abbiano politiche che vietano i deepfake.
In una dichiarazione, un portavoce di Twitter ha diretto Rolling Stone alla sua politica che vieta i deepfake o qualsiasi “foto o video intimo di qualcuno che sia stato prodotto o distribuito senza il suo consenso”. Al momento della pubblicazione, non ha cancellato un tweet contenente un video pornografico deepfake di due creatori di TikTok. Reddit, che ha anche una politica contro la pubblicazione di deepfake non consensuali, non ha risposto immediatamente alla richiesta di commento.
Inoltre, non sono difficili da trovare su Pornhub e su altri siti di tubi, sebbene Pornhub vieti anche i deepfake. "Thanno appena vietato alle persone di etichettare i deepfake. Le persone potrebbero ancora scaricarli e usare un nome diverso ", afferma l'ex ricercatore di Sensity Henry Ajder. Ritiene che "probabilmente hai da qualche parte nelle poche migliaia" di deepfake su Pornhub.
Uno dei siti Web più popolari per i deepfake, che Rolling Stone rifiuta di fare il nome, aveva un server Discord con oltre 100 membri dove gli utenti potevano chiedere alle loro celebrità e influencer TikTok preferiti siano oggetto di un deepfake. Sebbene questo sito Web pubblichi solo video con creatori di età superiore ai 18 anni, una delle celebrità più richieste su questo server è un famoso creatore di TikTok che ha appena compiuto 17 anni. [nome oscurato], a proposito, compirà 18 anni tra 4 giorni", ha recentemente affermato un utente, chiedendo a un creatore. (L'amministratore ha realizzato il video e lo ha pubblicato sul sito web due settimane dopo aver compiuto 18 anni.)
Alla domanda sul server, Discord ha affermato che ha violato le sue politiche in materia di nudità non consensuale e l'ha rimosso. "Discord ha un approccio di tolleranza zero alla pornografia non consensuale sul servizio e l'azienda interviene immediatamente quando ne veniamo a conoscenza", ha affermato un portavoce dell'azienda. Un avviso sul sito di pornografia deepfake, tuttavia, afferma che "funziona su un server alternativo".
Sul motivo per cui le persone creano porno deepfake in primo luogo, Citron dice che alcuni credono erroneamente che sia essenzialmente un crimine senza vittime. "Il male è così lontano dalle persone che sembra un gioco", ha detto. “Puoi rendere tuo il corpo di qualcuno e non devi chiederglielo. Il fenomeno della pornografia deepfake nasce da una "cultura dell'impunità", ovvero dall'idea che i giovani abbiano il diritto di fare ciò che vogliono con il corpo delle donne.
Ma mentre alcuni uomini possono sentirsi autorizzati a fare quello che vogliono con le immagini degli influencer, essendo personaggi pubblici, in definitiva oggetto di deepfake porn, dice Citron, "come un'aggressione sessuale. "
