Förra sommaren, en pornografisk video från en framstående skapare av TikTok gick viralt på sociala medier. En skärmdump av videon på TikTok gick till Instagramkontot @tiktokrum, åtföljd av en kommentar från skaparen vars ansikte publicerades i videon. "Det är en deepfake men ändå, mina föräldrar på den här appen, slappna av," sa skaparen. (Rullande sten nämner inte den här skaparen eller någon annan skapare som det hänvisas till i den här berättelsen, med motiveringen att videorna publicerades utan deras samtycke.)
En deepfake är en digitalt manipulerad video som använder artificiell intelligensteknologi för att byta en persons ansikte (ofta, men inte alltid, en kändis) mot en annans kropp, vanligtvis utan deras medgivande. Mycket av medias uppmärksamhet på djupa förfalskningar har fokuserat på deras potential att sprida desinformation, särskilt i förhållande till en politisk kampanj eller ett val, som en Nancy Pelosis doktrerade klipp som gick viral på Facebook förra året. Ändå är den stora majoriteten av djupa förfalskningar - 96%, enligt forskning från 2019 från artificiell intelligensföretag Sensity - pornografiska och används för att rikta sig mot kvinnor.
Tidigare användes deepfake-teknik främst för att skapa nakna eller sexuellt uttryckliga bilder av särskilt kvinnliga kändisar. En del av det beror på att för att skapa djupa falska modeller behöver du tusentals bilder eller flera minuters videofilmer för att göra ett bra jobb, säger Giorgio Patrini, grundare och VD för Sensity.
Men tekniken har blivit mer tillgänglig och mindre komplex, med skrämmande resultat. Förra veckan, Sensity publicerade en rapport om en AI-bot på krypterad meddelandeapp Telegram används för att skapa nakenbilder eller sexuellt explicita bilder av hundratusentals kvinnor utan deras medgivande. Till skillnad från annan programvara som används för att skapa djupfalska videor, krävde boten bara användningen av ett foto för att avbilda nakna kvinnor, vilket ledde till den ökande inriktningen på kvinnor och flickor som inte är kändisar. Detsamma gäller influencers på plattformar som Instagram och TikTok. "Det är en videobaserad plattform, så den ger faktiskt mer material [för att göra deepfakes]", säger Patrini. "Dessa människor löper större risk än om de bara laddade upp bilder. »
Danielle Citron, professor i juridik vid Boston University Law School och vice ordförande för Cyber Civil Rights Initiative, säger att den psykologiska effekten av att visas i en pornografisk djupfake-video inte kan överdrivas, och vissa har också jämfört pornografi utan samtycke till en form av digital våldtäkt. ”När du ser en djupt falsk sexvideo av dig själv känns det som att det är din kropp visuellt. Det är en tilldelning av din könsidentitet utan ditt tillstånd. Det låter som en fruktansvärd kränkning av autonomin och kroppen, och det gör plats i ditt huvud, säger hon. Enligt Patrini kan uppträdande i en djupt falsk porrfilm ha en betydande och skadlig ekonomisk inverkan på en skapares affärsmodell, med hänvisning till exemplet på en framstående YouTuber som förlorade ett partnerskap med ett varumärke efter att någon publicerade en djupfake-video av henne på en porrsida .
För att göra saken värre, nästan en tredjedel av användarna av TikTok är under 14 år, enligt interna företagdata granskade av New York Times, gör denna befolkning ännu mer utsatt för hotet. Som Rullande sten tidigare rapporterat är det inte ovanligt att mindre skapare av TikTok hitta deras videor publicerade i sammanställningsvideor på rörsajter som Pornhub. Rullande sten pratade med mamman till en 17-årig flicka som upptäckte att en av hennes videor TikTok hade publicerats på Pornhub. "Hon var upprörd. Hon ville inte gå tillbaka till skolan”, berättade mamman, som bad att få vara anonym. "Hon lade upp den här videon väldigt oskyldigt. Hon ville inte engagera sig i Pornhub. Det här är inte en läxa du borde behöva lära dig vid 17. (Hon säger att Pornhub omedelbart tog bort videon på deras begäran. I ett e-postmeddelande till Rullande sten, Pornhub förnekade att innehållet i TikTok publicerades ofta på dess plattform.)
I vår undersökning av den här berättelsen, Rullande sten hittade mer än två dussin exempel på framstående skapare av TikTok med i deepfake porr. De flesta av dem publiceras initialt på en av de få webbplatser som uteslutande ägnar sig åt att publicera deepfakes, men de är inte heller svåra att hitta på sociala medieplattformar som Twitter och Reddit, även om båda plattformarna har policyer som förbjuder deepfakes.
I ett uttalande riktade en Twitter-talesman Rullande sten till sin policy som förbjuder djupförfalskningar, eller några "intima foton eller videor av någon som producerats eller distribuerats utan deras medgivande." Vid tidpunkten för publiceringen raderade han inte en tweet som innehöll en djupt falsk pornografisk video från två skapare av TikTok. Reddit, som också har en policy mot att publicera djupförfalskningar utan samtycke, svarade inte omedelbart på begäran om kommentar.
De är inte heller svåra att hitta på Pornhub och andra rörsidor, även om Pornhub också förbjuder deepfakes. "Tde förbjöd bara människor från att märka djupa förfalskningar. Människor kunde fortfarande ladda ner dem och använda ett annat namn, säger före detta Sensity-forskare Henry Ajder. Han räknar med att "du har förmodligen någonstans i några tusen" djupa förfalskningar på Pornhub.
En av de mest populära webbplatserna för deepfakes, vilken Rullande sten vägrar att namnge, hade en Discord-server med över 100 medlemmar där användare kunde fråga sina kändisar och influencers TikTok favoriter att bli föremål för en deepfake. Även om den här webbplatsen bara publicerar videor med innehållsskapare över 18 år, är en av de mest efterfrågade kändisarna på den här servern en populär skapare av TikTok som precis fyllt 17. [namn redigerat], förresten, hon kommer att fylla 18 om 4 dagar”, sa en användare nyligen och frågade en kreatör. (Administratören gjorde videon och lade upp den på hemsidan två veckor efter att hon fyllt 18.)
På frågan om servern sa Discord att den bryter mot sin policy om nakenhet utan samtycke och har tagit bort den. "Discord har ett nolltoleranssätt när det gäller icke-samtyckt pornografi på tjänsten och företaget vidtar omedelbara åtgärder när vi blir medvetna om det", säger en företag talesman. Ett meddelande på pornografins webbplats djupfake säger dock att det "arbetar på en alternativ server."
Om varför människor skapar djupt falsk porr i första hand, säger Citron att vissa felaktigt tror att det i huvudsak är offerlöst brott. ”Det onda är så långt borta från människor att det känns som ett spel,” sa hon. ”Du kan göra någons kropp till din egen och du behöver inte fråga dem. Fenomenet djupt falsk pornografi härrör från en "kultur av straffrihet", eller tanken att unga män har rätt att göra vad de vill med kvinnors kroppar.
Men medan vissa män kanske känner sig bemyndigade att göra vad de vill med påverkarnas bilder, eftersom de är offentliga personer, i slutändan föremål för djupt falsk porr, säger Citron, "som ett sexuellt övergrepp. "
