I fjor sommer, en pornografisk video fra en fremtredende skaper av TikTok gikk viralt på sosiale medier. Et skjermbilde av videoen på TikTok gikk til Instagram-kontoen @tiktokrom, ledsaget av en kommentar fra skaperen hvis ansikt ble publisert i videoen. "Det er en deepfake, men likevel, foreldrene mine på denne appen, slapp av," sa skaperen. (Rullestein nevner ikke denne skaperen eller noen annen skaper det er referert til i denne historien, med den begrunnelsen at videoene ble lagt ut uten deres samtykke.)
En deepfake er en digitalt manipulert video som bruker kunstig intelligens-teknologi for å bytte ansikt til en person (ofte, men ikke alltid, en kjendis) for en annen persons kropp, vanligvis uten deres samtykke. Mye av medieoppmerksomheten på deepfakes har fokusert på deres potensial for å spre desinformasjon, spesielt i forhold til en politisk kampanje eller valg, som en Nancy Pelosis doktrerte klipp som gikk viral på Facebook i fjor. Likevel er de aller fleste deepfakes - 96%, ifølge forskning fra 2019 fra kunstig intelligensfirma Sensity - pornografiske og brukes til å målrette kvinner.
Tidligere ble deepfake-teknologi primært brukt til å lage naken eller seksuelt eksplisitte bilder av spesielt kvinnelige kjendiser. En del av det er fordi for å lage dype falske modeller trenger du tusenvis av bilder eller flere minutter med videoopptak for å gjøre en god jobb, sier Giorgio Patrini, grunnlegger og administrerende direktør i Sensity.
Men teknologien har blitt mer tilgjengelig og mindre kompleks, med skremmende resultater. Forrige uke, Sensity publiserte en rapport om en AI-bot på kryptert meldingsapp Telegram brukes til å lage nakenbilder eller seksuelt eksplisitte bilder av hundretusenvis av kvinner uten deres samtykke. I motsetning til annen programvare som brukes til å lage dypfalske videoer, krevde boten bare bruk av et bilde for å avbilde nakne kvinner, noe som førte til økende målretting mot kvinner og jenter som ikke er kjendiser. Det samme gjelder for influencere på plattformer som Instagram og TikTok. "Det er en videobasert plattform, så den gir faktisk mer materiale [for å lage deepfakes]," sier Patrini. "Disse menneskene har større risiko enn om de bare lastet opp bilder. »
Danielle Citron, professor i jus ved Boston University Law School og visepresident for Cyber Civil Rights Initiative, sier at den psykologiske effekten av å vises i en pornografisk dypfake-video ikke kan overvurderes, og noen har også sammenlignet pornografi uten samtykke til en form av digital voldtekt. “Når du ser en dypfake sexvideo av deg selv, føles det som om det er kroppen din visceralt. Det er en bevilgning av kjønnsidentiteten din uten din tillatelse. Det høres ut som et forferdelig brudd på autonomi og kroppen, og det gir plass i hodet ditt, sier hun. I følge Patrini kan opptreden i en dypfake pornovideo ha en betydelig og skadelig økonomisk innvirkning på en skapers forretningsmodell, med henvisning til eksemplet på en fremtredende YouTuber som mistet et partnerskap med et merke etter at noen la ut en dypfake-video av henne på et pornoside .
For å gjøre vondt verre, nesten en tredjedel av brukerne av TikTok er under 14 år, ifølge interne selskapsdata gjennomgått av New York Times, gjør denne befolkningen enda mer sårbar for trusselen. Som Rullestein tidligere rapportert, er det ikke uvanlig for mindre skapere av TikTok finn videoene deres lagt ut i samlingsvideoer på rørsider som Pornhub. Rullestein snakket med moren til en 17 år gammel jente som oppdaget at en av videoene hennes TikTok hadde blitt publisert på Pornhub. «Hun ble forferdet. Hun ville ikke gå tilbake til skolen, sa moren, som ba om å være anonym. "Hun la ut denne videoen veldig uskyldig. Hun ønsket ikke å bli involvert i Pornhub. Dette er ikke en leksjon du bør lære når du er 17. (Hun sier at Pornhub umiddelbart fjernet videoen på deres forespørsel. I en e-post til Rullende stein, Pornhub benektet at innholdet i TikTok ble ofte lagt ut på plattformen.)
I vår etterforskning av denne historien, Rullestein funnet mer enn to dusin eksempler på fremtredende skapere av TikTok omtalt i dypfalsk porno. De fleste av dem er i utgangspunktet lagt ut på et av de få nettstedene som utelukkende er viet til å publisere dypforfalskninger, men de er heller ikke vanskelige å finne på sosiale medieplattformer som Twitter og Reddit, selv om begge plattformene har retningslinjer som forbyr dypforfalskninger.
I en uttalelse instruerte en talsmann for Twitter Rullestein til sin policy som forbyr dype falske, eller noen "intime bilder eller videoer av noen som ble produsert eller distribuert uten deres samtykke." På publiseringstidspunktet slettet han ikke en tweet som inneholdt en dypt falsk pornografisk video fra to skapere av TikTok. Reddit, som også har en policy mot å publisere dype forfalskninger uten samtykke, svarte ikke umiddelbart på forespørselen om kommentar.
Det er heller ikke vanskelig å finne dem på Pornhub og andre nettsteder, selv om Pornhub også forbyr deepfakes. "Tde forbød bare folk fra å merke deepfakes. Folk kunne fortsatt laste dem ned og bruke et annet navn, sier tidligere Sensity-forsker Henry Ajder. Han regner med at "du har sannsynligvis et sted i noen få tusen" deepfakes på Pornhub.
En av de mest populære nettstedene for deepfakes, som Rullestein nekter å navngi, hadde en Discord-server med over 100 medlemmer der brukere kunne spørre sine kjendiser og influencere TikTok favoritter til å bli gjenstand for en deepfake. Selv om denne nettsiden bare legger ut videoer med skapere over 18 år, er en av de mest etterspurte kjendisene på denne serveren en populær skaper av TikTok som nettopp fylte 17. [navn endret], forresten, hun blir 18 om 4 dager,» sa en bruker nylig, og spurte en skaper. (Administratoren laget videoen og la den ut på nettstedet to uker etter at hun fylte 18.)
Da han ble spurt om serveren, sa Discord at den brøt retningslinjene for nakenhet uten samtykke og fjernet den. "Uenighet har en nulltoleransetilnærming til ikke-samtykkende pornografi på tjenesten, og selskapet tar umiddelbare tiltak når vi blir klar over det," sa en talsperson for selskapet. En kunngjøring på pornografinsiden deepfake sier imidlertid at den "jobber på en alternativ server."
Når det gjelder hvorfor folk oppretter deepfake porno i utgangspunktet, sier Citron at noen feilaktig mener at det egentlig er offerfri kriminalitet. "Det onde er så langt fra folk at det føles som et spill," sa hun. “Du kan gjøre kroppene til din egen, og du trenger ikke å spørre dem. Fenomenet med dypfake pornografi stammer fra en "kultur av straffrihet", eller ideen om at unge menn har rett til å gjøre hva de vil med kvinnekropper.
Men mens noen menn kan føle seg bemyndiget til å gjøre hva de vil med påvirkernes bilder, som offentlige personer, til slutt gjenstand for dypfake porno, sier Citron, "som et seksuelt overgrep. "
