Sidste sommer, en pornografisk video fra en fremtrædende skaber af TikTok gik viralt på sociale medier. Et skærmbillede af videoen på TikTok gik til Instagram-kontoen @tiktokværelse, ledsaget af en kommentar fra skaberen, hvis ansigt blev offentliggjort i videoen. "Det er en deepfake, men stadig, mine forældre på denne app, slap af," sagde skaberen. (Rullende sten navngiver ikke denne skaber eller nogen anden skaber, der henvises til i denne historie, med den begrundelse at videoerne blev offentliggjort uden deres samtykke.)

En dyb forfalskning er en digitalt manipuleret video, der bruger kunstig intelligens teknologi til at bytte en persons ansigt (ofte, men ikke altid, en berømthed) for en anden persons krop, normalt uden deres samtykke. Meget af mediernes opmærksomhed på dybe forfalskninger har fokuseret på deres potentiale for at sprede desinformation, især i forhold til en politisk kampagne eller valg, som en Nancy Pelosis doktorklip som gik viral på Facebook sidste år. Alligevel er langt størstedelen af ​​deepfakes - 96%, ifølge forskning fra 2019 fra kunstig intelligensfirma Sensity - pornografiske og bruges til at målrette kvinder.

Tidligere blev deepfake-teknologi primært brugt til at skabe nøgne eller seksuelt eksplicitte billeder af især kvindelige berømtheder. En del af det er fordi for at skabe dybe falske modeller har du brug for tusindvis af fotos eller flere minutters videofilm for at gøre et godt stykke arbejde, siger Giorgio Patrini, grundlægger og administrerende direktør for Sensity.

Men teknologien er blevet mere tilgængelig og mindre kompleks med skræmmende resultater. Sidste uge, Sensity offentliggjorde en rapport om en AI-bot på krypteret beskedapp Telegram bruges til at skabe nøgen eller seksuelt eksplicitte billeder af hundredtusindvis af kvinder uden deres samtykke. I modsætning til anden software, der blev brugt til at lave deepfake-videoer, krævede botten kun brugen af ​​et foto til at afbilde nøgne kvinder, hvilket førte til den stigende målretning af kvinder og piger, der ikke er kendte. Det samme gælder for influencers på platforme som Instagram og TikTok. "Det er en videobaseret platform, så det giver faktisk mere materiale [til at lave deepfakes]," siger Patrini. "Disse mennesker er i større risiko, end hvis de bare uploadede billeder. »

Danielle Citron, professor i lov ved Boston University Law School og vicepræsident for Cyber ​​Civil Rights Initiative, siger, at den psykologiske virkning af at optræde i en pornografisk dybfalske video ikke kan overvurderes, og nogle har også sammenlignet pornografi uden konsens med en form af digital voldtægt. ”Når du ser en dyb falsk sexvideo af dig selv, føles det som om det er din krop visceralt. Det er en bevilling af din kønsidentitet uden din tilladelse. Det lyder som en frygtelig krænkelse af autonomi og kroppen, og det giver plads i dit hoved, ”siger hun. Ifølge Patrini kan optræden i en dyb forfalsket pornovideo have en betydelig og skadelig økonomisk indvirkning på en skabers forretningsmodel med henvisning til eksemplet med en fremtrædende YouTuber, der mistede et partnerskab med et brand, efter at nogen sendte en dyb falsk video af hende på en pornoside .

For at gøre tingene værre, næsten en tredjedel af brugerne af TikTok er under 14 årifølge interne virksomhedsdata gennemgået af New York Times, gør denne befolkning endnu mere sårbar over for truslen. Som Rullende sten tidligere rapporteret, er det ikke ualmindeligt for mindre skabere af TikTok finde deres videoer udgivet i kompileringsvideoer på rørsider som Pornhub. Rullende sten talte med mor til en 17-årig pige, der opdagede, at en af ​​hendes videoer TikTok var blevet offentliggjort på Pornhub. "Hun var forfærdet. Hun ville ikke tilbage til skolen,” fortalte moderen, der bad om at være anonym. "Hun postede denne video meget uskyldigt. Hun ønskede ikke at blive involveret i Pornhub. Dette er ikke en lektie, du skal lære, når du er 17. (Hun siger, at Pornhub straks fjernede videoen på deres anmodning. I en e-mail til Rullende sten, Pornhub benægtede, at indholdet af TikTok blev ofte offentliggjort på sin platform.)

I vores undersøgelse af denne historie, Rullende sten fundet mere end to dusin eksempler på fremtrædende skabere af TikTok med i deepfake porno. De fleste af dem er oprindeligt udgivet på et af de få websteder, der udelukkende er dedikeret til at publicere deepfakes, men de er heller ikke svære at finde på sociale medieplatforme som Twitter og Reddit, selvom begge platforme har politikker, der forbyder deepfakes.

I en erklæring instruerede en talsmand for Twitter Rullende sten til sin politik, der forbyder deepfakes eller "intime billeder eller videoer af nogen, der er produceret eller distribueret uden deres samtykke." På tidspunktet for offentliggørelsen slettede han ikke et tweet, der indeholdt en dybt falsk pornografisk video fra to skabere af TikTok. Reddit, som også har en politik mod at sende deepfakes uden samtykke, reagerede ikke umiddelbart på anmodningen om kommentar.

De er heller ikke svære at finde på Pornhub og andre tube-steder, selvom Pornhub også forbyder deepfakes. "Tde forbød bare folk fra at mærke dybe forfalskninger. Folk kunne stadig downloade dem og bruge et andet navn, ”siger den tidligere Sensity-forsker Henry Ajder. Han regner med, at "du sandsynligvis har et sted i de få tusinde" dybe forfalskninger på Pornhub.

Et af de mest populære websteder for deepfakes, som Rullende sten nægter at nævne, havde en Discord-server med over 100 medlemmer, hvor brugerne kunne spørge deres berømtheder og influencers TikTok favoritter til at være genstand for en deepfake. Selvom denne hjemmeside kun poster videoer med skabere over 18 år, er en af ​​de mest efterspurgte berømtheder på denne server en populær skaber af TikTok som lige er fyldt 17. [navn redigeret], forresten, hun bliver 18 om 4 dage,” sagde en bruger for nylig og spurgte en skaber. (Administratoren lavede videoen og lagde den på hjemmesiden to uger efter hun fyldte 18.)

Da han blev spurgt om serveren, sagde Discord, at den overtrådte dens politikker vedrørende nøgenhed uden samtykke og fjernede den. "Discord har en nultolerance tilgang til ikke-samstemmende pornografi på tjenesten, og virksomheden tager øjeblikkelig handling, når vi bliver opmærksomme på det," sagde en talsmand for virksomheden. En meddelelse på pornografi-webstedet deepfake siger imidlertid, at den "arbejder på en alternativ server."

Med hensyn til hvorfor folk opretter deepfake-porno i første omgang, siger Citron, at nogle fejlagtigt mener, at det i det væsentlige er offerfri kriminalitet. ”Det onde er så langt fra folk, at det føles som et spil,” sagde hun. ”Du kan gøre nogens krop til din egen, og du behøver ikke spørge dem. Fænomenet med dyb falsk pornografi stammer fra en "kultur af straffrihed" eller tanken om, at unge mænd har ret til at gøre hvad de vil med kvindernes kroppe.

Men mens nogle mænd måske føler sig bemyndiget til at gøre hvad de vil med påvirkernes billeder, idet de er offentlige personer, i sidste ende emnet for dybfalske porno, siger Citron, "som et seksuelt overgreb. "