Afgelopen zomer verscheen er een pornografische video van een prominente maker van TikTok ging viraal op sociale media. Een screenshot van de video op TikTok ging naar het Instagram-account @tiktokkamer, vergezeld van een opmerking van de maker wiens gezicht in de video werd gepubliceerd. “Het is een deepfake, maar toch, mijn ouders op deze app, relax”, zei de maker. (Rollende steen noemt deze maker of een andere maker waarnaar in dit verhaal wordt verwezen niet, omdat de video's zonder hun toestemming zijn geplaatst.)
Een deepfake is een digitaal gemanipuleerde video die kunstmatige intelligentietechnologie gebruikt om het gezicht van een persoon (vaak, maar niet altijd, een beroemdheid) te ruilen voor het lichaam van een andere persoon, meestal zonder hun toestemming. Een groot deel van de media-aandacht voor deepfakes is gericht op hun potentieel om desinformatie te verspreiden, met name met betrekking tot een politieke campagne of verkiezing, als een Nancy Pelosi's gemanipuleerde clip die vorig jaar viraal ging op Facebook. Toch is de overgrote meerderheid van deepfakes - 96%, volgens onderzoek uit 2019 van het kunstmatige-intelligentiebedrijf Sensity - pornografisch en worden ze gebruikt om zich op vrouwen te richten.
In het verleden werd deepfake-technologie vooral gebruikt om naakt of seksueel expliciete beelden van met name vrouwelijke beroemdheden te creëren. Dat komt deels doordat je voor het maken van deepfake-modellen duizenden foto's of enkele minuten aan videobeelden nodig hebt om goed werk te leveren, zegt Giorgio Patrini, oprichter en CEO van Sensity.
Maar de technologie is toegankelijker en minder complex geworden, met angstaanjagende resultaten. Vorige week, Sensity publiceerde een rapport over een AI-bot op versleutelde berichten-app Telegram gebruikt om zonder hun toestemming naakte of seksueel expliciete afbeeldingen te maken van honderdduizenden vrouwen. In tegenstelling tot andere software die wordt gebruikt om deepfake-video's te maken, had de bot alleen het gebruik van een foto nodig om naakte vrouwen af te beelden, wat leidde tot een toenemende targeting van niet-beroemde vrouwen en meisjes. Hetzelfde geldt voor influencers op platforms als Instagram en TikTok. “Het is een op video gebaseerd platform, dus het biedt feitelijk meer materiaal [om deepfakes te maken]”, zegt Patrini. “Deze mensen zijn meer blootgesteld dan wanneer ze alleen maar foto’s zouden uploaden. »
Danielle Citron, professor in de rechten aan de Boston University Law School en vice-president van het Cyber Civil Rights Initiative, zegt dat de psychologische impact van het verschijnen in een pornografische deepfake-video niet kan worden overschat, en sommigen hebben ook niet-consensuele pornografie vergeleken met een vorm van digitale verkrachting. “Als je een deepfake-seksvideo van jezelf ziet, voelt het alsof het je lichaam is. Het is een toe-eigening van uw genderidentiteit zonder uw toestemming. Het klinkt als een vreselijke schending van de autonomie en het lichaam, en het maakt ruimte in je hoofd”, zegt ze. Volgens Patrini kan het verschijnen in een deepfake-pornovideo een aanzienlijke en schadelijke financiële impact hebben op het bedrijfsmodel van een maker, daarbij verwijzend naar het voorbeeld van een prominente YouTuber die een partnerschap met een merk verloor nadat iemand een deepfake-video van haar op een pornosite had geplaatst .
Tot overmaat van ramp, bijna een derde van de gebruikers van TikTok jonger zijn dan 14 jaar, volgens interne bedrijfsgegevens beoordeeld door de New York Times waardoor deze populatie nog kwetsbaarder wordt voor de dreiging. Net zo Rollende steen eerder gemeld, is het niet ongewoon voor kleine makers van TikTok vind hun video's gepost in compilatievideo's op buizensites zoals Pornhub. Rollende steen sprak met de moeder van een 17-jarig meisje die ontdekte dat dit een van haar video's was TikTok was gepubliceerd op Pornhub. “Ze was doodsbang. Ze wilde niet terug naar school”, vertelde de moeder, die anoniem wilde blijven, tegen mij. “Ze plaatste deze video heel onschuldig. Ze wilde niet betrokken raken bij Pornhub. Dit is geen les die je op je zeventiende moet leren. (Ze zegt dat Pornhub de video op hun verzoek onmiddellijk heeft verwijderd. In een e-mail aan Rollende steen, Pornhub ontkende dat de inhoud van TikTok werd regelmatig op zijn platform geplaatst.)
In ons onderzoek voor dit verhaal, Rollende steen vond meer dan twintig voorbeelden van prominente makers van TikTok te zien in deepfake-porno. De meeste ervan worden in eerste instantie geplaatst op een van de weinige websites die uitsluitend gewijd zijn aan het publiceren van deepfakes, maar ze zijn ook niet moeilijk te vinden op sociale mediaplatforms zoals Twitter en Reddit, hoewel beide platforms een beleid hebben dat deepfakes verbiedt.
In een verklaring regisseerde een Twitter-woordvoerder: Rollende steen aan zijn beleid dat deepfakes verbiedt, of “intieme foto’s of video’s van iemand die zonder diens toestemming zijn geproduceerd of gedistribueerd.” Op het moment van publicatie verwijderde hij geen tweet met een deepfake-pornografische video van twee makers van TikTok. Reddit, dat ook een beleid voert tegen het plaatsen van deepfakes zonder wederzijds goedvinden, reageerde niet onmiddellijk op verzoeken om commentaar.
Ze zijn ook niet moeilijk te vinden op Pornhub en andere buizensites, hoewel Pornhub ook deepfakes verbiedt. "Tze hebben mensen gewoon verboden om deepfakes te labelen. Mensen konden ze toch downloaden en een andere naam gebruiken”, zegt voormalig Sensity-onderzoeker Henry Ajder. Hij denkt dat "je waarschijnlijk ergens in de paar duizend" deepfakes op Pornhub hebt.
Een van de meest populaire websites voor deepfakes, die Rollende steen weigert een naam te geven, had een Discord-server met meer dan 100 leden waar gebruikers hun beroemdheden en influencers konden vragen TikTok favorieten om het onderwerp te zijn van een deepfake. Hoewel deze website alleen video's plaatst met makers ouder dan 18 jaar, is een van de meest gevraagde beroemdheden op deze server een populaire maker van TikTok die net 17 is geworden. [naam geredigeerd], trouwens, ze wordt over vier dagen 18”, zei een gebruiker onlangs tegen een maker. (De beheerder maakte de video en plaatste deze twee weken nadat ze 4 werd op de website.)
Toen hem werd gevraagd naar de server, zei Discord dat het zijn beleid met betrekking tot niet-consensuele naaktheid schond en het verwijderde. "Discord hanteert een nultolerantiebenadering voor niet-consensuele pornografie op de dienst en het bedrijf onderneemt onmiddellijk actie wanneer we ons ervan bewust worden", aldus een woordvoerder van het bedrijf. Een bericht op de pornografische website deepfake stelt echter dat het "werkt op een alternatieve server".
Over de reden waarom mensen in de eerste plaats deepfake-porno maken, zegt Citron dat sommigen ten onrechte denken dat het in wezen slachtofferloze misdaad is. "Het kwaad is zo ver verwijderd van mensen dat het aanvoelt als een spel", zei ze. “Je kunt iemands lichaam je eigen maken en je hoeft het ze niet te vragen. Het fenomeen deepfake-pornografie komt voort uit een "cultuur van straffeloosheid", oftewel het idee dat jonge mannen het recht hebben om te doen wat ze willen met het vrouwenlichaam.
Maar hoewel sommige mannen zich bevoegd voelen om te doen wat ze willen met de beelden van de influencers, omdat ze publieke figuren zijn, uiteindelijk het onderwerp van deepfake-porno, zegt Citron, "zoals een aanranding. "
