Forskere har oppdaget et "deepfake økosystem" på meldingsappen Telegram sentrert rundt roboter som genererer falske nakenbilder på forespørsel. Brukere som samhandler med disse robotene sier at de primært lager nakenbilder av kvinner de kjenner ved å bruke bilder tatt fra sosiale medier, som de deretter deler og utveksler med hverandre på ulike kanaler Telegram.
-
-
- https://t.me/+NJ9dOO7okbMwZDQ0
- https://t.me/+D248nBps-zo2OTM8
- https://t.me/+9-HaKwj0_7I0Yzdk
- https://t.me/+ji5dVB_gocE5Zjhk
- https://t.me/+V6FoegpBESU2NDRk
- https://t.me/+UXVp9ifkA-ljMTY0
- https://t.me/+_O4b8Uc5cXowNTc8
- https://t.me/+V6FoegpBESU2NDRk
- https://t.me/+RRfnUf7uzJE1Yjhk
- https://t.me/+GI1Ne7GyVBo2ZmI0
- https://t.me/+c6qdQxeqVAczYWZk
- https://t.me/+E7vor0Hx8BE2NmM0
- https://t.me/+b2wiBTfae9Q3YTk8
-
Etterforskningen kommer fra sikkerhetsfirmaet Sensity, som fokuserer på det de kaller «visuell trusselintelligens», spesielt spredningen av dype forfalskninger. Sensity-forskere fant at mer enn 100 000 bilder ble generert og delt på offentlige kanaler Telegram frem til juli 2020 (som betyr at det totale antallet bilder som er generert, inkludert de som aldri er delt og de som er laget siden juli, er mye høyere). De fleste brukerne av disse kanalene, rundt 70 prosent, kommer fra Russland og nabolandene, sier Sensity. Kanten klarte å bekrefte at mange kanaler som selskapet har studert fremdeles er aktive.
Robotene er gratis å bruke, men de genererer falske nakenbilder med vannmerker eller bare delvis nakenhet. Brukere kan deretter betale et gebyr tilsvarende noen få cent for å "oppdage" bildene fullt ut. En "nybegynnerpris" belaster brukere 100 rubler (omtrent $1,28) for å generere 100 falske nakenbilder uten vannmerke over en syv-dagers periode. Sensity sier at "et begrenset antall" av bildene generert av robotene viser mål "som så ut til å være mindre."
Begge to Kanten og Sensity kontaktet Telegram for å spørre hvorfor de tillater dette innholdet i appen sin, men har ikke fått noen svar ennå. Sensity sier de også har kontaktet rettshåndhevende myndigheter.
Programvaren som brukes til å generere disse bildene er kjent som DeepNude. Den dukket først opp på nettet i juni i fjor, men dens skaper stengte nettsiden hans innen timer etter å ha mottatt mainstream mediedekning, og sa "sannsynligheten for at folk misbruker den er for høy". Imidlertid fortsatte programvaren å spre seg over bakkanaler, og Sensity sier at DeepNude "siden har blitt omvendt utviklet og kan finnes i forbedrede former på åpen kildekode-repositorier og torrent-nettsteder." Den brukes nå til å drive roboter Telegram, som automatisk håndterer betalinger for å generere inntekter til skaperne deres.
DeepNude bruker en AI-teknikk kjent som generative adversarial networks, eller GAN-er, for å generere falske nakenbilder, med de resulterende bildene av varierende kvalitet. De fleste er åpenbart falske, med utsmurt eller pikselert kjøtt, men noen kan lett forveksles med ekte bilder.
Siden før bruken av Photoshop har folk laget falske nakenbilder av kvinner uten samtykke. Det er for tiden mange fora og nettsteder dedikert til denne aktiviteten som bruker ikke-AI-verktøy, med brukere som deler nakenbilder av kjendiser og folk de kjenner. Men deepfakes har ført til raskere generering av mer realistiske bilder. Nå automatiserer denne prosessen via roboter Telegram gjør det like enkelt å generere falske nakenbilder som å sende og motta bilder.
"Hovedforskjellen er tilgjengeligheten til denne teknologien," sa Giorgio Patrini, administrerende direktør i Sensity og medforfatter av rapporten. Kanten. "Det er viktig å merke seg at andre versjoner av denne botens kjerne-AI, bildebehandling og syntese, er tilgjengelig gratis på nettbaserte kodelager. Men du må være programmerer og ha en viss forståelse av datasyn for å få dem til å fungere, annet enn kraftig maskinvare. For øyeblikket spiller alt dette ingen rolle fordi det blir tatt hånd om av boten integrert i en meldingsapplikasjon.
Sensity-rapporten sier at det er "rimelig å anta" at de fleste som bruker disse roboter "først og fremst er interessert i å konsumere dypfake pornografi" (som gjenstår en populær kategori på pornografiske nettsteder). Men disse bildene og videoene kan også brukes til utpressing, utpressing, trakassering osv. Det har vært en rekke dokumentert cas kvinner målrettet ved hjelp av AI-genererte nakenbilder, og det er mulig at noen av dem som lager nakenbilder ved hjelp av robotene Telegram gjør det med disse grunnene i tankene.
Sa Patrini Kanten at Sensity-forskere ikke hadde sett direkte bevis på at botens kreasjoner ble brukt til disse formålene, men sa at selskapet trodde det skjedde. Han la til at selv om den politiske trusselen om deepfakes hadde blitt "feilberegnet" ("fra gjerningsmennenes synspunkt er det enklere og billigere å photoshoppe bilder og oppnå en lignende effekt for å spre feilinformasjon, med mindre innsats"), er det klart at teknologi utgjør «en seriell trussel mot personlig omdømme og sikkerhet».
