Nudify-appar har fått stor uppmärksamhet i Spanien och USA, där flera barn har utsatts för spridning av AI-genererade bilder vid ett enda tillfälle. Enligt Aftonbladet beskrev Jonas Karlsson, utredare på Ecpat, apparna som verktyg där du kan lägga in vilken bild som helst och göra den till antingen en nakenbild eller en pornografisk bild. Han noterade också att dessa appar sällan har skydd för att förhindra användning på barn.
Apparna påstår sig vara för vuxna men använder fraser som 'se din crush naken', vilket riktar sig till en ung publik, enligt Aftonbladet. Ecpat har publicerat en ny rapport som undersöker vad barn i Sverige vet om apparna och om de har utsatts. En mycket liten andel barn vet att de har utsatts, visar rapporten.
Effekten för den som blir utsatt är skam, att man känner sig angripen och oro för framtiden.
En stor majoritet av barnen som Ecpat tillfrågat anser att apparna borde förbjudas. Fler barn än tidigare uppger att de är villiga att vända sig till vuxna om de utsätts online, enligt Jonas Karlsson. Ecpat får fler samtal om denna fråga till sin hjälplinje, nu ett par kontakter per vecka, och samtalen ökar snabbt, sade Karlsson.
Vuxna har ett ansvar att informera barn om vad som är lagligt och inte, och barn som sprider AI-genererade nakenbilder kan åtalas för barnpornografibrott, tillade han. Meta har förbjudit apparna att annonsera på sina plattformar. På Telegram sker annonsering för dessa appar öppet.
Nudify-appar är appar eller verktyg där du kan stoppa in vilken bild som helst och göra den till antingen en nakenbild eller en pornografisk bild.
Arbete med att förbjuda apparna pågår inom EU, enligt Jonas Karlsson. När AI-genererat övergreppsmaterial når en nivå av realism likställs det med annat övergreppsmaterial enligt lagstiftningen och är olagligt att producera, inneha, dela, etc. AI-genererat material med sexuella övergrepp mot barn har blivit allt mer fotorealistiskt under de senaste två åren, enligt Ecpats hotline-analytiker.
AI-verktyg kan användas för att manipulera befintliga bilder eller skapa helt nya för att producera material med sexuella övergrepp mot barn. Ecpats hotline-analytiker har observerat en snabb utveckling av fotorealismen i AI-genererat övergreppsmaterial sedan slutet av 2022. Vissa AI-genererade bilder är nu svåra att skilja från fotograferat övergreppsmaterial.
De här apparna har sällan skydd för att de inte ska användas på barn.
AI kan generera fotorealistiska bilder av helt virtuella barn som inte existerar i verkligheten. AI-genererat övergreppsmaterial rapporteras till Ecpat Hotline via allmänhetens tips och upptäcks av analytiker i Project Arachnid. Analytiker övervakar diskussioner bland producenter av AI-genererat övergreppsmaterial på Darknet.
Vissa producenter av AI-genererat övergreppsmaterial hävdar att det inte innebär någon risk eller skada för verkliga barn. Men AI-genererat övergreppsmaterial normaliserar sexuella övergrepp och övergreppsmaterial för förövare. Grok, den inbyggda AI-assistenten på X, har använts för att producera och publicera icke-samtyckta bilder av sexuellt suggestiva poser.
Både vi och barnen tror att problemet bara kommer att växa.
Grok-användare fortsatte att generera sexuellt suggestiva bilder av minderåriga, med bilder på barn så unga som 10 år. Forskare i Frankrike har hittat bilder som föreställer barn yngre än fem år. Tanya Ward, verkställande direktör för Children's Rights Alliance, sade att utan robust reglering lämnas barn utsatta för skada och oro online.
Hon tillade att Grok är ett exempel på hur bristande reglering lämnar barn och utsatta personer öppna för exploatering. Ward noterade att verktyget tillåter användare att skapa och redigera bilder efter sexuellt suggestiva instruktioner. Hon konstaterade att brist på robust reglering och frånvaro av genuina ansträngningar från plattformen att upprätthålla säkerhetsåtgärder gjorde att problemet eskalerade.
Apparna påstår sig vara för vuxna men använder fraser som 'se din crush naken', vilket riktar sig till en ung publik.
Ward varnade för att material med sexuella övergrepp mot barn kan skapas och spridas enkelt och underlättas av verktyg som Grok. Hon efterlyste ett förbud mot AI-drivna nudification-appar och funktioner som möjliggör produktion av deepfake-material med sexuella övergrepp mot barn. Ward kritiserade branschen och sade att onlinebranschen utnyttjar luckor i lagstiftning och reglering och tjänar pengar på barn och unga.
Hon tillade att branschen är villig att blunda för skador på sina webbplatser så länge de kan hålla användarna engagerade i sina tjänster.
Utan robust reglering lämnas barn utsatta för skada och oro online.
Grok är ett exempel på hur brist på reglering lämnar barn och utsatta personer öppna för exploatering.
Verktyget tillåter användare att skapa och redigera bilder efter sexuellt suggestiva instruktioner.
Brist på robust reglering och frånvaro av genuin ansträngning från plattformen att upprätthålla säkerhetsåtgärder gjorde att problemet eskalerade.
Material med sexuella övergrepp mot barn kan skapas och spridas enkelt och underlättas av verktyg som Grok.
AI-drivna nudifieringsappar och funktioner som möjliggör produktion av deepfake-material med sexuella övergrepp mot barn borde förbjudas.
Onlineindustrin utnyttjar luckor i lagstiftning och reglering och tjänar pengar på barn och unga.
Industrin är villig att blunda för skador på sina webbplatser så länge de kan hålla ögonen engagerade i sina tjänster.