Utredningen från NRK visade att efter att ett barn tittat på typiskt barninnehåll i 20 minuter börjar YouTubes algoritm rekommendera YouTube Shorts-videor som faller inom skadliga kategorier. Om en användare klickar på en av dessa videor hamnar de i ett flöde där i genomsnitt en tredjedel av innehållet är av samma typ. Intresseorganisationer och experter har fördömt YouTube för att servera lågkvalitativt AI-genererat material till barn.
NRK genomförde sin utredning med automatiserade tester som simulerade barnanvändare som sökte efter populärt barninnehåll på vanlig YouTube utan att vara inloggade. Testerna utfördes fem gånger för varje sökterm med ett Python-skript för att automatiskt kontrollera en webbläsare, där varje test kördes från en separat norsk IP-adress. Söktermerna inkluderade barnvisor, Bluey, Cocomelon, sagor, Peppa Pig, Mario, Minecraft, Sabeltann, Vennebyen och Badebussen.
Kategorierna som användes för att utvärdera videor – våld, skräck, sexuella antydningar och tydlig kroppsfokus – inspirerades av kriterier som etablerats av Medietilsynet för att bedöma om videoinnehåll är skadligt för barn. Som svar på dessa fynd och bredare oro kring AI-genererat innehåll skickade barnrättsorganisationen Fairplay ett brev till YouTube-CEO Neal Mohan och Google-CEO Sundar Pichai där de uttryckte allvarlig oro över spridningen av AI-genererade videor på YouTube och YouTube Kids. Brevet undertecknades av mer än 200 organisationer och enskilda experter, inklusive 135 organisationer som American Federation of Teachers och American Counseling Association, tillsammans med cirka 100 enskilda experter som författaren Jonathan Haidt.
Fairplay-brevet uppmanar YouTube att genomföra flera specifika åtgärder för att skydda barn från potentiellt skadligt AI-genererat innehåll. Dessa krav inkluderar att tydligt märka allt AI-genererat innehåll, förbjuda AI-genererat innehåll helt från YouTube Kids, hindra AI-genererade videor från att rekommenderas till användare under 18 år och implementera ett alternativ för föräldrar att stänga av AI-genererat innehåll. YouTubes nuvarande policy kräver att skapare redovisar när realistiskt innehåll är gjort med ändrat eller syntetiskt material, inklusive generativ AI, men kräver inte sådan redovisning när innehållet är tydligt orealistiskt.
YouTube har erkänt en del av dessa problem och uppgett att de aktivt arbetar med att utveckla märkningar specifikt för YouTube Kids. En YouTube-talesperson betonade att plattformen har höga standarder för innehåll i YouTube Kids, inklusive att begränsa AI-genererat innehåll i appen till ett litet urval av högkvalitativa kanaler. YouTube pekar också på ytterligare skyddsåtgärder som finns tillgängliga för föräldrar, inklusive möjligheten att blockera specifika kanaler och transparensåtgärder för AI-innehåll.
Enligt talespersonen prioriterar YouTube transparens när det gäller AI-innehåll, genom att märka innehåll från sina egna AI-verktyg och kräva att skapare redovisar realistiskt AI-innehåll. Trots YouTubes försäkringar om höga standarder och skydd visar NRK-utredningen en betydande motsättning mellan plattformens angivna skyddsåtgärder och den faktiska prestandan hos dess rekommendationsalgoritm. Flera viktiga okända faktorer kvarstår angående hur YouTube kommer att hantera dessa problem.
Vilka specifika åtgärder YouTube kommer att vidta som svar på Fairplay-brevet och NRK-utredningens resultat har inte avslöjats. Den exakta andelen eller volymen av AI-genererat innehåll som för närvarande finns tillgängligt på YouTube Kids och vanlig YouTube är också oklar. Ytterligare okända faktorer inkluderar hur YouTubes algoritm bestämmer rekommendationer för barn och om den kommer att justeras för att minska skadliga förslag baserat på utredningens resultat.
Tidslinjen för att implementera nya märkningar för AI-genererat innehåll på YouTube Kids har inte specificerats. Dessutom är det en öppen fråga om tillsynsmyndigheter i Norge eller andra länder utreder YouTubes praxis baserat på dessa rapporter. Konsekvenserna av dessa fynd tyder på ett potentiellt behov av starkare skyddsåtgärder och större transparens i hur barninnehåll rekommenderas på digitala plattformar.
Utredningen belyser de pågående utmaningarna i att balansera algoritmiska rekommendationer med barns säkerhet, eftersom plattformar som YouTube fortsätter att utveckla sina innehållspolicyer och föräldrakontroller.