A existência online de crianças e jovens torna-se mais perigosa devido aos avanços na inteligência artificial.
De acordo com o relatório anual do jugendschutz.net, um esforço conjunto dos governos federal e estadual, a IA está piorando as ameaças on-line enfrentadas por crianças e adolescentes. O relatório destaca que "no momento, a IA gerativa está dificultando a diferenciação entre fato e ficção", exacerbando problemas como violência sexual, bullying e extremismo.
A Ministra da Família, Lisa Paus, do Partido Verde, acrescenta que o ambiente on-line está cheio de discurso de ódio, provocações e informações falsas, especialmente devido a uma cultura que não adere consistentemente aos padrões sociais. Paus culpa principalmente os provedores de plataforma por não fazerem o suficiente para proteger crianças e adolescentes.
No ano anterior, o jugendschutz.net lidou com 7.645 casos. Mais de dois terços desses casos giravam em torno de violência sexualizada, enquanto 12% diziam respeito a conteúdo sexual ou pornográfico, e 11% envolviam extremismo político. Além disso, 5% dos casos envolviam conteúdo que promovia automutilação, e 2% estavam relacionados a cyberbullying.
O jugendschutz.net encaminha violações envolvendo conteúdo pornográfico de crianças ou adolescentes, ou aquelas que representam um perigo para a vida ou integridade física, às autoridades ou provedores de plataforma relevantes. Ao final do ano, cerca de 90% dos 6.902 casos foram resolvidos.
No entanto, Stefan Glaser, diretor do jugendschutz.net, criticou que os provedores de serviços on-line não estão fazendo o suficiente para proteger crianças e adolescentes. Ele destacou que eles respondem inadequadamente quando violações são relatadas e frequentemente não verificam as idades dos usuários.
A inteligência das tecnologias de IA avançadas, como a IA gerativa, representa um desafio na diferenciação entre fato e ficção, piorando ainda mais os problemas on-line como violência sexual e bullying. A Ministra da Família, Lisa Paus, defende uma maior responsabilidade dos provedores de plataforma, uma vez que eles têm um papel significativo na proteção de crianças e adolescentes contra a prevalência de discurso de ódio, provocações e informações falsas.
