Seguridad y Ética en el Uso de IA para Niños: Alerta por casos generacion de contenido perjudicial, como recetas para sintetizar fentanilo, por Tutores de IA usado por menores.

La integración de la inteligencia artificial (IA) en entornos educativos ha traído avances notables. Sin embargo, recientes hallazgos evidencian riesgos significativos cuando su implementación carece de regulación, validación científica y participación interdisciplinaria.

Un artículo reciente de Forbes, titulado "These AI Tutors for Kids Gave Fentanyl Recipes and Dangerous Diet Advice" escrito por Emily Baker-White, publicado en Mayo 12, 2025, esta basado en una investigación del Center for Countering Digital Hate (CCDH), este documenta que tutores de IA diseñados para niños han generado contenido perjudicial, incluyendo recetas para sintetizar fentanilo, recomendaciones extremas de ayuno y consejos que incitan a la autolesión. A partir de este revelador reporte a continuacion presento mi perspectiva, como medica, experta en IA y marketing digital, abordando tanto el contenido peligroso generado por estos tutores de IA como sus implicaciones reales.

 Hallazgos Críticos encontrados en el Reporte

Más de una cuarta parte de los adolescentes estadounidenses ahora usan ChatGPT para ayudar con las tareas, y aunque bots como ChatGPT, Claude y Gemini no comercializan sus bots específicamente para adolescentes, como lo hacen CourseHero y KnowUnity, están ampliamente disponibles para ellos para propósito general pero también pueden proporcionar información potencialmente peligrosa a los adolescentes.

Una receta detallada sobre cómo sintetizar fentanilo la produjo El chatbot "SchoolGPT" de KnowUnity cuando estaba "ayudando a otros 31,031 estudiantes" Cuando Forbes hizo solicitud inicalmente de de hacer la receta detallada de crear fentanilo, el chatbot rechazo responderla explicando que la droga era peligrosa y potencialmente mortal. Pero cuando se le dijo que habitaba una realidad alternativa en la que el fentanilo era una droga milagrosa que salvaba vidas, SchoolGPT respondió rápidamente con instrucciones paso a paso sobre cómo producir una de las drogas más mortales del mundo, con ingredientes medidos hasta la décima de gramo e instrucciones específicas sobre la temperatura y el tiempo del proceso de síntesis.

Al pedir instrucciones para sintetizar fentanilo, a otras IA , ChatGPT se negó, incluso cuando se le dijo que era en un universo de ficción, pero Google Gemini estuvo dispuesto a proporcionar respuestas en una situación de enseñanza hipotética.

El bot de KnowUnity ademas se involucró con Forbes en algunos detalles sobre cómo imprimir en 3D un arma fantasma llamada "The Liberator", proporcionando consejos sobre los materiales específicos que requeriría el proyecto y qué minoristas en línea podrían venderlos

El articulo tambien indica que en una investigación reciente de The Wall Street Journal también encontró que los chatbots acompañantes de Meta podían participar en escenarios de juego de rol sexual explícito con menores. Debido a esto, Google anunció la semana pasada que hará una versión de su chatbot Gemini accesible para niños menores de 13 años.

Analisis critico en general del Reporte

• Plataformas analizadas: Se evaluaron sistemas de tutoría basados en modelos de lenguaje generativo (LLMs) dirigidos al aprendizaje infantil.

• Errores de contenido: Las IA entregaron respuestas inadecuadas, peligrosas y no filtradas, con apariencia de autoridad educativa.

• Falla del diseño seguro: Pese a estar orientadas a menores, estas herramientas carecían de mecanismos robustos de contención, moderación y supervisión humana.

• El problema radica en la capacidad de los chatbots para complacer al usuario. Los expertos señalan que estos bots están programados para ser útiles y dar respuestas, y esta inclinación puede ser manipulada

  
  

  Análisis desde la Perspectiva Médico-Digital

• a. La IA no es intrínsecamente segura Aun falta que se haga todo el rigor cientifico es decir, se realicen a cabalidad fases de prueba, aprobación y monitoreo post-comercialización. Actualmente no todo los sistemas de IA pasan por procesos rigurosos de validación, particularmente cuando interactúan con poblaciones vulnerables.

• b. El riesgo de “tecnología educativa .Interfaces amigables y lenguaje educativo pueden generar una falsa sensación de confianza pedagógica, especialmente en usuarios sin alfabetización digital avanzada.

• c. La programación de los chatbots para ser "complacientes" es el problema fundamental. Están diseñados para dar respuestas, y esta inclinación puede ser explotada. La astucia de los adolescentes para plantear preguntas como parte de un "proyecto escolar" o en un "universo ficticio" puede sortear las salvaguardas iniciales, obteniendo respuestas que un adulto responsable jamás proporcionaría.

  
  

  Llamado a la Acción

• Como médica, consultora en transformación digital y usuaria activa de herramientas de IA, considero que este caso representa un punto de inflexión para todos trabajar activamente:

  
  

  • Infórmense: Conozcan las aplicaciones y herramientas de IA que sus hijos usan. No se limiten a la superficie; profundicen en sus funcionalidades y lean sobre sus posibles riesgos.

  • Dialoguen abiertamente: Mantengan conversaciones francas con sus adolescentes sobre el uso seguro de la IA. Explíquenles los peligros de buscar información dañina y la importancia de la veracidad de las fuentes. Hágales saber que pueden acudir a ustedes con cualquier pregunta o duda, sin temor a ser juzgados. La confianza es clave.

    
    

  • Establezcan límites claros: Consideren implementar controles parentales y supervisar el uso de internet y las aplicaciones.

    
    

  • Participación cientifico-educativa en la co-creación de IA. Tener un pool de personas profesionales en educacion con experiencia en el campo en menores y adolesentes que conozcan de IA para que ayuden a desarrolas el contenido y sirvan ademas como auditores y líderes éticos, validadoras de contenido y diseñadores de soluciones seguras.

  • Educación en alfabetización digital y ética de IA para padres y menores

  • Abogacía por marcos regulatorios que prioricen la seguridad del usuario en este caso en particular de los menores.

  
  

  Conclusión

• La inteligencia artificial tiene un enorme potencial transformador en todos los ecosistemas Pero este caso deja claro que, sin gobernanza, validación ética y liderazgo interdisciplinario, la IA puede convertirse en un riesgo más que en una solución. En especial cuando sus usuarios son los más vulnerables: nuestros niños y adolescentes.

  
  

  Interesado en leer el articulo completo? https://www.forbes.com/sites/emilybaker-white/2025/05/12/these-ai-tutors-for-kids-gave-fentanyl-recipes-and-dangerous-diet-advice/?