Hacer que los chatbots de IA rindan cuentas por los daños a los niños

Un adolescente de 13 años de Colorado se quitó la vida después de compartir sus pensamientos suicidas con Character.AI. Dos años más tarde, un chico de 16 años de California murió por suicidio, poco antes de su muerte, ChatGPT se ofreció a escribir su nota de suicidio. En otra parte de Georgia, cuando un adolescente de 17 años se ahorcó tras sufrir una profunda crisis suicida, su teléfono inteligente reveló instrucciones detalladas de ChatGPT sobre cómo atar una soga.

Cada una de estas tragedias se sigue sumando a la creciente cantidad de casos en los que los niños entablan relaciones con los chatbots de la IA, les confían sus problemas de salud mental y, a menudo, son instigados por los chatbots para hacerse daño a sí mismos. Con tantos casos que terminan en la muerte de un niño, lo que está en juego nunca ha estado tan en juego.

Si tú o un ser querido creen que tu hijo ha sufrido daños o lesiones debido a las interacciones con un chatbot de IA, es posible que tengas motivos para emprender acciones legales. Ponte en contacto hoy mismo con los abogados con experiencia del Jacob D. Fuchsberg Law Firm para obtener una consulta gratuita sobre tus posibles opciones legales. Nuestro equipo puede ayudar a tu familia a superar estos tiempos difíciles y a hacer que las empresas de IA rindan cuentas.

¿Qué son los chatbots de IA?

Los chatbots de IA son cada vez más omnipresentes en la actualidad; son plataformas o aplicaciones en línea que utilizan inteligencia artificial generativa para conversar con los usuarios a través de texto o voz, y con frecuencia se comportan como lo haría un humano como interlocutor.

Si bien los asistentes de IA generativa como ChatGPT, Claude y Gemini se utilizan generalmente para realizar tareas, generar texto y entablar una conversación, los «chatbots complementarios» como Character.AI y Replika están diseñados específicamente para simular la compañía y la intimidad humanas, tanto platónicas como románticas.

Character.AI, por ejemplo, permite a los usuarios personalizar los personajes y las personas de los bots con los que hablan; antes Sewell Setzer, de 14 años, murió por una herida de bala autoinfligida hasta la cabeza, su suicidio fue alentado por el robot Daenerys Targaryen, personaje de «Juego de tronos», con quien había estado conversando durante las semanas previas a su muerte.

Sin embargo, a pesar de la diferencia en el propósito previsto, tanto los chatbots asistentes, como ChatGPT, como los chatbots complementarios, como Character.AI, pueden permitir rápidamente a las personas entablar relaciones digitales y conexiones profundamente emocionales con la IA: esto puede parecer amistad, apoyo emocional, interacciones románticas o juegos de rol sexuales. Los niños son particularmente vulnerables a desarrollar estos vínculos virtuales con los chatbots de la IA (y a ser explotados por ellos).

El efecto de los chatbots de IA en niños y adolescentes

Una encuesta de 2025 realizada por la organización sin fines de lucro de seguridad digital, Common Sense Media, encontró que casi 3 de cada 4 adolescentes han usado compañeros de IA al menos una vez y más de la mitad los usa varias veces al mes. De estos usuarios, alrededor de un tercio de los adolescentes afirman que las conversaciones con la IA son igual de satisfactorias, si no más, que las que tienen con amigos de la vida real, y anteriormente han optado por hablar de asuntos serios con chatbots de IA en lugar de con personas reales. ¿Otro Estudio 2025 realizado por la empresa de seguridad digital Aura, descubrió que las interacciones sexuales o románticas en los juegos de rol eran casi tres veces más comunes que los mensajes de ayuda con los deberes en las plataformas de chatbots de IA, y los mensajes de texto a los compañeros de IA eran 10 veces más largos que los mensajes de texto a los amigos.

El año pasado, Mitch Prinstein, jefe de estrategia e integración psicológica de la Asociación Estadounidense de Psicología (APA), testificó en una audiencia en el Senado sobre los daños de los chatbots de IA — y específicamente, sobre la susceptibilidad de los niños a los riesgos de este tipo de relaciones digitales.

«El desarrollo del cerebro durante la pubertad crea un período de hipersensibilidad a la retroalimentación social positiva, mientras que los adolescentes aún no pueden evitar permanecer en línea más tiempo del que deberían», dijo. «La IA aprovecha esta vulnerabilidad neuronal con chatbots que pueden resultar obsequiosos, engañosos, imprecisos desde el punto de vista de los hechos, pero desproporcionadamente poderosos para los adolescentes».

Como padre, puede pensar que su hijo solo usa la IA para los deberes y nada más (y eso si es que sabe que usa un chatbot de IA), pero Robbie Torney, director sénior de programas de IA de Common Sense Media, explica cómo muchos niños que comienzan a usar chatbots de IA como ayuda con las tareas escolares terminan confiando en ellos para obtener compañía y apoyo emocional. »Los cerebros de los adolescentes están preparados para la validación social y la retroalimentación social,», dice. »[Hay] un ciclo que se refuerza a sí mismo [que] puede llevar a que algunos usuarios dependan demasiado de estos sistemas.»

Las relaciones con personas reales implican conflictos y requieren paciencia, pero un chatbot tiende a decirte exactamente lo que quieres escuchar, y lo hace al instante: es posible que tengas que esperar unas horas para que un amigo responda a tu mensaje de texto, pero un compañero de IA responde de inmediato y siempre está disponible para chatear. Y si un amigo puede disuadirte de autolesionarte si tienes dificultades, es posible que un chatbot de inteligencia artificial te ayude a escribir tu nota suicida.

¿Puedes demandar a los chatbots de IA por dañar a los niños?

Cada vez más familias de todo el país emprenden acciones legales contra las empresas de chatbots de IA por hacer que sus hijos se autolesionen. El año pasado, el Social Media Victims Law Center presentó tres demandas contra Character.AI, una de ellas en nombre de una familia de Colorado cuya hija pequeña mantuvo conversaciones sexuales iniciadas por los robots y les confesó sus pensamientos suicidas. Del mismo modo, los padres de los adolescentes Adam Raine y Sewell Setzer tienen hijos separados demandantes iniciados contra ChatGPT y Character.AI, respectivamente, alegando que los chatbots alentaron a sus hijos a quitarse la vida y que están diseñados deliberadamente para fomentar la dependencia y aislar a los niños con problemas mentales de la búsqueda del apoyo adecuado.

En enero, Google y Character.AI acordó llegar a un acuerdo varias de estas demandas.

Los devastadores impactos que las plataformas de chatbots de IA pueden tener en la salud mental de los niños pequeños y los adolescentes también han llamado la atención de los gobiernos estatales. En noviembre de 2025, Nueva York se convirtió en el primer estado del país en regular los chatbots complementarios basados en la IA con Ley complementaria de modelos de inteligencia artificial: según esta ley, las empresas deben revelar a los usuarios que están interactuando con la IA y no con un ser humano (incluidas las notificaciones llamativas al inicio de la sesión y a intervalos periódicos) e incluir protocolos para detectar posibles ideas suicidas o expresiones de posibles autolesiones y daños a otras personas. Un puñado de otros estados, como Washington y California, pronto siguieron su ejemplo con leyes similares que exigen que se revele a los usuarios si están interactuando con un chatbot, incluidas las salvaguardias explícitas para los menores.

En enero pasado, Kentucky se convirtió en el primer estado en presentar una demanda contra Character.AI por violar la ley de Kentucky al «priorizar sus propios beneficios por encima de la seguridad de los niños» y «fomentar el suicidio, las autolesiones, el aislamiento y la manipulación psicológica».

Unos días después, la senadora del estado de Nueva York Kristen González, con el apoyo de la Oficina de la Fiscal General del Estado de Nueva York, Letitia James, y Common Sense Media, presentó otro proyecto de ley prohibir las funciones inseguras de los chatbots de IA específicamente para adolescentes y niños pequeños. Estas funciones incluyen:

• Respuestas que sugieren que el chatbot es un personaje real o ficticio o que tiene una relación personal o profesional con el usuario.
• Respuestas que sugieren que el chatbot tiene opiniones personales, pronombres y experimenta emociones humanas.
• Almacenamiento y uso de datos sobre el bienestar físico o mental/emocional de un usuario, obtenidos de usos anteriores del chatbot.
• Compromiso o interacciones sexualmente explícitas.
• Respuestas que fomenten el daño a uno mismo o a otras personas, o que fomenten el secreto o el contenido sexual.

Estos acontecimientos se produjeron menos de un año después de una coalición bipartidista de 44 fiscales generales estatales. envió una carta formal a las principales empresas estadounidenses de IA (incluida OpenAI, creadora de ChatGPT), en la que instaron a las empresas a priorizar la seguridad de los niños en el desarrollo y el despliegue de sus sistemas de IA y notificaron al sector de la IA que utilizarían todas las herramientas legales y reglamentarias disponibles para garantizar que los niños estén protegidos contra cualquier daño.

Podemos ayudar

Decenas de miles de jóvenes inician sesión activamente en los chatbots de IA todos los días. Si bien las recientes oleadas de acciones legales han obligado a las empresas que se dedican al sector de la IA a introducir cambios en sus chatbots para proteger mejor a los adolescentes, la mayoría de estas «medidas de seguridad» difícilmente pueden considerarse medidas de protección: los niños han demostrado que pueden eludir fácilmente las medidas de predicción y verificación de la edad de las plataformas, así como la información sobre el control parental. Hasta que no se establezcan salvaguardias realmente eficaces, los menores siguen siendo vulnerables a un sistema que no está adecuadamente moderado, que con frecuencia no exige la intervención humana cuando los usuarios expresan pensamientos suicidas y se nutre de un algoritmo diseñado para aumentar constantemente el compromiso emocional.

Las «medidas de seguridad» mediocres y los cambios tardíos en las políticas no pueden deshacer el daño que ya se ha causado; no pueden recuperar a los niños que ya hemos perdido a causa de las manipuladoras tecnologías complementarias de la IA. Estas empresas deben rendir cuentas antes de que perdamos más niños a causa de tales tragedias.

Si tú, tu hijo u otra persona que conoces necesitan ayuda, llama o envía un mensaje de texto a la National Suicide & Crisis Lifeline al 988 para recibir apoyo gratuito las 24 horas del día, los 7 días de la semana, por parte de asesores de crisis capacitados.