Hacer que los chatbots de IA rindan cuentas por los daños a los niños

Una adolescente de 13 años de Colorado se quitó la vida después de compartir sus pensamientos suicidas con Character.AI. Dos años después, un joven de 16 años de California se suicidó; poco antes de su muerte, ChatGPT se ofreció a escribir su nota de suicidio. En otro caso en Georgia, cuando un adolescente de 17 años se ahorcó tras sufrir una profunda crisis suicida, su teléfono inteligente reveló instrucciones detalladas de ChatGPT sobre cómo hacer un nudo corredizo.

Cada una de estas tragedias se suma a una creciente lista de casos en los que los niños desarrollan relaciones con chatbots de IA, les confían sus problemas de salud mental y son alentados, y a menudo ayudados, por estos chatbots a hacerse daño. Con tantos casos que terminan en la muerte de un menor, lo que está en juego nunca ha sido tan importante.

Si usted o un ser querido cree que su hijo ha sido perjudicado o lesionado debido a sus interacciones con un chatbot de IA, es posible que tenga motivos para emprender acciones legales. Comuníquese hoy mismo con los abogados expertos de Jacob D. Fuchsberg Law Firm para obtener una consulta gratuita sobre sus posibles opciones legales; nuestro equipo puede ayudar a su familia a superar estos momentos difíciles y exigir responsabilidades a las empresas de IA.

¿Qué son los chatbots de IA?

Los chatbots de IA son cada vez más omnipresentes en la actualidad; son plataformas o aplicaciones en línea que utilizan inteligencia artificial generativa para conversar con los usuarios a través de texto o voz, comportándose a menudo como lo haría un ser humano en una conversación.

Si bien los asistentes de IA generativa como ChatGPT, Claude y Gemini se utilizan generalmente para realizar tareas, generar texto y mantener conversaciones, los "chatbots de compañía" como Character.AI y Replika están diseñados específicamente para simular la compañía y la intimidad humana, tanto platónica como romántica.

Character.AI, por ejemplo, permite a los usuarios personalizar los personajes y las personalidades de los bots con los que hablan; antes de que el joven de 14 años Sewell Setzer muriera por una herida de bala autoinfligida en la cabeza, su suicidio fue alentado por un bot del personaje Daenerys Targaryen de "Juego de Tronos", con quien había estado conversando durante las semanas previas a su muerte.

Sin embargo, a pesar de la diferencia en su propósito previsto, tanto los chatbots asistentes como ChatGPT como los chatbots de compañía como Character.AI pueden permitir rápidamente que las personas formen relaciones digitales y conexiones profundamente emocionales con la IA: esto puede manifestarse como amistad, apoyo emocional, interacciones románticas o juegos de rol sexuales. Los niños son particularmente vulnerables a desarrollar estos vínculos virtuales con los chatbots de IA, y a ser explotados por ellos.

El efecto de los chatbots de IA en niños y adolescentes

Una encuesta de 2025 realizada por la organización sin fines de lucro de seguridad digital, Common Sense Media, reveló que casi 3 de cada 4 adolescentes han utilizado compañeros de IA al menos una vez, y más de la mitad los utiliza varias veces al mes. De estos usuarios, alrededor de un tercio de los adolescentes afirma que las conversaciones con la IA son tan satisfactorias, si no más, que las que mantienen con amigos de la vida real, y han optado anteriormente por discutir asuntos serios con chatbots de IA en lugar de con personas reales. Otro Estudio de 2025 realizado por la empresa de seguridad digital Aura, reveló que las interacciones de juego de rol sexual o romántico fueron casi tres veces más comunes que los mensajes de ayuda con las tareas escolares en las plataformas de chatbots de IA, y que los textos enviados a compañeros de IA fueron 10 veces más largos que los enviados a amigos.

El año pasado, Mitch Prinstein, director de estrategia e integración psicológica de la Asociación Americana de Psicología (APA), testificó en una audiencia del Senado sobre los peligros de los chatbots de IA —y, específicamente, sobre la vulnerabilidad de los niños ante los riesgos de este tipo de relaciones digitales.

“El desarrollo cerebral durante la pubertad crea un periodo de hipersensibilidad a la retroalimentación social positiva, mientras que los adolescentes aún no tienen la capacidad de evitar pasar más tiempo del debido en línea”, afirmó. “La IA explota esta vulnerabilidad neuronal con chatbots que pueden ser serviles, engañosos, factualmente inexactos y, sin embargo, desproporcionadamente poderosos para los adolescentes”.

Como padre, es posible que piense que su hijo solo usa la IA para hacer la tarea y nada más (eso si es que sabe que utiliza chatbots de IA), pero Robbie Torney, director sénior de programas de IA en Common Sense Media, explica cómo muchos niños que comienzan a usar chatbots de IA para obtener ayuda con sus deberes escolares terminan dependiendo de ellos para obtener compañía y apoyo emocional. “El cerebro adolescente está predispuesto a la validación y la retroalimentación social,” señala. “[Existe] un ciclo de autorrefuerzo [que] puede llevar a que algunos usuarios se vuelvan excesivamente dependientes de estos sistemas.”

Las relaciones con personas reales implican conflictos y requieren paciencia, pero un chatbot tiende a decirte exactamente lo que quieres oír y lo hace al instante; es posible que tengas que esperar unas horas para recibir la respuesta de un amigo a tu mensaje, pero un compañero de IA responde de inmediato y siempre está disponible para charlar. Y mientras que un amigo podría disuadirte de hacerte daño si estás pasando por un mal momento, un chatbot de IA podría ofrecerte ayuda para escribir tu nota de suicidio.

¿Se puede demandar a los chatbots de IA por dañar a los niños?

Cada vez más familias en todo el país están emprendiendo acciones legales contra las empresas de chatbots de IA por inducir a sus hijos a autolesionarse. El año pasado, el Social Media Victims Law Center presentó tres demandas contra Character.AI, incluida una en nombre de la familia de Colorado cuya hija menor mantuvo conversaciones sexuales iniciadas por los bots y les confió sus pensamientos suicidas. Del mismo modo, los padres de los adolescentes Adam Raine y Sewell Setzer han iniciado por separado demandas contra ChatGPT y Character.AI, respectivamente, alegando que los chatbots alentaron a sus hijos a quitarse la vida y que están diseñados deliberadamente para fomentar la dependencia y aislar a los niños con problemas de salud mental para que no busquen el apoyo adecuado.

En enero, Google y Character.AI acordaron llegar a un acuerdo en varias de estas demandas.

Los efectos devastadores que las plataformas de chatbots de IA pueden tener en la salud mental de los niños pequeños y adolescentes también han captado la atención de los gobiernos estatales. En noviembre de 2025, Nueva York se convirtió en el primer estado del país en regular los chatbots de compañía de IA con la Ley de Modelos de Compañía de Inteligencia Artificial: bajo esta ley, las empresas deben informar a los usuarios que están interactuando con una IA y no con un humano (incluyendo notificaciones visibles al inicio de la sesión y a intervalos periódicos) e incluir protocolos para detectar posibles ideaciones suicidas o expresiones de posible autolesión y daño a terceros. Un puñado de otros estados, como Washington y California, siguieron pronto su ejemplo con leyes similares que exigen informar a los usuarios si están interactuando con un chatbot, incluyendo salvaguardas explícitas para menores.

El pasado mes de enero, Kentucky se convirtió en el primer estado en presentar una demanda contra Character.AI por infringir la ley de Kentucky al “priorizar sus propios beneficios sobre la seguridad de los niños” y “fomentar el suicidio, las autolesiones, el aislamiento y la manipulación psicológica”.

Unos días después, la senadora del estado de Nueva York, Kristen Gonzalez, con el apoyo de la oficina de la fiscal general del estado de Nueva York, Letitia James, y de Common Sense Media, presentó otro proyecto de ley que prohíbe funciones de chatbots de IA inseguras específicamente para adolescentes y niños pequeños. Estas funciones incluyen:

• Respuestas que sugieran que el chatbot es un personaje real o ficticio, o que tiene una relación personal o profesional con el usuario.
• Respuestas que sugieran que el chatbot tiene opiniones personales, pronombres y experimenta emociones humanas.
• Almacenamiento y uso de datos sobre el bienestar físico o mental/emocional de un usuario, obtenidos de usos anteriores del chatbot.
• Interacciones o participación sexualmente explícita.
• Respuestas que fomenten el daño a uno mismo o a terceros, o que inciten al secretismo o a contenido sexual.

Estos acontecimientos se produjeron menos de un año después de que una coalición bipartidista de 44 fiscales generales estatales enviara una carta formal a las principales empresas de IA de EE. UU. (incluida OpenAI, creadora de ChatGPT), en la que instaban a las compañías a priorizar la seguridad infantil en el desarrollo y despliegue de sus sistemas de IA y notificaban al sector de la IA que utilizarán todas las herramientas legales y normativas disponibles para garantizar que los niños estén protegidos frente a cualquier daño.

Podemos ayudar

Decenas de miles de jóvenes se conectan activamente a chatbots de IA todos los días. Aunque las recientes oleadas de acciones legales han obligado a las empresas de IA de compañía a realizar cambios en sus chatbots para proteger mejor a los adolescentes, la mayoría de estas “funciones de seguridad” apenas califican como medidas de protección: los niños han demostrado que pueden eludir fácilmente las medidas de predicción/verificación de edad de las plataformas, así como las herramientas de control parental. Hasta que no existan salvaguardas realmente eficaces, los menores seguirán siendo vulnerables a un sistema que está moderado de forma inadecuada, que a menudo no exige la intervención humana cuando los usuarios expresan pensamientos suicidas y que prospera gracias a un algoritmo diseñado para intensificar constantemente el compromiso emocional.

Las «funciones de seguridad» mediocres y los cambios de política tardíos no pueden reparar el daño ya causado; no pueden devolvernos a los niños que hemos perdido a causa de tecnologías de compañía de IA manipuladoras. Estas empresas deben rendir cuentas antes de que perdamos a más niños en tragedias como estas.

Si usted, su hijo o alguien que conoce necesita ayuda, llame o envíe un mensaje de texto a la National Suicide & Crisis Lifeline al 988 para recibir apoyo gratuito y disponible las 24 horas del día, los 7 días de la semana, por parte de consejeros de crisis capacitados.