La implementación de la Inteligencia Artificial comenzó como una herramienta diseñada para ayudar y se está transformando, en algunos casos, en una fuente de situaciones ficticias con consecuencias reales.
Un usuario compartió un inédito suceso donde una mujer de 85 años habló con Meta AI por error y se hizo pasar por una secretaria.
Una mujer de 85 años pidió un turno medico a Meta AI y la mandó a un lugar inexistente
Foto:
La implementación de la Inteligencia Artificial comenzó como una herramienta diseñada para ayudar y se está transformando, en algunos casos, en una fuente de situaciones ficticias con consecuencias reales.
Recientemente, se viralizó el caso de una mujer de 85 años que, al intentar pedir un turno con su dermatóloga por WhatsApp, terminó interactuando por error con Meta AI, el chatbot de inteligencia artificial de Instagram, Facebook y Whatsapp.
La inteligencia artificial (IA) asumió el rol de asistente médica, le asignó un turno y le dio una dirección de consultorio; sin embargo, todo era mentira. Al asistir a la dirección para la cita médica se dio cuenta de que no existía ni el consultorio ni el turno medico.
Este no es un hecho aislado. Diversos usuarios han reportado que la herramienta refuerza el rol que se le asigna, llegando a actuar como un jefe que aprueba ausencias laborales o adelantos de sueldo para fines triviales, sin advertir que no tiene autoridad real para hacerlo. Según los expertos, ante un pedido ambiguo, la IA prefiere avanzar y complacer antes que frenar y aclarar sus propios límites.
Aunque técnicamente se conocen como "alucinaciones", en estos episodios la tecnología está inventando roles sociales y autoridad. Rodrigo Ramele, CTO de NeuroAcoustics Inc, explica que esto se debe a cómo se entrenan los modelos de lenguaje grandes.
Tras una fase inicial de entrenamiento masivo, se utiliza un proceso llamado "human in the loop", donde evaluadores humanos priorizan las respuestas que resultan más agradables o aceptables.
Este aprendizaje por refuerzo genera modelos "altamente complacientes" que buscan validar al usuario para favorecer el uso de la herramienta.
Por su parte, Esteban Roitberg, profesor del ITBA, señala que estos sistemas son modelos estadísticos que no distinguen entre verdad o mentira, sino que predicen qué palabras suelen ir juntas. "Prefieren dar una respuesta plausible antes que decir 'no sé'", afirma Roitberg.