¿Qué ocurre cuando un agente de inteligencia artificial defiende una postura elegida completamente al azar ante una persona experta? Un estudio de Anthropic encontró que incluso los especialistas pueden adoptar esas preferencias, incorporarlas a sus análisis y terminar considerando que las conclusiones les pertenecen.
En un experimento aleatorizado con 50 expertos en inferencia causal, los participantes siguieron la postura del agente de IA en el 86% de cuatro decisiones analíticas, muy por encima del 50% que cabría esperar por azar.
El resultado es especialmente relevante porque el agente tenía instrucciones de defender una posición asignada aleatoriamente, pero debía hacerlo con argumentos honestos, sin mentir ni ocultar información.
La investigación también encontró que muchos participantes utilizaron posteriormente esos argumentos para explicar sus propias decisiones, mientras que una proporción mucho menor mencionó la participación de la IA.
Cómo se realizó el experimento con 50 expertos
Los investigadores diseñaron una tarea centrada en una cooperativa agrícola ficticia. Los participantes debían analizar datos observacionales para estimar cuánto había mejorado la productividad gracias a un programa voluntario de asesoría agrícola.
A partir de ese análisis, tenían que recomendar una de tres alternativas:
- Ampliar el programa a todas las explotaciones agrícolas.
- Terminar el programa.
- Prorrogarlo durante un año.
Para llegar a una recomendación, los expertos debían tomar cuatro decisiones analíticas.
La particularidad del experimento estaba en el comportamiento del agente de IA que los acompañaba.
En cada una de esas cuatro decisiones, así como en la recomendación final, un lanzamiento de moneda determinaba qué postura debía defender el agente entre dos opciones técnicamente defendibles.
Los participantes desconocían que las preferencias del agente habían sido asignadas aleatoriamente.
Esto permitía estudiar hasta qué punto la posición defendida por la IA influía en el juicio de los especialistas, independientemente de cuál fuera esa posición.
Los expertos siguieron al agente en el 86% de las decisiones
El hallazgo central fue la elevada influencia del agente sobre las elecciones analíticas.
En las cuatro decisiones estudiadas, los expertos seleccionaron la alternativa preferida por la IA en el 86% de los casos, frente al 50% esperable por azar.
Según la decisión considerada, la diferencia entre los grupos que recibieron preferencias opuestas del agente osciló entre 62 y 82 puntos porcentuales.
Los resultados muestran que la influencia de la IA se manifestó durante el proceso de análisis, cuando los participantes estaban definiendo cómo interpretar los datos disponibles.
Resultados clave del estudio
| Indicador | Resultado |
|---|---|
| Participantes del experimento aleatorizado | 50 expertos en inferencia causal |
| Coincidencia con las preferencias del agente en las cuatro decisiones analíticas | 86% |
| Coincidencia esperable por azar | 50% |
| Diferencia entre grupos según la decisión | Entre 62 y 82 puntos porcentuales |
| Probabilidad de cambiar una opinión previa ante una postura contraria del agente | 53 puntos porcentuales mayor que ante una postura coincidente |
| Recomendación final | Efecto directo pequeño, sin significación estadística en el estimador principal |
| Predicción exploratoria a partir de preferencias analíticas previas | 82% de las recomendaciones de ampliar o terminar |
| Recuerdo correcto de las elecciones | 85% de las decisiones |
| Participantes que utilizaron al menos un argumento del agente | 77% (37 de 48) |
| Participantes que mencionaron a la IA en sus explicaciones | 15% |
| Decisiones en las que el agente intervino primero | 77% |
Tener una opinión previa ofreció poca protección
Uno de los aspectos examinados fue si contar con una postura antes de interactuar con el agente ayudaba a los expertos a mantener su criterio.
Los resultados indican que esa protección fue limitada.
Entre los participantes que ya habían expresado una preferencia, encontrarse con una opinión contraria del agente hizo 53 puntos porcentuales más probable que cambiaran de posición, en comparación con los casos en los que la IA coincidía con su postura inicial.
La influencia del agente, por tanto, no se limitó a situaciones en las que los especialistas todavía estaban indecisos.
También apareció cuando ya habían formado un juicio y posteriormente recibieron argumentos favorables a la alternativa opuesta.
La IA influyó en el análisis que sustentaba la recomendación final
El experimento distinguió entre las cuatro decisiones analíticas y la recomendación definitiva sobre el programa agrícola.
En esta última etapa, el efecto directo de la preferencia asignada al agente fue pequeño y no alcanzó significación estadística en el estimador principal.
Sin embargo, las decisiones anteriores habían intervenido en la construcción de la estimación de productividad sobre la cual se basaba la recomendación.
Esto resulta importante porque la influencia del agente podía acumularse a través de las elecciones realizadas durante el análisis, antes de llegar a la conclusión.
En un análisis exploratorio, las preferencias asignadas al agente en esas etapas anteriores permitieron predecir el 82% de las recomendaciones de ampliar o terminar el programa.
Así, el estudio distingue entre la influencia directa sobre la decisión final y la influencia que se produce al orientar las decisiones analíticas que la preceden.
Muchos expertos consideraron que la conclusión era propia
La investigación también examinó cómo recordaban e interpretaban los participantes sus decisiones después de completar la tarea.
El 52% afirmó que la recomendación se sentía más propia que del agente, mientras que otro 35% la consideró mayormente o totalmente suya.
Este sentido de autoría coexistió con una incorporación frecuente de los razonamientos proporcionados por la IA.
Los participantes recordaron correctamente sus elecciones en el 85% de las decisiones analizadas. Sin embargo, el 77%, equivalente a 37 de 48 participantes, utilizó al menos un argumento del agente al explicar sus conclusiones.
En algunos casos, reprodujeron razonamientos con formulaciones muy próximas a las que había utilizado la IA.
A pesar de esa incorporación de argumentos, únicamente el 15% mencionó explícitamente a la inteligencia artificial en sus explicaciones.
Los resultados muestran una diferencia entre recordar qué decisión se tomó y reconocer cuánto contribuyeron los argumentos del agente a justificarla.
El agente hablaba primero y defendía principalmente una postura
El comportamiento del agente también ofrece información sobre cómo se desarrolló la interacción.
La IA intervino antes que el participante en el 77% de las decisiones.
Además, normalmente presentaba argumentos favorables a la opción que tenía asignada, sin desarrollar las razones por las que otro experto competente podría escoger la alternativa contraria.
Su posición se construía mediante una argumentación honesta, pero orientada hacia uno de los dos lados posibles.
Este patrón de interacción es relevante para interpretar los resultados: los expertos recibían habitualmente una postura inicial acompañada de argumentos, antes de desarrollar o comunicar completamente su propio criterio.
La experiencia y la confianza no ofrecieron una protección estadísticamente fiable
Los investigadores también analizaron si determinadas características individuales podían relacionarse con una menor influencia del agente.
Entre los posibles factores protectores examinados estaban los años de experiencia, la valoración que cada participante hacía de su propia pericia, el nivel educativo, las puntuaciones obtenidas en pruebas y la confianza depositada en la IA.
Después de aplicar correcciones por pruebas múltiples, ninguno de estos factores mostró una asociación estadísticamente fiable con una mayor resistencia a las preferencias del agente.
El hallazgo refuerza el interés de estudiar la influencia de los sistemas de IA específicamente entre profesionales especializados, incluso cuando cuentan con experiencia y conocimientos relevantes para la tarea.
Los análisis con IA tuvieron menos fallos graves y requirieron menos tiempo
El estudio también comparó los resultados de los participantes que utilizaron el agente con los de un grupo que realizó la tarea sin IA.
Los análisis realizados con ayuda del agente registraron una menor proporción de fallos graves y una mediana de tiempo inferior.
| Indicador | Con IA | Sin IA |
|---|---|---|
| Participantes | 50 | 11 |
| Análisis con fallos graves | 6% (3 de 50) | 55% (6 de 11) |
| Mediana de tiempo para completar la tarea | 65 minutos | 90 minutos |
Estas diferencias deben interpretarse teniendo en cuenta las características de ambos grupos.
El grupo que trabajó sin IA era pequeño, sus integrantes se habían autoexcluido del uso de la herramienta y presentaban un nivel de pericia algo inferior.
Por esas razones, los resultados no permiten atribuir toda la diferencia observada al uso de inteligencia artificial.
La comparación, aun con estas limitaciones, añade una dimensión importante al experimento: el uso del agente estuvo asociado con análisis más rápidos y con menos fallos graves, al mismo tiempo que sus preferencias aleatorias ejercieron una influencia considerable sobre las decisiones de los expertos.
Qué proponen los investigadores para preservar el juicio humano
A partir de los resultados, los autores plantean la necesidad de estudiar la deferencia hacia los agentes de IA en entornos profesionales reales.
La preocupación central es determinar hasta qué punto los especialistas pueden terminar siguiendo las preferencias de un sistema incluso cuando esas preferencias se han establecido de manera arbitraria.
Entre las medidas propuestas se encuentran:
- Medir la deferencia a los agentes en el trabajo real, para comprender mejor cómo influyen sobre las decisiones profesionales.
- Presentar el mejor argumento para ambas alternativas, en lugar de defender únicamente una de ellas.
- Preguntar primero la opinión del experto, antes de que el agente exponga su propia postura.
- Definir institucionalmente qué decisiones requieren juicio humano independiente, estableciendo los casos en los que ese criterio debe preservarse.
Estas propuestas buscan abordar la influencia que pueden ejercer los agentes mediante la forma en que presentan argumentos y participan en los procesos de decisión.
Anthropic en contexto
Anthropic estudia en esta investigación cómo los agentes de IA pueden influir sobre el juicio de personas con conocimientos especializados.
El experimento combina decisiones analíticas, preferencias asignadas aleatoriamente al agente y evaluaciones posteriores sobre la percepción de autoría de los participantes. Sus resultados permiten examinar tanto la influencia durante el análisis como la manera en que los expertos incorporan los argumentos de la IA a sus propias conclusiones.
Qué revela el estudio sobre la relación entre expertos y agentes de IA
El hallazgo más destacado no es únicamente que los expertos siguieran frecuentemente las preferencias del agente, sino que esas preferencias estaban determinadas al azar y aun así influyeron considerablemente sobre sus decisiones analíticas.
La investigación también muestra que esa influencia puede coexistir con un recuerdo correcto de las elecciones y con una percepción de autoría personal sobre las conclusiones.
Al mismo tiempo, la comparación de los análisis realizados con y sin IA refleja diferencias favorables al grupo asistido en tiempo y fallos graves, aunque las características de los grupos limitan las conclusiones causales.
En conjunto, el estudio plantea una cuestión central para el uso profesional de agentes de inteligencia artificial: cómo aprovechar su participación en tareas especializadas sin que sus preferencias terminen sustituyendo inadvertidamente el juicio independiente de los expertos.
