La inteligencia artificial puede mejorar rápidamente el rendimiento de los profesionales, pero eso no significa necesariamente que estén desarrollando nuevas habilidades que puedan utilizar por su cuenta. Un estudio experimental con abogados de patentes encontró diferencias importantes entre los beneficios inmediatos de trabajar con IA y el aprendizaje que permanece cuando se retira la herramienta.
La investigación, publicada como el documento de trabajo NBER Working Paper w35720, analizó durante tres meses cómo influye un asistente de inteligencia artificial en la calidad del trabajo de 133 abogados de patentes de Estados Unidos.
Los resultados muestran que quienes utilizaron IA produjeron mejores documentos que sus compañeros sin asistencia, con beneficios especialmente pronunciados entre los profesionales con menos experiencia. Sin embargo, al evaluar posteriormente una tarea realizada sin IA, las mejoras se concentraron en los abogados sénior.
El estudio plantea así una cuestión relevante para la incorporación de inteligencia artificial al trabajo profesional: mejorar los resultados con una herramienta no equivale necesariamente a desarrollar las capacidades necesarias para trabajar mejor sin ella.
Qué se hizo
Los investigadores realizaron un experimento de campo aleatorizado, registrado previamente, con 133 abogados de patentes en ejercicio pertenecientes a 11 bufetes de propiedad intelectual estadounidenses.
Durante tres meses, aproximadamente dos tercios de los participantes tuvieron acceso a InFlow, un asistente de inteligencia artificial de Google Labs diseñado para ayudar en la redacción de patentes. La herramienta no se ha lanzado al público.
El resto de los abogados integró el grupo de control y continuó trabajando sin asistencia de IA.
El experimento incluyó tres tareas: dos ejercicios de redacción de reivindicaciones de patentes, en los que los participantes del grupo tratado utilizaron InFlow mientras que el grupo de control trabajó sin IA, y una tarea de revisión crítica o redlining, en la que todos los participantes tuvieron que revisar un borrador existente sin utilizar inteligencia artificial.
Esta última actividad permitió examinar si la experiencia trabajando con IA se traducía en un mejor desempeño cuando los profesionales debían aplicar sus conocimientos de manera independiente.
Los documentos fueron evaluados por abogados de patentes expertos e independientes, que desconocían a qué grupo pertenecía cada participante. La evaluación consideró cinco dimensiones: aplicabilidad jurídica (enforceability), precisión técnica, ambigüedad estratégica, integridad y claridad.
Qué mejoró con IA
Los resultados mostraron mejoras en la calidad de la redacción entre los abogados que utilizaron InFlow.
A los 10 días, el grupo con asistencia de IA superó al grupo de control por 0,34 desviaciones estándar, con un valor estadístico de p=0,03. A los 90 días, la diferencia se mantuvo y alcanzó 0,38 desviaciones estándar, con p=0,01.
Los mayores beneficios se observaron entre los abogados júnior, definidos en el estudio como aquellos con menos de siete años de experiencia. Esto indica que la asistencia de IA permitió a los profesionales menos experimentados mejorar especialmente su rendimiento en las tareas de redacción.
Sin embargo, el experimento también examinó una cuestión distinta: qué ocurría cuando los participantes debían demostrar sus habilidades sin la herramienta.
Qué pasó sin IA
La prueba más reveladora fue la tarea de redlining, realizada por todos los abogados sin asistencia de inteligencia artificial.
Después de 90 días, el grupo que había trabajado con InFlow obtuvo una puntuación superior a la del grupo de control, con una diferencia de 0,32 desviaciones estándar (p=0,04).
Pero al separar los resultados por experiencia profesional apareció una diferencia importante. Entre los abogados sénior, la ventaja alcanzó 0,45 desviaciones estándar (p=0,02). En cambio, los abogados júnior no mostraron una mejora media en esta evaluación independiente.
Además, las puntuaciones de los profesionales jóvenes se distribuyeron de una manera particular: disminuyeron las calificaciones intermedias y aumentaron tanto las puntuaciones bajas como las altas. Es decir, algunos abogados júnior consiguieron resultados destacados, mientras que otros obtuvieron evaluaciones deficientes, sin que el grupo registrara una ganancia promedio.
Los investigadores también analizaron los cambios realizados durante la revisión de los documentos. Entre los abogados sénior, observaron una mayor tendencia a reorganizar los borradores y justificar las modificaciones mediante principios legales. Los profesionales júnior, por su parte, podían identificar errores graves, pero frecuentemente no lograban corregirlos.
Esta diferencia ayuda a explicar por qué la experiencia previa puede ser determinante para transformar el uso de IA en una mejora de las habilidades profesionales independientes.
Por qué importa
La principal distinción que plantea la investigación está entre el rendimiento inmediato y el desarrollo de conocimientos que pueden utilizarse sin asistencia. Un abogado puede producir documentos de mayor calidad con inteligencia artificial, pero ese resultado no garantiza que haya adquirido todas las capacidades necesarias para producir o revisar documentos equivalentes por su cuenta.
Los autores interpretan que la experiencia profesional acumulada podría ser un requisito importante para convertir la práctica asistida por IA en habilidades duraderas.
Los resultados también pueden compararse con otras investigaciones sobre inteligencia artificial y aprendizaje. Un estudio de Anthropic citado en este contexto encontró que los desarrolladores jóvenes que aprendieron a utilizar una biblioteca de programación con ayuda de IA obtuvieron puntuaciones un 17% inferiores en una evaluación posterior, en comparación con quienes aprendieron sin asistencia.
Por otra parte, una investigación del MIT Media Lab identificó indicios de lo que denominó deuda cognitiva, un concepto relacionado con las posibles consecuencias del uso de IA sobre los procesos de aprendizaje y pensamiento.
Los hallazgos también contrastan con los resultados de un estudio de BCG de 2023, en el que los consultores con un rendimiento inicial más bajo obtuvieron mayores mejoras al utilizar GPT-4 que los profesionales más fuertes.
En conjunto, estas investigaciones permiten distinguir dos aspectos que no siempre avanzan al mismo ritmo: los beneficios de la IA sobre la ejecución de una tarea y sus efectos sobre las capacidades que desarrolla quien la utiliza. En el experimento con abogados de patentes, los profesionales júnior fueron quienes más se beneficiaron de la asistencia directa, mientras que los sénior concentraron las mejoras observadas al realizar posteriormente una tarea sin IA.
Limitaciones
Los autores identifican varias limitaciones que deben considerarse al interpretar los resultados.
La primera es el tamaño de la muestra. El experimento contó con 133 participantes, una cifra condicionada, entre otros factores, por las elevadas tarifas por hora de los abogados de patentes más destacados.
También existe una limitación relacionada con la representatividad. Los bufetes participantes no reflejan necesariamente la diversidad de todos los servicios profesionales, por lo que los resultados no pueden generalizarse automáticamente a cualquier profesión.
Otra cuestión importante es que el estudio no incluyó una medición inicial de las habilidades de cada abogado antes del experimento.
Por último, el seguimiento duró tres meses, un periodo breve frente a los años que normalmente requiere dominar el ejercicio profesional en el ámbito de las patentes.
Estas condiciones delimitan el alcance de las conclusiones sobre el aprendizaje y la permanencia de las habilidades.
NBER en contexto
El documento de trabajo del NBER, titulado Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting, presenta un experimento de campo con abogados de patentes en ejercicio.
La investigación analiza tanto el rendimiento profesional con asistencia de inteligencia artificial como las capacidades demostradas posteriormente en una tarea realizada sin ella, diferenciando los resultados según la experiencia de los participantes.
