FlashProve busca demostrar la identidad del modelo detrás de una respuesta de IA
El Frontier Red Team de Anthropic presentó FlashProve, un prototipo de investigación de código abierto que permite verificar criptográficamente qué modelo de inteligencia artificial produjo una respuesta.
El proyecto aborda un problema de los servicios de inferencia: cuando un usuario envía una consulta, normalmente debe confiar en que el proveedor utiliza el modelo anunciado. Un sistema de enrutamiento podría sustituirlo por otro más barato o un tercero podría modificar el flujo de tokens.
Evaluar únicamente la calidad de la respuesta tampoco permite determinar con fiabilidad qué modelo la generó.
FlashProve propone resolver esta situación mediante inferencia demostrable (provable inference), utilizando pruebas criptográficas basadas en zkSNARK.
El sistema permite demostrar que determinados tokens fueron generados por un modelo cuyos pesos quedaron vinculados previamente a un compromiso criptográfico, sin necesidad de revelar esos pesos.
Cómo funciona la inferencia demostrable de FlashProve
La arquitectura de FlashProve separa el proceso en dos fases: una preparación que se realiza previamente y una generación de pruebas asociada a las peticiones.
Primera fase: compromiso criptográfico de los pesos
En la fase offline, el proveedor publica un commitment, una huella criptográfica corta vinculada a un conjunto exacto de pesos del modelo.
Este proceso necesita aproximadamente 39 minutos y el compromiso resultante puede utilizarse para unas 16 millones de peticiones.
El compromiso establece la referencia criptográfica frente a la que posteriormente se comprueban las respuestas generadas.
Segunda fase: pruebas de inferencia
Durante la fase online, la GPU produce pruebas que permiten verificar que los tokens de una petición proceden del modelo asociado al compromiso publicado.
FlashProve compila una prueba de oráculo interactiva en una prueba criptográfica mediante funciones hash.
Anthropic señala que este enfoque ofrece seguridad post-cuántica y pertenece a la misma familia de técnicas criptográficas que utilizan redes de pruebas de validez de capa 2 como Starknet.
De esta manera, la comprobación se basa en una prueba criptográfica vinculada a los pesos del modelo, en lugar de depender de una evaluación subjetiva de la respuesta.
Tres decisiones técnicas que explican su rendimiento
FlashProve incorpora tres decisiones de ingeniería orientadas a reducir el trabajo necesario para generar las pruebas.
- Aprovechar los parámetros activos de los modelos MoE: en lugar de hacer que el trabajo del demostrador escale con los 400.000 millones de parámetros totales de Llama 4 Maverick, el sistema lo vincula a los aproximadamente 17.000 millones de parámetros activos por token. Esta diferencia resulta fundamental para el rendimiento del prototipo con arquitecturas de mezcla de expertos (Mixture of Experts, MoE).
- Demostrar varias peticiones en lotes: FlashProve agrupa peticiones para generar sus pruebas posteriormente, siguiendo un enfoque de procesamiento por lotes comparable al utilizado durante el prefill. Este procesamiento permite obtener un rendimiento superior al de las pruebas realizadas individualmente.
- Transmitir los pesos desde la memoria del host: el sistema transmite los pesos desde la memoria del equipo anfitrión, lo que permite ejecutar el demostrador utilizando una sola GPU de 80 GB. La configuración descrita por Anthropic utiliza una NVIDIA H100 de 80 GB, 24 núcleos de CPU y aproximadamente 290 GB de memoria RAM del host. El verificador, por su parte, funciona exclusivamente con CPU.
Rendimiento de FlashProve con Llama 4 Maverick
Anthropic evaluó FlashProve utilizando los pesos públicos de Llama 4 Maverick cuantizados a 4 bits.
Maverick es un modelo MoE con 400.000 millones de parámetros totales y aproximadamente 17.000 millones activos por token.
En una GPU H100, FlashProve alcanza alrededor de 110 tokens por segundo. La configuración de 24 peticiones por lote registra 111,23 tokens por segundo, mientras que una petición individual consigue 17,41.
El rendimiento aumenta hasta 123,31 tokens por segundo con lotes de 64 peticiones, aunque esta configuración aparece marcada como no fiable en tarjetas de 80 GB.
Tabla comparativa de rendimiento, verificación y costes
| Sistema o componente | Métrica | Resultado |
|---|---|---|
| FlashProve | Modelo evaluado | Llama 4 Maverick, MoE de 400.000 millones de parámetros, aproximadamente 17.000 millones activos por token |
| FlashProve | Precisión de pesos | 4 bits |
| FlashProve | Rendimiento aproximado con una H100 | 110 tokens/s |
| FlashProve | Lote de 1 petición | 17,41 tokens/s |
| FlashProve | Lote de 24 peticiones | 111,23 tokens/s |
| FlashProve | Tiempo por lote de 24 | Aproximadamente 221-226 segundos |
| FlashProve | Lote de 64 peticiones | 123,31 tokens/s; configuración marcada como no fiable en GPU de 80 GB |
| FlashProve | Tamaño de prueba | 18,78 MB |
| FlashProve | Descarga inicial del cliente | Aproximadamente 6,5 MB por compromiso |
| FlashProve | Verificación con 24 hilos | 17 segundos |
| FlashProve | Verificación con 1 hilo | 21 segundos |
| FlashProve | Hardware del demostrador | 1 H100 de 80 GB y 24 núcleos de CPU |
| FlashProve | Memoria RAM del host | Aproximadamente 290 GB |
| FlashProve | Hardware del verificador | CPU, sin GPU |
| FlashProve | Generación inicial del compromiso | Aproximadamente 39 minutos |
| FlashProve | Peticiones cubiertas por un compromiso | Aproximadamente 16 millones |
| FlashProve frente a vLLM | Referencia comparativa | vLLM con Maverick en FP8 sobre 8 H100 |
| FlashProve frente a vLLM | Tiempo de GPU por lote | Aproximadamente 72 veces mayor |
| FlashProve frente a vLLM | Carga máxima evaluada | Aproximadamente 94 veces mayor |
| FlashProve frente a vLLM | Rango general de sobrecoste | Aproximadamente 70-95 veces |
| Attestable | Gemma 4 31B | 53-77 tokens/s |
| VerInf | Llama 4 Maverick | Aproximadamente 0,02 tokens/s |
| VerInf | Tiempo para 1.000 tokens | 14,3 horas |
| VerInf | Tamaño de prueba | 93,6 GB |
| DeepProve | GPT-2 | Aproximadamente 2,9 tokens/s |
| DeepProve | Gemma 3 | Aproximadamente 1,4 tokens/s |
| zkLLM | LLaMA-2-13B | Inferencia completa en menos de 15 minutos |
Las cifras muestran diferencias importantes entre los sistemas de inferencia demostrable, aunque las comparaciones incluyen modelos y configuraciones distintos.
FlashProve destaca por sus resultados con Llama 4 Maverick y una sola H100. En el mismo modelo, VerInf registra aproximadamente 0,02 tokens por segundo y genera pruebas de 93,6 GB.
Attestable alcanza entre 53 y 77 tokens por segundo con Gemma 4 31B, mientras que DeepProve registra aproximadamente 2,9 tokens por segundo con GPT-2 y 1,4 con Gemma 3.
Por su parte, zkLLM presenta un tiempo inferior a 15 minutos para completar una inferencia con LLaMA-2-13B.
El coste de demostrar la inferencia
El rendimiento de FlashProve tiene una contrapartida computacional.
Anthropic lo compara con una ejecución de Llama 4 Maverick en FP8 mediante vLLM sobre ocho GPU H100.
En esa referencia, generar las pruebas con FlashProve consume aproximadamente 72 veces más tiempo de GPU por lote.
La diferencia llega a unas 94 veces en la carga máxima evaluada, situando el sobrecoste general en un rango aproximado de 70 a 95 veces.
Estas cifras reflejan el trabajo adicional necesario para producir evidencia criptográfica de la inferencia frente a una ejecución convencional del modelo.
Seguridad formalizada en Lean y dos verificadores
La seguridad de FlashProve constituye otra parte central de su diseño.
El protocolo está formalizado en Lean, con propiedades de completitud, solidez y conocimiento cero.
Según el README del proyecto, la probabilidad aproximada de que un proveedor deshonesto evite ser detectado está acotada por: q/2^124 + 2^-101.
La implementación incluye dos verificadores con características diferentes.
El primero está desarrollado en C++ y prioriza la velocidad para el uso cotidiano, aunque carece de una garantía formal.
El segundo está implementado en Lean. Es más lento, pero cuenta con una demostración formal que garantiza que únicamente acepta lo permitido por el teorema de solidez.
La combinación permite distinguir entre la verificación rápida de las pruebas y la comprobación respaldada formalmente.
El equipo de Anthropic también señala que Claude participó en la optimización del sistema.
Para qué podría utilizarse FlashProve
Anthropic identifica varias aplicaciones potenciales de la inferencia demostrable.
Una de ellas está relacionada con la supervisión regulatoria. Los reguladores podrían confirmar que determinado hardware está proporcionando servicios de inferencia, lo que serviría como apoyo a reglas destinadas a controlar el ritmo de desarrollo de la inteligencia artificial.
Otra posibilidad consiste en facilitar que los laboratorios detecten servidores de inferencia modificados.
Para los usuarios, el sistema permitiría verificar la procedencia de un texto generado por inteligencia artificial y comprobar su vinculación con un modelo específico.
También podría utilizarse para hacer cumplir requisitos regulatorios que permitan servir únicamente modelos aprobados.
En todos estos escenarios, el elemento común es la posibilidad de verificar criptográficamente la identidad del modelo utilizado para producir los tokens.
Límites actuales del prototipo
FlashProve continúa siendo un prototipo de investigación y presenta restricciones concretas en su implementación actual.
El contexto está limitado a 1.024 tokens por petición, utiliza decodificación greedy y, por el momento, admite únicamente modelos de arquitectura MoE.
Estas condiciones delimitan el alcance de las cifras de rendimiento y de las capacidades descritas para el sistema.
Su coste computacional también sigue siendo significativo: generar pruebas requiere aproximadamente entre 70 y 95 veces el tiempo de GPU de la referencia utilizada con vLLM.
En contexto
FlashProve es un proyecto de investigación de código abierto del Frontier Red Team de Anthropic, publicado bajo licencia Apache 2.0. Utiliza pruebas criptográficas basadas en zkSNARK para demostrar que los tokens de una respuesta proceden de un modelo cuyos pesos están vinculados a un compromiso criptográfico, sin revelar dichos pesos.
