TokenGate acelera hasta 11,3 veces el procesamiento de contextos largos en LLMs con poda inteligente de tokens
Investigadores de Stanford y UC Berkeley presentan TokenGate, un módulo que aprende qué tokens conservar durante el procesamiento inicial de un modelo de lenguaje. El método alcanza aceleraciones de entre 1,4 y 11,3 veces y reduce el uso máximo de memoria entre 1,5 y 3,4 veces, según los resultados publicados.
Equipo Aitualizate