En una publicación de blog de hoy , los ingenieros de Apple compartieron nuevos detalles sobre una colaboración con NVIDIA para implementar un rendimiento de generación de texto más rápido con modelos de lenguaje grandes.
Apple publicó y abrió su técnica Recurrent Drafter (ReDrafter) a principios de este año. Representa un nuevo método para generar texto con LLM que es significativamente más rápido y "logra un rendimiento de vanguardia". Combina dos técnicas: búsqueda de haz (para explorar múltiples posibilidades) y atención dinámica de árbol (para manejar opciones de manera eficiente).
más… ;
