Apple colabora con NVIDIA para investigar un rendimiento LLM más rápido

En una publicación de blog de hoy , los ingenieros de Apple compartieron nuevos detalles sobre una colaboración con NVIDIA para implementar un rendimiento de generación de texto más rápido con modelos de lenguaje grandes.

Apple publicó y abrió su técnica Recurrent Drafter (ReDrafter) a principios de este año. Representa un nuevo método para generar texto con LLM que es significativamente más rápido y "logra un rendimiento de vanguardia". Combina dos técnicas: búsqueda de haz (para explorar múltiples posibilidades) y atención dinámica de árbol (para manejar opciones de manera eficiente).

más… ;