El proyecto llama.cpp ha actualizado su backend SYCL para fusionar operaciones de norma RMS, multiplicación y suma bajo la bandera GGML_SYCL_ENABLE_FUSION. ^[1] KernelFoundry logró una aceleración promedio de 2.3 en KernelBench para kernels SYCL en comparación con trabajos anteriores. ^[2] Los autores presentan KernelFoundry, un marco evolutivo diseñado para optimizar kernels de GPU mediante la comprensión de la arquitectura del hardware y las estrategias de computación paralela. ^[3] La versión b10817 de llama.cpp introduce dos nuevas variables de entorno, GGML_SYCL_MEMTRACE y GGML_SYCL_MEMTRACE_STEP, para rastrear el uso de memoria de dispositivos SYCL. ^[4] Los tipos de datos compatibles para las operaciones fusionadas incluyen f32, f16, f16/f32, i32, i16 y bf16, cubriendo tanto diseños de memoria de difusión como no contiguos. ^[5] La optimización se extiende a la fusión de cadenas residuales ADD+ADD utilizando el mismo índice binbcast y matriz de tipos que la función add() independiente. ^[6] KernelFoundry incluye un enfoque de optimización de parámetros basado en plantillas para ajustar kernels a entradas y configuraciones de hardware específicas. ^[7] El marco emplea evolución de meta-prompt para co-evolucionar prompts con kernels, descubriendo estrategias de optimización específicas de tareas. ^[8]