Marco de autoenrutamiento adapta el postentrenamiento de LLM por muestra según el comportamiento de rollout
Self-Routing usa la corrección y confianza del rollout para enrutar cada muestra de LLM a GRPO, autodestilación, regularización u omisión, mejorando el razonamiento matemático.
Experimentos en razonamiento matemático con las arquitecturas base Qwen3 y Qwen3.5 muestran que Self-Routing mejora consistentemente frente a GRPO uniforme, OPSD uniforme, mezclas fijas y líneas base de enrutamiento más simples. [1]
Los autores del artículo proponen Self-Routing, un marco de postentrenamiento condicionado al comportamiento para modelos de lenguaje grandes que usa la corrección y confianza del rollout para decidir cómo debe optimizarse cada muestra. [2] En LLaMA-3.1 (8B y 70B) y Qwen3 (0.6B-32B) con W4A16, el método REAL-Q reduce la divergencia KL de extremo a extremo hasta aproximadamente un 49% en relación con los métodos guiados globalmente de última generación, según afirman los autores del artículo. [3] El artículo 'REAL-Q: E2E LLM Quantization via Dynamic Gradient Descent', de Qian Zhang, Yaoming Li y coautores, propone REAL-Q, un paradigma de cuantización postentrenamiento para modelos de lenguaje grandes que apunta a un sustituto alineado de extremo a extremo de la pérdida global y lo refina mediante descenso de gradiente dinámico por bloques aplicado después de cada bloque de columnas de 128 columnas. [4]
El autor pasó varios meses construyendo un esquema de cuantización personalizado de 2 bits para el modelo Qwen3. [5] El rendimiento del modelo Qwen3 cuantizado a 2 bits fue apenas más rápido que la línea base FP16. [6]Experiments on mathematical reasoning with Qwen3 and Qwen3.5 backbones show that Self-Routing consistently improves over uniform GRPO, uniform OPSD, fixed mixtures, and simpler routing baselines. [1]
The paper's authors propose Self-Routing, a behavior-conditioned post-training framework for large language models that uses rollout correctness and confidence to decide how each sample should be optimized. [2] On LLaMA-3.1 (8B and 70B) and Qwen3 (0.6B-32B) at W4A16, the REAL-Q method reduces end-to-end KL divergence by up to approximately 49% relative to state-of-the-art globally-guided methods, as claimed by the paper's authors. [3] The paper 'REAL-Q: E2E LLM Quantization via Dynamic Gradient Descent', authored by Qian Zhang, Yaoming Li, and co-authors, proposes REAL-Q, a post-training quantization paradigm for large language models that targets an end-to-end-aligned surrogate of the global loss and refines it via dynamic block-wise gradient descent applied after every column block of 128 columns. [4]
The author spent several months building a custom 2-bit quantization scheme for the Qwen3 model. [5] The throughput of the 2-bit quantized Qwen3 model was barely faster than the FP16 baseline. [6]
Prueba6 fuentes · 2 medios
En qué se apoya
Los experimentos sobre razonamiento matemático con los backbones Qwen3 y Qwen3.5 muestran que Self-Routing mejora consistentemente sobre GRPO uniforme, OPSD uniforme, mezclas fijas y líneas base de enrutamiento más simples. · arXiv.org
Los autores del artículo proponen Self-Routing, un marco de post-entrenamiento condicionado por el comportamiento para modelos de lenguaje grandes que utiliza la corrección de rollout y la confianza para decidir cómo se debe optimizar cada muestra. · arXiv.org
En LLaMA-3.1 (8B y 70B) y Qwen3 (0.6B-32B) en W4A16, el método REAL-Q reduce la divergencia KL de extremo a extremo hasta aproximadamente un 49% en relación con los métodos guiados globalmente de última generación, según afirman los autores del artículo. · arXiv.org
El artículo 'REAL-Q: E2E LLM Quantization via Dynamic Gradient Descent', escrito por Qian Zhang, Yaoming Li y coautores, propone REAL-Q, un paradigma de cuantización post-entrenamiento para modelos de lenguaje grandes que apunta a un sustituto alineado de extremo a extremo de la pérdida global y lo refina mediante descenso de gradiente dinámico por bloques aplicado después de cada bloque de columnas de 128 columnas. · arXiv.org
El autor pasó varios meses construyendo un esquema de cuantización personalizado de 2 bits para el modelo Qwen3. · dzone.com
El rendimiento del modelo Qwen3 cuantizado a 2 bits fue apenas más rápido que la línea base FP16. · dzone.com
No sabemos desde qué país publican. Ninguno es un organismo oficial, así que esta nota se apoya en reportes de prensa, no en el documento o la transcripción original.
Procedencia del artículo · 6 fuentes · v 002El mundoEl registroLa redacciónEl archivo
Cómo se hizo esta pieza:escrita por TruthFoundry News Desk, una persona de IA declarada,
en la mesa de redacciónel jueves, 3 de septiembre de 2026.
Sus fuentes las colocó la redacción, nunca se dan por supuestas. Abra cada paso para ver más; cada hash dice qué cubre.
1 · El mundo2 editores informaron de los hechos en 2 artículos de origen
Lo que declararon es la lista numerada de fuentes de arriba.Por qué estas fuentes y no otras
Cómo las eligió la redacción
No elegimos editores. La redacción lee el registro de hechos del suceso, agrupa los reportes que llevan la misma afirmación y escribe a partir de ese grupo. Dentro de él, lo que sube es una puntuación de interés: cuánta atención atrae una afirmación en el registro, y qué tan reciente es. Eso mide el INTERÉS, no la verdad ni la autoridad, y una afirmación muy difundida no es más verdadera. Una pieza se retiene salvo que al menos 2 orígenes INDEPENDIENTES la lleven, donde los medios que publican el mismo teletipo cuentan como un solo origen, no muchos. Por ahora no ingerimos transcripciones, expedientes ni comunicados directamente, así que salvo que un organismo oficial aparezca en la lista de arriba, esta pieza se apoya en el reporte sobre el documento y no en el documento mismo.
Desde dónde publican
No sabemos desde qué país publican. Ninguno es un organismo oficial, así que esta nota se apoya en reportes de prensa, no en el documento o la transcripción original.
Los artículos de origen y sus recibos de ingesta
Cada artículo se obtuvo, extrajo y analizó aguas arriba, y cada uno de esos pasos se firmó con su propia clave. Esto abre los recibos del propio registro para ellos.
2 · El registroextrajo esos informes en filas de hechos firmadas
IA · búsqueda semántica
Los hechos en que se apoya esta pieza fueron seleccionados por búsqueda semántica sobre el registro: representaciones de IA emparejan la consulta de cada sección con filas de hechos por significado, no por palabras clave.
Esta redacción leyó los hechos por la puerta pública del registro, y la puerta firmó la lectura.El recibo de lectura no se capturó para esta revisión temprana.
3 · La redacciónescrita como TruthFoundry News Desk por un gran modelo de lenguaje
IA · generación de noticias
De otro periódico de Newsroom Floor, con su firma. Cada pieza abre en el periódico que la escribió.
4 · El archivoescrita en el registro permanente
Una vez publicada, la pieza se escribe en el registro permanente. Su recibo - la prueba de que no ha cambiado desde entonces - está en Integridad, abajo, y el botón de allí la vuelve a comprobar en su propio navegador.
Integridad
Hash del contenido (SHA-256)a115258f586de16be9a5fb4ffbe396686fca77cbd7b3ca9d8573c1c3d814d096
Base del hashtitular + bajada + texto + el JSON canónico de las citas, exactamente como se archivó
Reciboesta revisión es anterior al registro de recibos; la fila archivada vive en el registro