OpenAI actualizó varios puntos de referencia de evaluación para su modelo GPT-6 Astra después de publicar una entrada de blog el 3 de septiembre que experimentó problemas de implementación y una breve retractación. ^[1] Mengqi Yuan del XLANG Lab de la Universidad de Hong Kong presentó OSWorld 2.0, un punto de referencia que consta de 108 flujos de trabajo de uso de computadora en el mundo real de largo plazo que abarcan 31 sitios web autogestionados y aplicaciones de escritorio profesionales. ^[2] Un portavoz de OpenAI declaró que se realizaron correcciones al blog de lanzamiento para garantizar que los números representaran la mejor estimación del rendimiento disponible del modelo para comparaciones significativas para los usuarios. ^[3] Investigadores del Stanford Intelligent Systems Laboratory y del Stanford Trustworthy AI Lab sugirieron que los rápidos cambios en las métricas indican 'benchmaxxing', una práctica de maximizar puntuaciones volviendo a ejecutar evaluaciones con diferentes condiciones. ^[4] La tasa de alucinación reportada para GPT-6 Astra cambió de 4.2% en las primeras instantáneas a 2% en una versión posterior antes de volver a 4.2%. ^[5] Claude Fable 5.1, lanzado menos de 24 horas antes de la presentación, elevó las puntuaciones de crédito parcial de OSWorld 2.0 por encima del 60% y la finalización binaria por encima del 45%. ^[6] La tarea promedio en OSWorld 2.0 requiere más de 300 pasos del agente, y el 69.6% de las tareas le toma a un humano capacitado más de una hora completarlas. ^[7] El mejor sistema evaluado en el artículo completa solo el 20.6% de las tareas de OSWorld 2.0 directamente, con una puntuación de crédito parcial del 54.8%. ^[8]