OpenAI Open Source PaperBench, redéfinit l'évaluation des meilleurs agents IA

Jin10 données, le 3 avril, à 1 heure du matin, OpenAI a publié un tout nouveau benchmark d'évaluation des agents AI - PaperBench. Ce benchmark évalue principalement les capacités de recherche, d'intégration et d'exécution des agents intelligents, nécessitant la reproduction des meilleures publications de la Conférence internationale sur l'apprentissage automatique de 2024, y compris la compréhension du contenu des publications, la rédaction de code et l'exécution d'expériences. Selon les données de test publiées par OpenAI, les agents créés par des modèles de grande renommée ne peuvent actuellement pas surpasser les doctorants spécialisés en apprentissage automatique de haut niveau. Cependant, ils sont très utiles pour l'apprentissage auxiliaire et la compréhension des contenus de recherche.