OpenAI teste modèles contre spécialistes de 44 professions

OpenAI a présenté nouveau benchmark GDPval, qui teste performance de ses modèles IA comparés aux professionnels de diverses industries. Et est tentative de comprendre à quel point les systèmes OpenAI sont proches de surpasser les humains dans travail économiquement significatif.

Le benchmark est basé sur 9 industries apportant plus grande contribution au produit intérieur brut américain. GDPval teste performance de modèles IA sur 44 professions dans ces industries, des programmeurs aux infirmières et journalistes. Des professionnels expérimentés ont comparé rapports générés par IA avec travaux d’autres spécialistes.

GPT-5 high a été jugé meilleur ou égal aux experts de l’industrie dans 46,6% des cas. Claude Opus 4.1 d’Anthropic a été jugé meilleur ou égal aux experts de l’industrie dans 49% des tâches. Bien qu’OpenAI affirme que Claude a montré de tels résultats élevés en raison de tendance à créer des graphiques attrayants.

Je pense que de tels scores élevés de modèles pourraient être gonflés en raison de limitations de tests. Et ne reflètent pas performance réelle. Le nouveau benchmark lui-même pourrait créer de fausses attentes concernant les capacités de l’IA dans conditions de travail réelles.