Le Youtubeur Dwarkesh Patel pose (ici) la question qui tue : si les modèles d’IA approchaient vraiment de capacités d’apprentissage similaires à celles des humains, pourquoi les laboratoires dépenseraient-ils actuellement des milliards de dollars pour que des experts créent péniblement des environnements d’entraînement spécialisés afin d’enseigner aux modèles des compétences aussi basiques que… la navigation dans les navigateurs ? Soit l’IAG est imminente (donc, horreur ! les modèles peuvent apprendre de nouvelles tâches rapidement comme un humain), soit les laboratoires ont raison d’investir massivement dans cette infrastructure de “mid-training” (mais, dans ce cas, cela signifie que les modèles manquent fondamentalement de capacités d’apprentissage général). Mais les 2 ne peuvent pas être vrais simultanément…
Le chercheur en IA, Beren Millidge, confirme : ces investissements révèlent que les modèles actuels manquent fondamentalement des capacités d’apprentissage sur le terrain et de généralisation. Un humain apprend à naviguer dans un nouveau site web en quelques minutes d’exploration autonome, les modèles d’IA, malgré leurs milliards de paramètres, nécessitent des millions d’exemples soigneusement construits, des environnements de renforcement élaborés, et des ingénieurs payés pour générer des données d’entraînement spécialisées, et ce juste pour accomplir cette même tâche basique.
Plus intéressant encore : les recherches du philosophe Toby Ord analysant les benchmarks de la série o1 d’OpenAI (spécifiquement conçue pour utiliser massivement l’apprentissage par renforcement, RL) montrent que le RL nécessite beaucoup plus de puissance de calcul que le pré-entraînement : environ un million de fois pour obtenir des gains équivalents à un seul saut de niveau GPT. Si cette découverte se confirme, toute la stratégie du “on va juste scaler plus” s’effondre. Et donc les labos ont misé des centaines de milliards sur l’hypothèse que plus de compute, plus on obtiens de capacités, mais, en fait, non.
Et la voie vers l’IAG par augmentation de puissance de calcul devient un bullshit.
Et les milliards investis dans cette direction ? Du capital fictif pariant sur une impossibilité technique que les chercheurs connaissent déjà mais que les Musk, Altman et compagnie refusent d’admettre publiquement pour mieux nous bourrer le mou…
Laisser un commentaire