Des chercheurs de l’EPFL ont identifié des unités spécifiques au sein de grands modèles d’intelligence artificielle qui sont cruciales pour le traitement du langage, établissant un parallèle avec le système de langage du cerveau. Ces unités, appelées « unités sélectives du langage », ont été identifiées en comparant leur activité lors du traitement de phrases réelles et de listes de mots aléatoires. L’étude a révélé que moins de 100 neurones, soit environ 1 % des unités du modèle, sont indispensables aux tâches linguistiques. Lorsque ces unités sont désactivées, les modèles ne parviennent pas à produire un texte cohérent et obtiennent de mauvais résultats aux tests linguistiques, ce qui souligne leur importance dans la compréhension et la production du langage.
La recherche, menée par le Laboratoire de NeuroAI et le Laboratoire de traitement du langage naturel de l’EPFL, a également cherché à savoir si des unités spécialisées similaires existaient pour les tâches de raisonnement et de pensée sociale au sein des modèles. Certains modèles présentaient ces unités spécialisées, d’autres non, ce qui a soulevé des questions sur les facteurs influençant leur présence et leur impact sur la performance du modèle. Les résultats suggèrent que les données et les méthodes de formation pourraient jouer un rôle dans le développement de ces unités spécialisées. Les recherches futures visent à étudier les modèles multimodaux qui traitent différents types d’informations, tels que les images et les sons, afin de comprendre comment ces modèles traitent le langage et d’autres tâches cognitives. Cette recherche ne fait pas seulement progresser notre compréhension des modèles d’IA, elle offre également des perspectives sur le fonctionnement du cerveau humain, ce qui pourrait faciliter le diagnostic et le traitement des troubles du langage.
Source :
https://news.epfl.ch/news/a-step-towards-understanding-machine-intelligence-/
