Откуда мы знаем, как говорить и читать? Эти важные вопросы привели к новому исследованию Массачусетского технологического института, в котором используются модели искусственного интеллекта для изучения того, как и почему наш мозг понимает язык. Как ни странно, ваш мозг может работать точно так же, как функция автокоррекции в вашем смартфоне.
Новое исследование, опубликованное в журнале Proceedings of the National Academy of Sciences, показывает, что функции этих языковых моделей ИИ напоминают метод обработки языка в человеческом мозге, предполагая, что человеческий мозг может использовать предсказание следующего слова для обработки языка.
Последнее поколение языковых моделей искусственного интеллекта было разработано для предсказания следующего слова в тексте, подобно функции автокоррекции в iMessage, однако разработчики этой технологии заметили нечто новое. Похоже, что эти модели также узнают что-то о смысле текста, демонстрируя способность к пониманию.
"Чем лучше модель предсказывает следующее слово, тем больше она соответствует человеческому мозгу", - говорит Нэнси Канвишер, профессор когнитивной нейронауки и автор нового исследования. "Удивительно, что модели так хорошо совпадают, и это косвенно наводит на мысль, что, возможно, языковая система человека предсказывает, что произойдет дальше".

Предыстория: ИИ может делать большие предсказания

Эта новая модель ИИ для предсказания следующего слова является частью глубоких нейронных сетей, категории моделей ИИ. В последнее десятилетие эти модели использовались для воссоздания функций мозга, а именно распознавания объектов.


Нейронные сети могут функционировать аналогично человеческому мозгу, поскольку они смоделированы по образцу мозга. Они состоят из тысяч узлов обработки, которые плотно связаны между собой и передают друг другу информацию.
Модели нейронных сетей, которые сейчас называют "глубоким обучением", часто встречаются в повседневных технологиях. Они используются в распознавателях речи на смартфонах и в автоматическом переводчике Google.

Анализ: понимание мозга

В новом исследовании группа ученых из Массачусетского технологического института проанализировала 43 различные языковые модели, многие из которых были оптимизированы для предсказания следующего слова. Эти модели включают в себя GPT-3 (Generative Pre-trained Transformer 3), которая может генерировать реалистичный текст при получении подсказки, или другие модели, разработанные для обеспечения функции заполнения пробелов.
Исследователи предъявили каждой модели строку слов, чтобы измерить активность ее нейронных узлов. Затем они сравнили эти модели с активностью человеческого мозга, измеренной при выполнении испытуемыми таких языковых задач, как аудирование, чтение полных предложений и чтение по одному слову.
Исследование показало, что наиболее эффективные модели предсказания следующего слова имели модели активности, которые имели наибольшее сходство с человеческим мозгом. Кроме того, активность в этих же моделях коррелировала с поведенческими показателями человека, такими как скорость чтения текста.
"Мы обнаружили, что модели, которые хорошо предсказывают нейронные реакции, также имеют тенденцию лучше всего предсказывать реакции человеческого поведения, в виде времени чтения. А затем оба этих показателя объясняются эффективностью модели в предсказании следующего слова. Этот треугольник действительно связывает все воедино", - говорит Мартин Шримпф, аспирант, работающий в Центре мозга, разума и машин Массачусетского технологического института.


Перспектива: объединение языка и восприятия

Результаты нового исследования позволяют предположить, что предсказание следующего слова является одной из ключевых функций в обработке языка, что подтверждает ранее выдвинутую, но еще не подтвержденную гипотезу. Ученые не нашли никаких мозговых схем или механизмов, которые осуществляют этот тип обработки.
"Одна из проблем обработки языка заключается в том, что она происходит в режиме реального времени", - сказал Джошуа Тененбаум, профессор вычислительной когнитивной науки в Массачусетском технологическом институте. "Язык приходит, и вы должны успевать за ним и быть в состоянии понять его смысл в режиме реального времени".


В дальнейшем исследователи планируют построить варианты моделей предсказания следующего слова, чтобы увидеть, как небольшие изменения между каждой моделью влияют на их способность к обработке. Они также планируют объединить эти языковые модели с компьютерными моделями, разработанными для выполнения других задач, сходных с мозгом, таких как восприятие физического мира.
"Если мы сможем понять, что делают эти языковые модели и как они могут быть связаны с моделями, которые делают вещи, более похожие на восприятие и мышление, то это может дать нам более интегративные модели того, как все работает в мозге", - говорит Тененбаум.
"Это может привести нас к лучшим моделям искусственного интеллекта, а также дать нам лучшие модели того, как работает большая часть мозга и как возникает общий интеллект, чем те, которые мы имели в прошлом".