Cerebras Systems, молодая компания, занимающаяся созданием Искусственного Интеллекта, готова предъявить миру Cerebras WSE (Cerebras Wafer Scale Engine) – самый большой, самый мощный в истории и самый умный полупроводниковый чип.

Cerebras WSE имеет 1,2 триллиона транзисторов, базовых электронных выключателей, которые являются строительными блоками кремниевых чипов. Для сравнения первый процессор Intel 4004, выпущенный в 1971 году имел 2300 транзисторов, а новейший процессор Advanced Micro Devices имеет 32 миллиарда транзисторов. Однако вопрос здесь вовсе не в количестве транзисторов.

Большинство существующих в мире чипов на самом деле представляют собой набор микросхем, созданных на основе 12-дюймовой кремниевой пластины – они производятся на специальныз заводах огромными партиями. Но чип Cerebras Systems – это 400 000 ядер, соединенных на одной пластине. Соединения спроектированы так, чтобы все это функционировало на высоких скоростях, поэтому триллион транзисторов работают вместе как одно целое. Но и это еще не всё.

На сегодняшний день самый большой в мире чип создан Samsung – его структура построена на 2 триллионах транзисторов. Однако чип Samsung – это просто огромная карта памяти, а чип Cerebras – это сложнейшая нейросеть, специально созданная для обучения искусственного Интеллекта. Чип Cerebras может похвастаться 400 000 ядер на 42 225 квадратных миллиметров. Это в 56,7 раза больше, чем самый большой графический процессор Nvidia, в котором всего 21,1 миллиарда транзисторов.


Еще одна особенность Cerebras WSE – чип разработан с возможностью маршрутизации вокруг дефектных областей.

При производстве чипа невозможно сделать идеальной всю кремниевую пластину, поэтому в процессе изготовления микросхем получаются области, непригодные для использования. Nvidia, Intel и другие производители чипов обходят проблему просто: они вырезают “правильные” чипы в производственной пластине и выбрасывают все остальные. Но этого нельзя сделать, если каждый чип кремниевой пластины является частью общей цепи. Поэтому Cerebras пришлось встроить избыточные схемы, чтобы, в случае поломки или выгорания одной из них её функции взяли на себя остальные. То есть по сути чип Cerebras – это миниатюрный интернет со своими серверами и рабочими станциями. И все эти станции призваны обслуживать один Искусственный Интеллект.

Компании, занимающиеся разработкой собственного ИИ являются сегодня главными потребителями чиповых технологий, закупая детали в огромном количестве. И размеры используемых чипов критически важны в процессе обучения ИИ.

Google, Facebook, OpenAI, Tencent, Baidu и многие другие утверждают, что фундаментальное ограничение современного ИИ состоит в том, что обучение моделей занимает слишком много времени. Например суперкомпьютер Nvidia, состоящий из десятков самых современных графических процессоров, тратит несколько недель на настройку кода – то есть на процесс обучения нейтронной сети.

Решением проблемы стало бы увеличения количества чипов в компьютере, однако, когда чипов собирается более восьми – производительность компьютера уже не растет, а уменьшается, поскольку при обмене чипами информацией накапливаются ошибки.


Сами разработчики описывают свой проект следующим образом: «Самая сложная часть для ИИ – это перемещение данных. Обучение нейронной сети требует, чтобы тысячи операций выполнялись параллельно в каждый момент времени, и чипы должны постоянно обмениваться данными, поскольку они выполняют эти параллельные операции. Но компьютеры с несколькими микросхемами ломаются, пытаясь передавать данные между микросхемами по медленным проводам, которые связывают их на печатной плате. Нужно было что-то, что могло бы перемещать данные со скоростью самого чипа. Решение состояло в том, чтобы взять самую большую пластину, которую вы можете найти, и вырезать из нее самую большую микросхему».

Память является ключевым компонентом любой компьютерной архитектуры. Память, расположенная ближе к вычислительным блокам , обеспечивает более быстрые вычисления, меньшую задержку и лучшую энергоэффективность при перемещении данных. Однако размер кристалла ограничен и основной объем памяти в компьютере находится вне кристалла. Cerebras Systems обошли и эту проблему, наделив каждое ядро доступом к 18 гигабайтам встроенной памяти. В результате Cerebras Wafer Scale Engine имеет в 3000 раз больше встроенной памяти, чем самый передовой графический процессор, при этой её пропускная способность в 10 000 раз больше.

Первые образцы нового чипа поступят в продажу уже в сентябре, при этом Cerebras Systems, нарушив уже все существующие правила компьютерной индустрии, нарушила и принцип разделения производства вычислительных блоков и чипов. Cerebras Wafer Scale Engine будет продаваться как единое, разработанное компанией устройство, интегрированное в сложную сеть водяного охлаждения, поскольку чип выделяет экстремальное тепло, потребляя при столь маленькой площади 15 киловатт.


Основатель Cerebras Systems и исполняющий обязанности генерального директора компании говорит следующее: «Разработанный с нуля для работы с ИИ, Cerebras WSE содержит фундаментальные инновации, которые, наконец, ломают многолетний застой современного состояния производства. В результате Cerebras WSE обеспечивает рост производительности в сотни или тысячи раз по сравнению с современными модульными решениями. И всё это при смешной потребляемой мощности и незначительном объеме пространства».