Чип Cerebras в 10000 раз быстрее, чем графический процессор

Компания Cerebras Systems и Национальная лаборатория энергетических технологий при федеральном министерстве энергетики объявили, что система CS-1 компании более чем в 10 000 раз быстрее, чем графический процессор (GPU). На практическом уровне это означает, что нейронные сети ИИ, на обучение которых раньше уходили месяцы, теперь могут обучаться в системе Cerebras за считанные минуты.

Cerebras производит самый большой в мире компьютерный чип, WSE. Производители микросхем обычно вырезают пластину из слитка кремния диаметром 12 дюймов для обработки на заводе по производству микросхем. После обработки пластина разрезается на сотни отдельных микросхем, которые можно использовать в электронном оборудовании.

Но Cerebras, созданная основателем SeaMicro Эндрю Фельдманом, берет эту пластину и делает из нее один массивный чип. Каждая часть чипа, называемая ядром, сложным образом соединена с другими ядрами. Межсоединения предназначены для того, чтобы все ядра работали на высоких скоростях, поэтому транзисторы могут работать вместе как одно целое.

Система CS-1 Cerebras использует микросхему размером с пластину WSE, которая имеет 1,2 триллиона транзисторов, основных электронных переключателей, которые являются строительными блоками кремниевых чипов. Первый процессор Intel 4004 в 1971 году имел 2300 транзисторов, а чип Nvidia A100 80 ГБ , анонсированный вчера, – 54 миллиарда транзисторов.

Фельдман сказал в интервью VentureBeat, что CS-1 также был в 200 раз быстрее, чем суперкомпьютер Joule, который занимает 82-е место в списке 500 лучших суперкомпьютеров в мире.

«Он показывает рекордную производительность», – сказал Фельдман. «Это также показывает, что у технологии масштабирования пластин есть приложения, выходящие за рамки ИИ».

Это плоды радикального подхода Cerebras из Лос-Альтоса, штат Калифорния, который создал кремниевую пластину с 400 000 AI-ядер вместо того, чтобы разрезать эту пластину на отдельные микросхемы. По словам Фельдмана, необычный дизайн значительно упрощает выполнение задач, поскольку процессор и память расположены ближе друг к другу и имеют большую пропускную способность для их соединения. Остается вопрос, насколько широко этот подход применим к разным вычислительным задачам.

В документе, основанном на результатах работы Cerebras с федеральной лабораторией, говорится, что CS-1 может обеспечивать производительность, недостижимую с любым количеством центральных процессоров (ЦП) и графических процессоров, которые обычно используются в суперкомпьютерах. (В настоящее время графические процессоры Nvidia используются в 70% ведущих суперкомпьютеров ). Фельдман добавил, что это правда, «независимо от того, насколько велик этот суперкомпьютер».

На этой неделе Cerebras будет представлена ​​на онлайн-мероприятии по суперкомпьютерам SC20 . CS-1 превосходит суперкомпьютер Joule по вычислительной гидродинамике, моделирующей движение жидкостей в таких местах, как карбюратор. Строительство суперкомпьютера Joule обходится в десятки миллионов долларов, он состоит из 84 000 ядер ЦП, распределенных по десяткам стоек, и потребляет 450 киловатт энергии.

В этой демонстрации суперкомпьютер Joule использовал 16 384 ядра, а компьютер Cerebras был в 200 раз быстрее, по словам директора энергетической лаборатории Брайана Андерсона. Cerebras стоит несколько миллионов долларов и потребляет 20 киловатт энергии.

«Для таких рабочих нагрузок CS-1 является самой быстрой машиной из когда-либо созданных», – сказал Фельдман. «И это быстрее, чем любая другая комбинация или кластер других процессоров».

Один Cerebras CS-1 имеет высоту 26 дюймов, умещается в одной трети стойки и работает от единственного в отрасли процессора обработки пластин Cerebras WSE. Он сочетает в себе производительность памяти с большой пропускной способностью, межпроцессорным взаимодействием с малой задержкой и архитектурой, оптимизированной для вычислений с высокой пропускной способностью.

Исследованием руководили Дирк Ван Эссенделфт, инженер по машинному обучению и данным в NETL, и Майкл Джеймс, соучредитель Cerebras и главный архитектор передовых технологий. Результаты пришли после месяцев работы.

В сентябре 2019 года Министерство энергетики объявило о своем партнерстве с Cerebras, включая развертывание с Аргоннской национальной лабораторией и Ливерморской национальной лабораторией Лоуренса.

Cerebras CS-1 был анонсирован в ноябре 2019 года. CS-1 построен на основе WSE, который в 56 раз больше, имеет в 54 раза больше ядер, в 450 раз больше встроенной памяти, в 5788 раз больше пропускной способности памяти и в 20 833 раза. По словам Cerebras, пропускная способность фабрики выше, чем у ведущего конкурента GPU.

В зависимости от рабочей нагрузки, от искусственного интеллекта до высокопроизводительных вычислений, CS-1 обеспечивает в сотни или тысячи раз больше вычислительных ресурсов, чем унаследованные альтернативы, и делает это с меньшими затратами энергии и пространства.

Фельдман отметил, что CS-1 может завершать вычисления быстрее, чем в реальном времени, что означает, что он может начать моделирование реакционного ядра электростанции, когда реакция начинается, и завершить моделирование до того, как реакция закончится.

«У этих задач динамического моделирования есть интересная особенность», – сказал Фельдман. «Они плохо масштабируются по ядрам CPU и GPU. На языке ученого-вычислителя они не демонстрируют «сильного масштабирования». Это означает, что после определенного момента добавление дополнительных процессоров к суперкомпьютеру не приведет к дополнительному увеличению производительности ».

Cerebras привлекла 450 миллионов долларов и насчитывает 275 сотрудников.