Царь-чипы Cerebras: монстр для ИИ, который пока не заменил Nvidia

Aмериканская компания Cerebras делает необычные «царь-чипы» — процессоры размером почти с целую кремниевую пластину, на которой обычно «печатают» десятки маленьких микросхем. В обычной индустрии пластину сначала заполняют множеством чипов, потом разрезают на кусочки и упаковывают. Cerebras пошла другим путём: она берёт почти всю пластину целиком и превращает её в один гигантский «мозг» для вычислений. На первый взгляд это звучит как чистая выгода: меньше промежуточных операций, меньше «стыковок» между множеством чипов, быстрее обмен данными внутри одной системы. Именно поэтому такие решения интересны не для домашних компьютеров, а для крупных задач в дата-центрах — особенно для искусственного интеллекта, где важно гонять огромные объёмы данных туда-сюда без задержек.

Чем «царь-чип» отличается от обычного

В тексте приводятся цифры, чтобы показать масштаб. Первое поколение WSE-1 (2019 год) имело 1,2 трлн транзисторов и 18 Гбайт очень быстрой встроенной памяти. А нынешнее поколение WSE-3 (март 2024 года) — уже 4 трлн транзисторов и 44 Гбайт встроенной памяти SRAM. Важнее даже не число транзисторов, а идея: память и вычислительные блоки находятся очень близко друг к другу — поэтому «узкое место» в виде медленной передачи данных становится меньше. Это даёт огромный выигрыш в задачах искусственного интеллекта, где компьютер постоянно перемножает большие таблицы чисел (матрицы). Когда всё «лежит рядом», система работает быстрее. Такие чипы можно соединять в большие комплексы — до 2048 узлов, получая пиковую производительность 256 Эфлопс. Для читателя без компьютерного бэкграунда это означает одно: «очень много вычислений за очень короткое время».

Почему дата-центры не переходят на это массово

Если всё так хорошо, возникает главный вопрос материала: почему «царь-чипы» пока используются не везде, а лишь «в нескольких суперкомпьютерах» и «в ряде ЦОДов»? И почему Cerebras даже отозвала заявку на IPO (сама компания объясняет это задержкой документов у регуляторов, а не техническими проблемами)? В статье перечисляются причины, которые выглядят приземлённо. Первая — деньги: оценка стоимости крупного кластера CS-3 — 5–6 млрд долларов, и цена «за единицу мощности» оказывается сравнимой с системами на популярных чипах Nvidia. Вторая — специализация: царь-чипы великолепны, когда данные «разреженные» (внутри много нулей), но при переходе к «плотным» данным их скорость может падать в разы и даже на порядок. Третья — производство: у такого гигантского кристалла почти неизбежно будут дефектные участки, их приходится отключать и обходить программно, что тоже съедает часть эффективности.