Компания Google, принадлежащая Alphabet Inc, во вторник опубликовала новые подробности о суперкомпьютерах, которые она использует для обучения своих моделей искусственного интеллекта. Она сообщила, что эти системы быстрее и энергоэффективнее, чем аналогичные системы от Nvidia Corp.
Google разработала собственный тензорный процессор (Tensor Processing Unit, TPU). Эти чипы используются более чем в 90% проектах компании по обучению искусственного интеллекта, во время которых происходит подача данных через модели. Искусственный интеллект обучается выполнению таких задач, как ответ на текстовые запросы человека или генерация изображений.
Google использует чип TPU уже четвертого поколения. Во вторник компания опубликовала научную статью, в которой подробно описала, как она объединила более 4000 чипов в суперкомпьютер, используя оптические переключатели собственной разработки для соединения отдельных машин.
Усовершенствование этих соединений стало ключевым моментом в конкуренции среди компаний, создающих суперкомпьютеры на основе искусственного интеллекта. Так называемые большие языковые модели, на которых работают такие технологии, как Bard от Google или ChatGPT от OpenAI, увеличились в размерах и стали слишком велики для хранения на одном чипе.
Вместо этого модели приходится распределять на тысячи чипов, которые затем должны работать вместе в течение недель или более продолжительного периода для обучения модели. Модель PaLM компании Google — самая большая из публично раскрытых языковых моделей на сегодняшний день. Она была обучена путем разделения на два суперкомпьютера с 4000 чипами в течение 50 дней.
В своем документе Google заявила, что для систем сопоставимого размера ее чипы в 1,7 раза быстрее и в 1,9 раза энергоэффективнее, чем система на базе чипа A100 от Nvidia. Последний был представлен на рынке одновременно с четвертым поколением TPU.
Google не сравнивала свой чип четвертого поколения с текущим флагманским чипом Nvidia H100, поскольку H100 появился на рынке после чипа Google и сделан по более новой технологии.
Представители Google намекнули, что компания работает над TPU следующего поколения, который будет конкурировать с Nvidia H100, но не сообщили подробностей.