МВС-100, суперкомпьютер из России Андрей Масалович

"31 июля закончены технические испытания первого отечественного суперкомпьютера МВС-1000М, который вышел на символический рубеж 1 триллион операций в секунду. Машина, установленная в вычислительном центре РАН, по мощности является 8-й в Европе и 28-й в мире. Такие суперкомпьютеры производят только США и Япония. Теперь - еще и Россия" - так начиналась статья в газете "Известия" от 01.08.2001. В списке Тор-500 суперкомпьютер МВС-1000М сразу оказался на 64 месте, до этого отечественных суперкомпьютеров в этом списке не было. Давайте же приподнимем завесу времен и перенесмся на 10 лет раньше, когда рождался прародитель будущего триумфатора - специализированный суперкомпьютер МВС-100...

Мы привыкли гордиться успехами России в освоении космоса. Мы верим в высокий потенциал отечественной фундаментальной науки. Мы признаем инженерный талант создателей "ядерного щита". Однако отношение к отечественным суперкомпьютерам (без которых все вышеупомянутые достижения были бы просто невозможны) выражается гораздо более сложной гаммой чувств. От категорического непризнания права на существование ("Помилуйте, какие суперкомпьютеры при нашей-то технологии ?!") и шуточек типа "Эльбрус = A-la Burroughs" до веры в миф о сверхмощных и суперсекретных компьютерах специальных ведомств.

И действительно, а был ли суперкомпьютер ? Может суперкомпьютера-то и не было? Цель данной статьи - рассказать о компьютере МВС-100, одном из немногих видов отечественных высокопроизводительных систем, который не только существует и находится в эксплуатации в научных центрах страны, но и реально конкурентоспособен даже в сегодняшних условиях.

ТЫ ПОМНИШЬ, КАК ВСЕ НАЧИНАЛОСЬ...

Название "МВС-100" можно расшифровать как "Многопроцессорная Вычислительная Система производительностью до 100 GFLOPS". Разработка системы была начата в 1992 году силами Института прикладной математики им. Келдыша и научно-исследовательского института "Квант" (впоследствии в число исполнителей вошел Федеральный ядерный центр, один из основных "потребителей" высокопроизводительных вычислительных ресурсов).

Начало 90-х годов было во многом определяющим для мировой индустрии суперкомпьютеров. Во-первых, в эти годы был четко определен облик компьютера следующего поколения (это произошло на конференции PACTA'92 в Барселоне). Требования к суперкомпьютеру конца тысячелетия были определены как "три Т" - производительность 1 TeraFLOPS, емкость памяти 1 Terabyte, скорость передачи информации 1 Terabaud. Введенная в оборот приставка "tera" обозначала 10 в 12-й степени, а перечисленные величины, по оценкам ученых, вплотную подступали к физически достижимым пределам. Во-вторых, окончательно оформился раскол суперкомпьютерной элиты на два "лагеря". Лидеры рынка - фирмы Cray Computers, Thinking Machine, Kendall Square и некоторые другие сделали ставку на "выжимание" предельной производительности из одиночных сверх-быстродействующих процессоров. Маневренные молодые фирмы пошли по пути создания систем с большим (сто и более) числом процессорных элементов. Итог вы знаете - все перечисленные фирмы первой группы ныне банкроты, а популярность многопроцессорной системы Т3D фирмы Cray Research, напротив, день ото дня растет.

Однако не погоня за "терафлопами" побудила отечественных разработчиков взяться за создание новой машины. Причина была куда более прозаичной. У каждой экономически самостоятельной страны, независимо от политической ситуации и состояния промышленности, всегда существуют задачи, требующие приложения вычислительных ресурсов предельной производительности. Расчет фюзеляжей новых аэробусов, моделирование последствий ядерных взрывов и аварий на АЭС, управление космическими объектами и обработка телеметрии - все эти и многие другие задачи требуют реального повседневного использования суперкомпьютеров и их решение нельзя отложить до более подходящих экономических условий. Итак, в начале 90-х определился социальный заказ на отечественный суперкомпьютер, который был бы на порядок быстрее лучших образцов компьютеров "Эльбрус" и на порядок дешевле западных аналогов. Кстати, именно вопросы стоимости, а отнюдь не ограничения COCOM и опасность пресловутых "закладок" потенциального противника обусловили в ту пору отказ от широкого использования импортных суперкомпьютеров.

На первый взгляд, задача казалось невыполнимой. Лучший из отечественных микропроцессоров не превосходил по быстродействию Intel 80386. Самыми быстрыми компьютерами общего назначения являлись "Электроника СС-БИС" и "Эльбрус-3" (теоретическая пиковая производительность 250 MFLOPS и 1 GFLOPS соответственно). Производительность единичных экземпляров специализированных суперкомпьютеров, используемых в оборонных приложениях, с трудом "дотягивала" до 1 GFLOPS. Однако главная проблема заключалась в том, что все существующие компьютерные системы уже исчерпали ресурс заложенных в них идей и увеличить их производительность хотя бы вдвое было практически невозможно. А компьютерная индустрия, вместе со всей нашей промышленностью, стремительно "теряла обороты"...

Однако, как ни парадоксально, именно в это смутное время появился реальный шанс создать действительно конкурентоспособный отечественный суперкомпьютер. В руках разработчиков появились два ключевых компонента, необходимых для построения наращиваемых многопроцессорных систем. Во-первых, стали доступны западные микропроцессоры нового поколения - TI TMS 320C40, Motorola 96002, Intel i860XR, пиковая производительность которых достигла уровня 80-100 MFLOPS. Во-вторых, получили распространение транспьютеры - серийные коммуникационные процессоры, позволяющие строить однородные многопроцессорные системы из десятков и даже сотен процессоров. Опыт практического использования транспьютеров, накопленный в НИИ "Квант" (уже тогда выполнявшем функции координатора Российской транспьютерной ассоциации), позволил принять ряд стратегических решений, определивших впоследствии успешную реализацию проекта МВС-100.

Было решено сконцентрировать усилия на создании семейства программно-совместимых многопроцессорных систем с архитектурой MIMD (Multiply Instruction - Multiply Data). Базовым вычислительным элементом многопроцессорной системы должен был стать какой-либо высокопроизводительный микропроцессор (кстати, рассматривались и варианты разработки новых кристаллов), базовым коммуникационным элементом - транспьютер. Коммутационная схема будущего компьютера должна была базироваться на использовании транспьютерных каналов - "линков", сочетая предельную простоту межмодульных соединений c максимальной гибкостью топологической структуры . Непременным условием являлся и отказ от дорогих и экзотических технологических решений типа жидкостного охлаждения, заказных БИС коммутаторов и др. (Первоначальная концепция проекта и ее обоснование были изложены в статье "Советский суперкомпьютер - возможен ли он сегодня?" - А. Масалович, Журнал д-ра Добба, 1991, N 3, стр.12-15). Совместная реализация перечисленных выше требований позволяла построить семейство компьютеров, включающее как недорогие настольные минисупер-ЭВМ производительностью 200-400 MFLOPS, так и системы с большим числом узлов и быстродействием в десятки GFLOPS.

СЕМЕЙСТВО МВС-100 - "столько производительности, сколько сможешь унести"

Основным "кирпичиком" многопроцессорной системы МВС-100 является процессорный модуль, по сути представляющий собой отдельный миниатюрный суперкомпьютер. Процессорный модуль содержит высокопроизводительный вычислительный процессор, коммуникационный процессор-транспьютер и собственнyю оперативную память объемом до 68 Мбайт. В качестве базового вычислительного процессора был выбран векторно-конвейерный Intel i860, дважды "похороненный" западной прессой, но по-прежнему находящийся на вооружении разработчиков суперкомпьютеров в США и России. Окончательному выбору процессора предшествовала полугодовая исследовательская работа, в ходе которой замерялось реальное быстродействие всех наиболее быстрых процессоров того времени (как серийно выпускаемых, так и экспериментальных) при решении трудоемких фрагментов задач из различных прикладных областей - газовой динамики, обработки сигналов и изображений, ситуационного моделирования. Чемпионом "по сумме баллов" стал процессор i860XR-40 Mhz, быстрее других выполняющий векторные и матричные операции над 64-разрядными вещественными числами. Кстати, современный вариант процессора i860 (модификация XP-50 MHz) справляется со многими задачами газовой динамики быстрее, чем Pentium-90 MHz.

Первый вариант процессорного модуля системы МВС-100, получивший рабочее название SLM-106, оказался (что скрывать !) весьма похожим на популярный в то время модуль TTM-100 британской фирмы Transtech. Однако уже следующая модификация процессорного модуля - SLM-104 - была на 30% компактнее, на 15% быстрее и, разумеется, значительно дешевле западного аналога. А последний вариант модуля (SLM-204) за счет использования специализированных ПЛИС оказался вдвое (!) компактнее аналогичных изделий западного рынка. При этом сохраняется полная программная совместимость с изделиями ведущих мировых фирм, производящих процессорные модули.

Даже одиночный процессор i860, во многом сходный по архитектуре (и, по иронии судьбы, и по пиковому быстродействию - 100 MFLOPS) с первыми образцами векторно-конвейерного суперкомпьютера Cray-1, позволяет проводить сложные матричные вычисления быстрее любой "персоналки". Поэтому младшей моделью семейства МВС-100 является просто плата-ускоритель, содержащая один или два вычислительных модуля и вставляемая внутрь ПК. Однако в полной мере преимущества многопроцессорной системы можно ощутить, используя ее настольный вариант с числом модулей от 4 до 32. Кстати, именно такие мини-суперкомпьютеры получили сегодня наибольшее распространение.

Старшая модель семейства МВС-100 (та самая, которая призвана достичь 100 GFLOPS в максимальной конфигурации) компонуется из однотипных стоек, содержащих по 32 процессорных модуля. Наличие четырех коммутационных "линков" в каждом модуле позволяет создавать широкий класс топологий межсоединений - двумерную решетку, тор, дерево, кольцо и др. Так, в ИПМ особой популярностью пользуется схема соединений в виде т.н. "квази-матрицы" (своеобразного "конверта конвертов"), наиболее подходящей для решения задач газовой динамики. А отказ от нестандартных коммутационных элементов не только удешевил систему, но и сделал ее воистину масштабируемой. Программное обеспечение, написанное для любой модели системы, с легкостью может быть перенесено на другую модель - изменения коснутся только файла конфигурации. Кстати, проблемы с переносом программного обеспечения - основной источник головной боли большинства пользователей суперкомпьютеров.

Ориентация на широкое использование промышленно выпускаемых микропроцессоров позволило справиться еще с одной серьезной проблемой разработки суперкомпьютеров - проблемой охлаждения (вспомните, например, изощренную "сантехнику" суперкомпьютера Cray-4, где процессорные элементы погружены в жидкий азот !). В МВС-100 применено обычное воздушное охлаждение, что позволяет использовать суперкомпьютеры в любых условиях (включая бортовые), а не только в специально оборудованных залах.

"А куда у нее лошадь запрягается ?" - операционная система МВС-100

Если бы соединение сотни процессоров в одну систему позволяло автоматически достигать в сто раз большей производительности - проблемы суперкомпьютеров просто бы не существовало. На практике основным камнем преткновения при создании многопроцессорных систем является именно организация согласованной совместной работы входящих в систему элементов. Без специальной операционной системы (ОС), обеспечивающей "выжимание" предельной производительности из узлов системы и эффективный обмен данными, описанное выше "чудо инженерной мысли" можно рассматривать просто как дорогостоящую груду металлолома. Поэтому параллельно с разработкой аппаратного обеспечения МВС-100 были развернуты работы по созданию специализированной ОС.

Общая структура системного программного обеспечения (СПО) МВС-100 построена исходя из двух основных требований, на первый взгляд трудно совместимых :
- обеспечение высокого уровня сервиса при обслуживании внешних устройств и пользовательских процессов ;
- обеспечение максимально высокой скорости обмена данными между узлами решающего поля.

Для одновременного выполнения этих условий была предложена неоднородная структура ОС, включающая программы двух типов. В узлах, непосредственно связанных с каким-либо ресурсом системы (дисковой подсистемой, управляющей ЭВМ и т.д.) размещается мощная узловая ОС, обеспечивающая высокий уровень обработки запросов. В остальных узлах (а таких большинство), размещается небольшое ядро высокоскоростного маршрутизатора. Таким образом, с точки зрения конечного пользователя (и любого разделяемого ресурса) ОС выглядит мощной и высокоуровневой. Однако реальная скорость передачи в ней намного выше, чем в аналогичных системах других разработчиков. Так, при замерах скорости обменов в режиме "каждый с каждым", скоростные параметры системы были на 15% выше, чем у ОС Helios.

СПО системы построено таким образом, что пользовательская задача может захватить любое количество ресурсов системы - от одного узла до всей системы. Распределение узлов системы между задачами пользователя выполняется статически в момент загрузки очередной задачи. Распределение разделяемых ресурсов (таких как дисковая или графическая подсистемы) выполняется динамически, по запросам пользовательских задач. Управление ресурсами выполняют специальные процессы - "серверы-концентраторы", расположенные в узлах, ближайших к тому или иному ресурсу.

С точки зрения пользовательского процесса ввод-вывод в системе прозрачен, т.е. программа, находящаяся в любом узле, считает все ресурсы системы - диски, экраны, сетевые возможности, клавиатуру и др. - непосредственно доступными. Пользователю даже нет необходимости использовать команды ОС для организации ввода-вывода в узле. Более того, благодаря специальному маршрутизатору, узлы системы могут обмениваться данными "каждый с каждым", независимо от физического расположения. Программы доступа к ресурсам оформлены в виде объектных библиотек, поставляемых с компиляторами языков высокого уровня - С и Фортран. Средства обмена сообщениями между пользовательскими процессами также представлены в виде набора функций объектной библиотеки. Для взаимодействия между процессами выбрана широко известная модель "процесс"-"канал", общепринятая для многопроцессорных изделий на базе транспьютеров. Дополнительное ускорение при передаче данных достигается с помощью т.н. "квази-конвейера" - разделения сообщений на фрагменты, конвейерно передаваемые транзитными узлами.

Одной из основных проблем всякой многопроцессорной системы является проблема тупиковых ситуаций (deadlocks), когда интенсивный обмен сообщениями приводит к блокированию отдельных узлов и частей системы. Чаще всего тупиковые ситуации порождаются вследствие взаимного ожидания данных между несколькими узлами (неспециалисту проще всего это представить как сплошную дорожную "пробку" на Садовом кольце). К сожалению, все известные способы борьбы с тупиками существенно зависят от принятой топологии соединений и конкретных особенностей архитектуры. В МВС-100 была реализована новая оригинальная система преодоления "транспортных заторов" при любой конфигурации системы, даже такой экзотической как "квази-матрица". Удивительно, но исключительно сложный алгоритм "безтупиковой" передачи данных (описание которого занимает около 90 страниц) по сути можно свести к двум простым житейским правилам - "пропускай вперед старших" и "заранее бронируй гостиницы по пути следования".

Happy End ?

Так получилось, что многие посетители выставки "Информатика-95" просто не заметили выставленный там 4-процессорный образец МВС-100, приняв его за подставку к дисплею. Однако миниатюрная коробочка (по объему раз в 6 меньше стандартного процессорного блока ПК) исправно демонстрировала решение задачи, о которую может "сломать зубы" любая станция multimedia. Поступающее с видеокамеры изображение трансформировалось, "натягивалось" на произвольную пространственную фигуру - с тенями, отражениями и т.д. и выводилось на экран монитора (под которым и спрятался суперкомпьютер). И все это в реальном времени ! Конечно, тот, у кого есть лишние 100 тысяч долларов, может спокойно решить эту задачу на специализированной станции Silicon Graphics. Однако наша реальность подтверждает - владелец таких денег, во-первых больше тяготеет к иномаркам, чем к суперкомпьютерам и во-вторых, достаточно далек от научных проблем.

А для многих представителей нашего небогатого научного мира появление МВС-100 позволило подступиться к решению проблем, которые ранее считались неподъемными. Сейчас в стране установлено более 15 образцов МВС-100 - в Москве, Екатеринбурге, Челябинске, Владивостоке, Новосибирске и других городах. Самый крупный из действующих экземпляров МВС-100 (более 100 процессорных модулей) установлен, разумеется, в Институте прикладной математики. С помощью МВС-100 уже успешно выполнены прикладные расчеты по многим важным прикладным задачам :
- рачет аэродинамики летательных аппаратов как в обычных условиях обтекания, так и при наличии в потоке локальных зон энерговыделения ;
- расшифровка и моделирование пространственных структур биомакромолекул ;
- высокоточная навигация и управление в условиях дефицита информации ;
- изучение нелинейного нестационарного переноса частиц и излучения с учетом взаимодействия со средой ;
- детальные нейтронно-физические расчеты ядерных реакторов ;
и ряду других (жаль, что нельзя огласить весь список).

Появились и первые внешние приметы признания успеха проекта. В США была зарегистрирована заявка на патент, содержащая ряд оригинальных архитектурных и системных решений МВС-100. (кстати, патентный поиск и оформление заявки проводила юридическая фирма Patterson & Keough, обслуживающая Cray Research). Автор данной статьи, отвечавший в НИИ "Квант" за разработку СПО МВС-100, удостоился стипендии РАН "Выдающимся ученым России" за 1993 год. Фирма Transtech, неизменный конкурент и партнер проекта в течение многих лет, обратилась в НИИ "Квант" за лицензией на производство нового процессорного модуля SLM-204. Отрадным знаком стала и первая продажа процессорного модуля частной фирме (для управления лабораторным туннельным микроскопом).

Однако было бы неверно закончить эту историю на столь мажорной ноте. Даже Центр управления полетами и Арзамас-16 испытывают сегодня трудности с оснащением вычислительными ресурсами. А для большинства научных коллективов непреодолимой является даже смехотворно низкая планка в 5 тысяч долларов - цена минимальной конфигурации МВС-100. Соответственно смещены и представления о сложности задач, которые возможно и необходимо решать сегодня (какие там глобальные проблемы, когда даже моделирование критических ситуаций многими федеральными службами ведется на простых ПК !). Да и история финансирования самого проекта МВС-100 (которой могут позавидовать многие НИИ) весьма напоминает бег с препятствиями.

И все-таки, нужны ли нам суперкомпьютеры сегодня ? И что может дать стране опыт описанного выше проекта ? Давайте попробуем перечислить те "точки роста", стимулятором которых может выступить МВС-100.

Во-первых, реализованный в рамках проекта МВС-100 метод удаленного доступа к ресурсам супер-ЭВМ (также продемонстрированный на выставке "Информатика-95") открывает потенциальную возможность использования невиданных вычислительных ресурсов для любого владельца "персоналки" с модемом. Уже сегодня такой вид доступа предлагает ИПМ.

Во-вторых, МВС-100 - не просто суперкомпьютер, а промышленно выпускаемое серийное изделие, что позволяет поставить его производство на поток и (чуть не сказал "завалить страну") обеспечить современной техникой любое необходимое количество научных коллектив.

В-третьих, реализованная в МВС-100 схема вычислительного модуля достаточно универсальна и может использоваться как основа для перспективных разработок. Например, уже сегодня технически возможно разместить суперкомпьютер производительностью более 1 GFLOPS в корпусе обычного ПК.

Далее. С усложнением задач управления и контроля все большую актуальность (и популярность) приобретает создание всевозможных ситуационных и аналитических центров - на уровне министерств, ведомств и даже городских администраций. Наивно предполагать, что с растущим валом аналитической обработки может справиться обычный ПК.

Потребность в суперкомпьютерах вскоре появится и в связи с созданием отечественной информационной "супермагистрали". Кстати, места сегодняшней дислокации МВС-100 - от Владивостока до Москвы - весьма близки к потенциальным перекресткам будущего оптоволоконного "шоссе".

Наконец, уровень и само существование собственных суперкомпьютеров в цивилизованных странах является одной из "козырных карт" большой политической игры (достаточно вспомнить хотя бы японский проект компьютеров пятого поколения). Наличие отечественных суперкомпьютеров может стать ключевым в преодолении обидной клички "Верхней Вольты с ракетами" и в восстановлении престижа страны на мировой арене. Но это, наверное, произойдет не сегодня...

Масалович Андрей Игоревич
Главный конструктор архитектуры и СПО суперкомпьютера МВС-100.
Кандидат физ.-мат.наук, автор более 100 печатных работ.
Лауреат стипендии РАН "Выдающимся ученым России" за 1993 г.