Институт электронных управляющих машин им. И.С. Брука – новейшая история

Институт электронных управляющих машин (ИНЭУМ) им. И.С. Брука занимает важное место в истории отечественной вычислительной техники [1–12]: 

  • получено первое в СССР авторское свидетельство на изобретение цифровой вычислительной машины; 

  • разработана одна из первых в стране автоматическая цифровая вычислительная машина М-1

  • в 1957 году группой специалистов под руководством основателя ИНЭУМ И.С. Брука впервые сформулирована научная проблема «Разработка теории, принципов построения и применения специализированных вычислительных и управляющих машин», опубликованная в серии «Вопросы советской науки» АН СССР; 

  • разработана агрегатная система средств вычислительной техники (АСВТ); 

  • разработана система малых ЭВМ (СМ ЭВМ).

Современный этап деятельности ИНЭУМ им. И.С. Брука связан с процессом интеграции Института и АО «МЦСТ», известного в нашей стране разработчика отечественных микропроцессоров и вычислительных комплексов семейства «Эльбрус». Этот этап начинается с 2006 года, когда генеральным директором Института был назначен А.К. Ким. Основная тематика Института в настоящее время связана с исследованиями, разработкой и реализацией промышленных технологий двойного назначения в области высокопроизводительных вычислительных комплексов и систем на основе отечественных микропроцессоров двух архитектурных платформ SPARCи «Эльбрус», разработанных АО «МЦСТ» [13, 14].

Проектной основой первой платформы является архитектура SPARC, специфицированная корпорацией SunMicrosystems. Платформа «Эльбрус» является оригинальной, с собственной архитектурой и микроархитектурой микропроцессоров. В настоящее время разработаны и производятся микропроцессоры «Эльбрус» по технологиям 130, 90, 65, 40 и 28 нм с количеством ядер – 1, 2, 4, 8.

За последние 15 лет Институтом были выполнены в рамках Федеральных государственных программ следующие наиболее значимые проекты.

1.  Базовая технология создания унифицированных автоматизированных рабочих мест (АРМ) на базе микропроцессоров с архитектурой «Эльбрус»

Первый АРМ был разработан на одноядерном микропроцессоре «Эльбрус-S». Основной целью работы являлось создание отечественной настольной вычислительной машины двойного назначения, которая могла бы заменить импортные «персоналки», использовавшиеся в гражданском и военном сегменте отечественного рынка вычислительной техники.

Конструктивно АРМ выполнен в виде системного блока форм-фактора Midi Tower для установки на столе. АРМ обеспечивает работу под управлением операционной системы ОС «Эльбрус».

Технические характеристики АРМ 

Микропроцессор (система на кристалле)

1891ВМ5 «Эльбрус-S»

Количество микропроцессоров

1

Производительность АРМ:

  • вещественных арифметических оп./с при выполнении операций с 32-разрядными числами, млрд
  • вещественных арифметических оп./с при выполнении операций с 64-разрядными числами, млрд

 

 

8

 

4

Емкость оперативной памяти, Гбайт

Не менее 4

Совместимость с архитектурой «Эльбрус»

Есть

Последовательный порт USB2.0, количество каналов

6

Емкость накопителя на жестком магнитном диске, Гбайт

Не менее 80

Канал выхода в сеть Ethernet 1 Гбит/c

1

Интерфейсы:

  • RS-232, количество каналов
  • RS-485/RS-422, количество каналов
  • IEEE-1284
  • AC-97

 

  • 1
  • 1
  • 1
  • Есть

Видеомонитор цветной TFT-LCD:

  • диагональ экрана

  • разрешение экрана

 

19²

1280´1024

Мощность потребления, ВА

Не более 210

3-D графика 

Клавиатура 

Манипулятор типа «мышь»

Средства защиты от несанкционированного доступа к информации (2 класс защищенности)

Автоматическое распараллеливание программ

Интерфейсы внутренних контроллеров:

  • ввода-вывода для связи с SoC «Эльбрус-S»;

  • внешних прерываний;

  • таймеров;

  • шины PCI-Express;

  • дискового интерфейса SATA;

  • шины PCI (64 разряда/66 МГц);

  • последовательных интерфейсов SPI и I2C

Дальнейшем развитием направления АРМ на микропроцессорах с архитектурой «Эльбрус» стали разработки на базе двухъядерного, четырёхъядерного и восьмиядерного микропроцессоров.

На рис. 1. показан АРМ на базе восьмиядерного микропроцессора «Эльбрус-8С», выполненный в том же корпусе, что и первый АРМ, но имеющий производительность в тридцать раз выше (250 Гфлопс на операциях с 32-разрядными вещественными числами) и объём оперативной памяти DDR3 больше в восемь раз (32 Гбайт).

АРМ ВК Эльбрус-801: а – в корпусе; б – системная плата

Рис. 1. АРМ ВК «Эльбрус-801»: а – в корпусе; б – системная плата

Кроме более производительного микропроцессора в состав АРМ входит отечественный контроллер периферийных интерфейсов КПИ-2, обеспечивающий поддержку следующих интерфейсов: SATA 3.0 – 8 каналов, Gigabit Ethernet – 3 канала, PCI Express 2.0 x16 (2X8) + x4 – 3 слота, PCI – 1 слот, USB – 6 каналов.

Сегодня ИНЭУМ изготавливает и поставляет сотни таких АРМ.

2. Базовая технология создания переносных автоматизированных рабочих мест (ПАРМ) на базе микропроцессоров с архитектурой SPARC

Данная технология нацелена на создание носимых вычислительных устройств класса «ноутбук» для использования в тяжелых условиях эксплуатации (расширенный температурный диапазон, вибрации и удары, повышенная влажность, соляной туман и прочее).

Носимый терминал (НТ) является высокопроизводительной ПЭВМ, разработанной для функционирования в среде ОС «Эльбрус», обеспечивающей многопользовательский, многозадачный режим вычислений в реальном времени (рис. 2).

Технические характеристики НТ 

Процессор

МЦСТ-4R (четыре ядра с архитектурой SPARC v9)

Рабочая частота процессора, МГц

500

Производительность процессора, млрд оп./с

4

Объём ОЗУ, Гбайт

4

Объём видеопамяти, Мбайт

Не менее 16

Встроенный видеомонитор цветной G150XG01:

  • диагональ экрана

  • разрешение экрана

 

15²

1024´768, RGB

Накопитель информации на твёрдотельном диске 

2,5² SSD SATA, Гбайт

 

16

Приёмник спутниковой навигации – ГЛОНАСС/GPS

«Геос-1-В-С» ИЯФК.464316.001

 

1

Каналы ввода/вывода:

  • Ethernet 10/100/1000 Мбит/с

  • RS232/485

  • USB 2.0

  • Устройство беспроводной связи WiFi на основе DNMA-H5

 

1

2

2

1

Клавиатура

Миниклавиатура  водозащищённая SB-87-TP (87 клавиш со встроенным  манипулятором)

Встроенная аккумуляторная батарея

8,8 А/ч, 7,4 В

Напряжение электропитания, В

8–36

Напряжение электропитания при питании с внешним преобразователем напряжения АСЭП, В

 

220

Потребляемая мощность, Вт

Не более 80

Габаритные размеры, мм

372×338×82

Масса, кг

Не более 10 

Рис. 2. Внешний вид НТ

Рис. 2. Внешний вид НТ: 1 – кнопка включения/выключения; 2 – клавиатура со встроенным манипулятором; 3 – USB порт №2; 4 – USB порт №1; 5 – Ethernet 10/100/1000 Мбит/с; 6 – COM порт №2; 7 – COM порт №1; 8 – антенное Wi-Fi гнездо №1; 9 – крышка ноутбука с видеомонитором

Используя базовую технологию НТ, разработчики Института выполнили государственный заказ на изготовление и поставку партии ПАРМ для новейших кораблей военно-морского флота.

3. Базовая технология создания блэйд-серверов на базе гетерогенных многоядерных микропроцессоров «Эльбрус-2С+»

Блэйд-сервер (от английского blade – лезвие, определяет конструкцию серверной платы в виде узкого лезвия) на микропроцессорах «Эльбрус-2С+» представляет собой высокопроизводительный вычислительный узел, предназначенный для построения компактных модульных масштабируемых кластеров большой вычислительной мощности, относящихся к классу суперкомпьютеров (рис. 3).

Рис. 3. Внешний вид блэйд-сервера в кожухе (вид сзади). Материалы Виртуального Компьютерного Музея

Рис. 3. Внешний вид блэйд-сервера в кожухе (вид сзади)

Технические характеристики блэйд-сервера

Тип микропроцессоров

«Эльбрус-2С+»

Количество микропроцессоров/универсальных процессорных ядер/процессорных ядер для обработки цифровой сигнальной информации, шт

 

 

4/8/16

Производительность, Гфлопс

Не менее 100

Частота синхронизации микропроцессоров, МГц

500

Оперативная память:

  • количество модулей
  • объём, Гбайт
  • количество каналов
  • пропускная способность одного канала, Гбайт/с

 

  • До 8
  • Не менее 32
  • 8
  • 6,4

Gigabit Ethernet 1000Base-T: 

  • количество каналов

  • пропускная способность одного канала, Гбит/с

 

2

1

USB 2.0:

  • количество каналов

  • пропускная способность одного канала, Мбит/с

 

2

480

SAТA2: 

  • количество каналов

  • пропускная способность одного канала, Гбит/с

 

2

3

RS-232, пропускная способность, Кбит/с

115

Количество каналов памяти DDR2-800 на каждый процессор

2

Количество каналов VGA

Не менее 1

Напряжение электропитания, В постоянного тока

12/5

Блэйд-сервер содержит четыре микропроцессора «Эльбрус-2С+», соединенных между собой межпроцессорными каналами и образующих многопроцессорную систему с когерентной общей оперативной памятью, в которой все пространство памяти распределено между микропроцессорами и доступ к секции оперативной памяти других микропроцессоров производится через межпроцессорные каналы.

Для блэйд-сервера, имеющего длину системной платы более полуметра, очень важной является правильная организация воздушного охлаждения при размещении вентиляторов с торцевой короткой стороны платы и потоке воздуха вдоль длинной стороны.

Для выбранного варианта размещения основных компонентов было проведено моделирование тепловых режимов при нескольких неоптимальных условиях охлаждения, включая наихудший набор условий внешней среды – минимальное допустимое рабочее атмосферное давление (450 мм рт.ст.) и максимальная допустимая температура окружающей среды для средств вычислительной техники, относящихся к группе 4 по ГОСТ 21552-84 (50 оС). Моделирование выполнено для скоростей потока охлаждающего воздуха 3 и 5 м/с.

При разработке конструкторской документации на системную панель сервера были проведены расчёты и моделирование всей системы охлаждения и приняты меры к снижению аэродинамического сопротивления радиаторов процессоров «Эльбрус-2С+».

4. Базовая технология создания ряда унифицированных вычислительных модулей на основе отечественных микропроцессоров с архитектурой SPARC

В рамках этого проекта была разработана базовая технология создания ряда унифицированных вычислительных модулей на основе отечественных микропроцессоров с архитектурой SPARС, предназначенных для применения в различных информационно-вычислительных системах с повышенными требованиями к информационной безопасности.

Основные характеристики унифицированных вычислительных модулей 

Тактовая частота, ГГц

1 ГГц

Объём оперативной памяти, Гбайт

Не менее 1 

Объём постоянной памяти, Гбайт

Не менее 4 

Объём FLASH-памяти, Мбайт

Не менее 128 

Внешние (магистральные) интерфейсы

PCI, PCI-Е, Ethernet(100/1000 Мбит/с), IDE, SATA, USB, Audio, Video, CAN, RS-232, RS-485, RS-422

Конструктивы модулей

ATX, Compact PCI (3U или6U), РСI/104, COMExpress

Потребляемая мощность, Вт

Не более 50 

Надежность

Аппаратная поддержка дублированного/троированного управления процессами

В состав ряда унифицированных вычислительных модулей входят следующие типы модулей:

Ø МПУ-АТХ– унифицированный электронный модуль процессора на основе системы на кристалле МЦСТ-4R в формате MicroATX, имеющий следующие характеристики:

  • процессор – «МЦСТ-4R»;

  • конструктив – MicroATX;

  • тактовая частота – 1 Ггц;

  • объём ОЗУ – 4 Гбайт;

  • объём ПЗУ – 500 Гбайт;

  • сеть Ethernet – 1 канал (100/1000 Мбит/с);

  • интерфейсы:

    • IDE – 2 шт.;
    • PCI – 1 шт.;
    • PCI-E – 1 шт.;
    • SATA – 4 канала;
    • USB – 4 канала;
    • Audio – 1 шт;
    • RS232 – 1 канал;
    • -Video – 1 шт.;

  • потребляемая мощность – 45 Вт.

Ø МПУ3/С – унифицированный электронный модуль процессора на основе системы на кристалле МЦСТ-4R в формате Compact PCI 3U (рис. 4), имеющий следующие характеристики:

  • процессор – «МЦСТ-4R»;

  • конструктив – CompactPCI 3U;

  • тактовая частота – 1 Ггц;

  • объём ОЗУ – 2 Гбайт;

  • объём ПЗУ – 250 Гбайт;

  • сеть Ethernet – 1 канал (100/1000 Мбит/с);

  • интерфейсы:

    • PCI – 1 шт.;
    • SATA – 4 канал;
    • USB – 2 канала;
    • Audio – 1 шт;
    • RS232 – 2 канала;
    • Video – 1 шт.;
  • потребляемая мощность – 45 Вт.

Ø МПУ6/С – унифицированный электронный модуль процессора на основе системы на кристалле МЦСТ-4R в формате Compact PCI 6U (рис. 5), имеющий следующие характеристики:

  • процессор – «МЦСТ-4R»;

  • конструктив – CompactPCI 6U;

  • тактовая частота – 1 Ггц;

  • объём ОЗУ – 2 Гбайт;

  • объём ПЗУ – 250 Гбайт;

  • объём FLASH-памяти – 8000 Мбайт;

  • сеть Ethernet – 3 канала (100/1000 Мбит/с);

  • интерфейсы:

    • IDE – 1 шт.;
    • PCI – 1 шт.;
    • SATA – 4 канала;
    • USB – 4 канала;
    • Audio – 1 шт;
    • RS232 – 2 канала;
    • Video – 1 шт.;
  • потребляемая мощность – 45 Вт.

Ø Модуль МПУ-СОМ– унифицированный электронный модуль процессора на основе системы на кристалле МЦСТ-4R в формате COMExpress (рис. 6), имеющий следующие характеристики:

  • процессор – «МЦСТ-4R»;

  • конструктив – COMExpress;

  • тактовая частота – 1 Ггц;

  • объём ОЗУ – 2 Гбайт;

  • объём ПЗУ – 500 Гбайт;

  • сеть Ethernet – 1 канал (100/1000 Мбит/с);

  • интерфейсы: 

    • IDE – 1 шт.;
    • PCI – 1 шт.;
    • SATA – 4 канала;
    • USB – 4 канала;
    • RS232 – 2 канала;
    • Video – 1 шт.;
  • потребляемая мощность – 45 Вт.

Рис. 4. Модуль МПУ3/С. Материалы Виртуального Компьютерного Музея Рис. 5. Модуль МПУ6/С. Материалы Виртуального Компьютерного Музея Рис. 6. Модуль МПУ-СОМ. Материалы Виртуального Компьютерного Музея

Рис. 4. Модуль МПУ3/С; Рис. 5. Модуль МПУ6/С; Рис. 6. Модуль МПУ-СОМ


Ø Модуль МПУ-МРС – унифицированный электронный модуль процессора на основе системы на кристалле МЦСТ-4R в формате PCI–104, имеющий следующие характеристики:

  • процессор – «МЦСТ-4R»;

  • конструктив – PCI–104;

  • тактовая частота – 1 Ггц;

  • объём ОЗУ – 2 Гбайт;

  • объём ПЗУ – 200 Гбайт;

  • объём FLASH-памяти – 32768 Мбайт;

  • сеть Ethernet – 3 канала 1000 Мбит/с;

  • интерфейсы: 

    • CompactFLASH – 1 шт.;
    • PCI/104 – 1 шт.;
    • SATA – 1 канал;
    • USB – 2 канала;
    • RS232/485/422 – 1 канал;
  • аппаратная поддержка дублированного/троированного управления процессами;

  • потребляемая мощность – 45 Вт.

Состав программного обеспечения унифицированных вычислительных модулей 


Операционная система реального времени 

Средства разработки нижнего уровня

C или C++

Средства разработки высокого уровня

Поддержка требований стандарта IEC 61131-3

Средства визуализации и обработки

Поддержка SCADAотечественных и зарубежных производителей

Защита управляющей и диагностической информации, передаваемой по открытым сетям

 

Обязательна

Надежность

Поддержка мажорированных систем

5. Базовая технология создания серверов и кластерных систем на четырехъядерных микропроцессорах «Эльбрус»

Идея создания многопроцессорного сервера для высокопроизводительных кластеров на основе микропроцессоров с архитектурой «Эльбрус» была развита при разработке четырехпроцессорного сервера «Эльбрус-4.4» на микропроцессорах «Эльбрус-4С». Особое внимание было уделено построению системы общей когерентной памяти, доступной всем четырем микропроцессорам, каждый из которых имеет три канала оперативной памяти.

Обмен с оперативной памятью и межпроцессорный обмен организованы по принципу общей оперативной памяти с поддержкой когерентности оперативной памяти и кэш-памяти процессоров по схеме «каждый с каждым» на основе распределённого коммутатора. 

Пространства оперативной памяти и ввода-вывода распределены между процессорами. Расслоение памяти между процессорами возможно двух типов: «мелкое» – по 4 Кбайт (размер страницы памяти) и «крупноблочное» – пространство физической памяти, принадлежащей процессору, которое является непрерывным. Тип расслоения задается программированием регистров конфигурации системы.

Отметим, что понятие «принадлежности» части оперативной памяти «своему» процессору заключается только в минимальном времени доступа и максимальной пропускной способности при обращении к «своей» памяти. Логически вся оперативная память является общей для всех процессоров с равными правами обращения к памяти и общим механизмом поддержания когерентности данных между оперативной памятью и кэш-памятью процессоров.

Данная организация обмена с оперативной памятью имеет следующие преимущества:

  • минимальное время доступа при обращении к «своей памяти»;

  • наращивание пропускной способности оперативной памяти системы пропорционально количеству процессоров;

  • возможность увеличения объёма оперативной памяти системы пропорционально количеству процессоров;

  • построение центральной части системы без дополнительных микросхем;

  • соединения «точка в точку», позволяющие достичь максимальной скорости передачи наиболее простыми средствами (отсутствие необходимости построения высокочастотной шины).

Основными недостатками данного подхода являются увеличение времени доступа и уменьшение темпа обмена при обращении к «чужой» секции оперативной памяти, то есть секции, подключенной к другому процессору, по сравнению с обращением к «своей памяти». Кроме того, для поддержания когерентности данных в оперативной памяти и кэш-памяти процессоров требуются передачи дополнительных «широковещательных» сообщений между процессорами, что снижает полезную пропускную способность каналов межпроцессорного обмена.

Вышеописанные недостатки могут быть устранены посредством «локализации данных», то есть размещения большей части данных, с которыми работает процессор, в «своей» секции оперативной памяти. Современные операционные системы (Linux, Windows) располагают средствами поддержки локализации данных для кэш-когерентных систем с неодинаковым временем доступа к оперативной памяти (ccNUMA-архитектур). При разработке «собственных» операционных систем, в том числе систем реального времени, необходимо учитывать данное требование.

Однако, усилий по локализации данных только со стороны системного ПО недостаточно. Аппаратура должна поддержать их средствами для сокращения потока обращений, предназначенных для поддержания когерентности данных. Этот поток снижает полезную пропускную способность каналов в системе и может увеличить время обращения к данным, так как помимо обращения в «свою» память нужно еще проверить кэш-память других процессоров. Таким образом, локализация становится бессмысленной. Если не принимать никаких мер, то когерентный поток становится критичным при приближении количества процессоров в системе к 8–12.

Для решения этого комплекса проблем в микропроцессоре «Эльбрус-4С» применена технология «справочника», когда контроллер когерентности обладает информацией о том, в какой кэш-памяти и в каком состоянии располагается копия каждой кэш-строки. В этом случае контроллер имеет возможность выдавать только необходимые когерентные запросы, а локализация данных вообще сводит их к минимуму.

Следует отметить, что при наличии поддержки локализации данных вышеописанный подход к организации обмена с оперативной памятью имеет значительные преимущества по сравнению с шинными схемами и схемами на основе коммутаторов как по производительности (пропускная способность, время доступа), так и по количеству оборудования и простоте физической реализации многопроцессорной системы.

При построении четырехпроцессорных систем задействуются все каналы межпроцессорного обмена процессоров. Для связи с контроллером ввода-вывода может быть использован канал ввода-вывода одного из процессоров (при этом остальные процессоры получают доступ к пространству ввода-вывода через каналы межпроцессорного обмена). Возможно разбиение пространства ввода-вывода на два (и более) подпространства, обслуживаемые отдельными контроллерами, подключенными к разным процессорам. Незадействованные каналы ввода-вывода могут быть использованы для объединения модулей в «многомашинный» комплекс с обменом через передачу сообщений без поддержки межкластерной когерентности. 

Используя сервер в качестве узла, можно построить кластер, состоящий из десятков серверов, объединенных сетью. Контроллер сетевого взаимодействия и сетевой коммутатор интегрируются в составе отдельного устройства, подключаемого непосредственно к процессорам и имеющего до шести внешних портов. Блок-схема такого узла приведена на рис. 7.

Рис. 7. Блок-схема узла-сервера «Эльбрус-4.4». Материалы Виртуального Компьютерного Музея

Рис. 7. Блок-схема узла-сервера «Эльбрус-4.4»

Для реализации функций кластера разработан сетевой драйвер, выполняющий настройку контроллера и коммутатора, а в варианте хоста – всей сети. Драйвер поддерживает два типа формирования таблиц маршрутизации – автоматический и ручной. Кроме того, он включает интерфейс, через который происходит управление ресурсами, используемыми пользовательскими приложениями.

В качестве основы программного обеспечения, поддерживающего взаимодействие вычислительных модулей в кластере на уровне пользовательских процессов, выбрана библиотека MPI, модифицированная для работы с сетевым драйвером. Одной из главных особенностей этой модификации является возможность работы с сетевым контроллером напрямую, после того как тот выделит приложению требуемые ресурсы. 

Поддержка данной библиотеки, позволяет исполнять на разработанном кластере большое количество существующих пользовательских приложений.

Технические характеристики сервера 

Количество микропроцессоров «Эльбрус-4С»

Производительность, млрд оп./с:

  • при выполнении операций с 32-разрядными числами  на смешанных вычислениях
  • при выполнении операций с 64-разрядными числами  на смешанных вычислениях
  • при выполнении операций с 32-разрядными числами  с плавающей запятой
  • при выполнении операций с 64-разрядными числами  с плавающей запятой

 

  • 376–470 

  • 240–300 

  • 200 

  • 100 

Оперативная память:

  • суммарный объём, Гбайт

  • количество модулей памяти

  • количество DDR3 каналов доступа

  • пропускная способность одного канала, Гбайт/с

 

  • До 48 

  • 24

  • 12

  • 12,8

Флэш-память битового компилятора, Гбайт

Внешняя память на жестких дисках, Тбайт

EPROM-память программы начального старта, Мбайт

Часы и энергонезависимая память системных констант NVRAM, Кбайт

32 с автономным питанием (от аккумулятора)

Канал межпроцессорного обмена:

  • количество дуплексных каналов

  • пропускная способность, Гбайт/с

 

10,4 

Канал ввода-вывода:

  • количество дуплексных каналов

  • пропускная способность одного канала, Гбайт/с

 

4

1

Периферийная шина PCI express:

  • количество каналов (lane)

  • пропускная способность канала в одном направлении, Гбайт/с

 

2,5 

Периферийная шина PCI:

  • ширина, разряды

  • тактовая частота, МГц

 

32/64

33/66 

Ethernet: 

  • количество каналов

  • пропускная способность одного канала, Мбит/с

 

1000/100/10 

RS-232:

  • количество каналов

  • пропускная способность одного канала, Кбит/с

 

2

115 

USB 2.0:

  • количество каналов

  • пропускная способность одного канала, Мбит/с

 

480 

Шина IDE:

  • количество каналов

  • пропускная способность одного канала, Мбайт/с

 

100 

Шина SATA:

  • количество каналов

  • пропускная способность одного канала, Гбит/с

 

3

Аудиоканал

АС 97

Потребляемая мощность, Вт

Не более 500 

Кластер на основе сервера «Эльбрус-4.4» построен путем объединения в одном шкафу 64 серверов с помощью оптической сети с топологией 2D-тор, использующей специально разработанный интерфейс, реализованный на ПЛИС в виде контроллера и сетевого коммутатора, входящих в состав сервера и размещенных на серверной плате (рис. 8).

 Рис. 8. Вычислительный кластер на базе сервера «Эльбрус-4.4». Материалы Виртуального Компьютерного Музея

Рис. 8. Вычислительный кластер на базе сервера «Эльбрус-4.4»

Размер шкафа – 2400´1200´1000 (В´Ш´Г) мм. Электропитание осуществляется от трехфазной сети переменного тока 220 В. Максимальная потребляемая мощность – 20 кВт. Охлаждение кластера – принудительное, воздушное. 

Технические характеристики вычислительного кластера

Микропроцессор

«Эльбрус4С», 4 ядра «Эльбрус» 

Тактовая частота, МГц

750

Объём кэш-памяти, МВ

8

Количество процессорных модулей

От 32

Количество процессоров

От 128

Объём дисковой памяти, Тбайт

От 15 

Производительность, Тфлопс

От 6,8

Форм-фактор

19-дюймовый корпус высотой 1U

Размещение

Телекоммуникационные шкафы 19²

Система охлаждения

Воздушная

Схема соединения машин

Различные высокоскоростные объединительные сети российской и зарубежной разработки (определяется договором поставки)

6. Базовая технология создания серверов масштабируемой суперЭВМ на восьмиядерных микропроцессорах «Эльбрус»

Высокоплотный вычислительный кластер представляет собой совокупность шкафов с серверами (СКВ) и шкафов с системами хранения данных (СХД), объединенных коммуникационной сетью в массово-параллельную вычислительную структуру с возможностью получения производительности до нескольких десятков Пфлопс. При этом число вычислительных узлов в системе практически не ограничено.

Серверы и СХД построены на базе микропроцессоров «Эльбрус-8С» и контролеров периферийных интерфейсов КПИ-2. 

Для объединения серверов возможно использование нескольких вариантов коммуникационной сети. Один из них, наиболее бюджетный, но не обладающий максимальными характеристиками по пропускной способности, – использование сети Ethernet 10, 25 Гбит и более. Другой вариант – коммуникационная сеть со структурой 4D-тор на базе отечественной микросхемы-маршрутизатора ЕС8430 «Ангара» разработки российского предприятия ПАО «НИЦЭВТ». Еще одним вариантом построения сети может быть структура 3D-тор с использованием коммутационного кристалла системы межпроцессорного обмена СМПО совместной разработки института ВНИИЭФ (г. Арзамас) и НИИСИ РАН. Отечественные сети сопоставимы по своей функциональности, производительности и надежности с современными разработками мировых лидеров в данной области (Cray, IBM, Mellanox, Intel).

Для отвода тепла с серверов кластера используется система прямого жидкостного охлаждения, позволяющая отводить более 400 кВт от стандартного вычислительного шкафа в широком диапазоне температур. Технология такой системы разработана российской фирмой АО «РСК Технологии» – ведущим разработчиком и интегратором суперкомпьютерных решений.

При построении СХД используются аппаратные и конструктивные решения ПАО «ИНЭУМ им. И.С. Брука», а также программные решения российской фирмы ООО «Рэйдикс». СХД представляет собой высокопроизводительное горизонтально-масштабируемое хранилище данных с распределенными кодами коррекции ошибок, построенное на базе отечественного оборудования и программного обеспечения.

Интегральные характеристики разработанной вычислительной системы находятся на таком уровне, что могли бы войти в первую сотню суперкомпьютеров списка Top500 лучших мировых образцов. При этом следует отметить, что в приведенных для сравнения проектах вычислительные узлы строятся с использованием специализированных микросхем-ускорителей, а микропроцессоры «Эльбрус-8С», на которых построена система, относятся к классу универсальных микропроцессоров.

Основным конкурентным преимуществом и одновременно уникальностью вычислительного кластера на микропроцессорах «Эльбрус-8С» является использование следующих технологий:

  • выбор отечественных микропроцессоров и контроллеров, что обеспечивает независимость от зарубежных поставок и информационную безопасность;

  • использование жидкостного охлаждения для достижения максимальной вычислительной плотности, надежности, снижения на 40−50 % расходов на электроэнергию по сравнению с традиционным воздушным охлаждением; возможность установки в неподготовленных помещениях;

  • архитектурные решения по построению системы хранения, передовые в классе горизонтально-масштабируемых распределенных систем, обеспечивающих высокую отказоустойчивость и производительность при умеренной стоимости;

  • использование организации коммуникационной сети (интерконнекта) с топологией 3D/4D-тор, которая обеспечивает распределенный и максимально быстрый обмен данными между вычислительными узлами и системой хранения данных без «узких мест» в виде общего канала обмена между всеми вычислительными узлами и узлами хранения, а также удешевление системы благодаря отсутствию необходимости в дорогостоящих коммутаторах верхнего уровня.

Технические характеристики шкафов СКВ-«Эльбрус» и СХД-«Эльбрус»

 

  СКВ

  СХД

Количество микропроцессоров/ядер «Эльбрус-8С»

400/3200

20/160

Тактовая частота микропроцессоров, ГГц

1,3

1,3

Пиковая производительность, одинарная точность, Тфлопс

100

5

Пиковая производительность, двойная точность, Тфлопс

50

2

Объём оперативной памяти, Тбайт

25,6

1,28

Суммарный объём дискового пространства, Пбайт

3,6

Возможность масштабирования системы

Да

Да

Пиковая пропускная способность дуплексного канала интерконнекта между двумя узлами, Гбайт/с

 

18,75

 

18,75

Система охлаждения

Жидкостная

Воздушная

Потребляемая мощность, кВт 

Не более 50

Не более 10


Основными функциональными элементами кластера являются вычислительные модули – серверы МВС-8С, коммутатор интерконнекта (Interconnect Switch), коммутаторы управляющей сети Ethernet 1 Гбит и сети менеджмента (Network Switch). Основными элементами конструкции кластера являются шкаф с объединительными панелями Backplane, через которые на серверы МВС-8С подается электропитание (PWR) и подключается сеть менеджмента Ethernet (MNG), а также элементы системы водяного охлаждения (рис. 9).

Рис. 9. Вычислительный кластер СКВ «Эльбрус» на основе серверов МВС-8С. Материалы Виртуального Компьютерного Музея

Рис. 9. Вычислительный кластер СКВ «Эльбрус» на основе серверов МВС-8С

7. Вычислительные модули, контроллеры, управляющие вычислительные комплексы и встроенные вычислительные системы для АСУТП

За последние годы Институтом выполнен ряд ОКР, в рамках которых освоены базовые технологии по производству различных управляющих вычислительных комплексов на базе микропроцессоров «Эльбрус» и SPARC. Помимо разработки вычислительных модулей, составляющих вычислительное ядро любой системы, разработаны, выпускаются и совершенствуются модули ввода/вывода, обеспечивающие непосредственную связь вычислительного ядра с объектами контроля и управления (то есть с датчиками и исполнительными механизмами, установленными на объектах), а также набор коммуникационных модулей, обеспечивающих связь с другими системами и интеллектуальными датчиками по цифровым телекоммуникационным интерфейсам.

К настоящему времени разработана линейка промышленных компьютеров и программируемых логических контроллеров на базе микропроцессора «Эльбрус-1С+», а также промышленных серверов и автоматизированных рабочих мест на базе высокопроизводительного микропроцессора «Эльбрус-8С», включающая:

  • защищенный промышленный компьютер (ПК-2);

  • промышленный компьютер (ПК-3);

  • программируемый логический контроллер (ПЛК) с набором модулей ввода/вывода (УСО);

  • модуль для встраиваемых решений в формате ComExpressType6;

  • шлюз данных БПИ-3 и устройство обработки данных на его базе;

  • УВК СМ1820МВУ-118;

  • УВК СМ1820МВУ-116.

 Защищенный промышленный компьютер ПК-2 для тяжелых условий эксплуатации на базе микропроцессора «Эльбрус-1С+» представлен на рис. 10. Отличительной особенностью изделия является то, что все элементы на печатной плате выполнены методом поверхностного монтажа без применения разъёмов. Печатная плата убрана в герметичный защищенный корпус. На корпус смонтированы герметичные разъёмы. Такое решение позволяет монтировать изделия в условиях агрессивной внешней среды, применять в местах с тяжелыми условиями эксплуатации, на открытом воздухе и т.д. 

Рис. 10. Защищенный промышленный компьютер ПК-2. Материалы Виртуального Компьютерного Музея

Рис. 10. Защищенный промышленный компьютер ПК-2

Технические характеристики ПК-2


Микропроцессор

«Эльбрус-1С+»

Количество микропроцессоров

1

Оперативная память

До 8 Гбайт DDR3 ECC (двухканальная)

Flash-накопитель

8–16 Гбайт (паяный) + mSATA

Ethernet

3×10/100/1000 Мбит/с

RS-232

2 канала

RS-485/RS-422

2 канала с гальванической изоляцией

USB 2.0

6 каналов

Видео

2×HDMI

Дополнительные интерфейсы

SATA

RTC

Да

Индикация

2 светодиода

Внешние каналы GPIO

4 шт.

Сторожевой таймер

Да

Напряжение питания

12 В DC

Потребляемая мощность

Не более 30 Вт

Охлаждение

Без вентиляторов

Рабочий диапазон температур

-40 … +50

Степень защиты

IP-65

Стойкость к синусоидальной вибрации

1–200 Гц, 1g


Промышленный компьютер ПК-3 на базе микропроцессора «Эльбрус-1С+» является облегченной версией защищенного промышленного компьютера. Оба изделия имеют в своем составе одну и ту же печатную плату, но отличаются исполнением и, как следствие, составом внешних интерфейсов (рис. 11). ПК-3 выполняется в легком алюминиевом корпусе, не имеет в своем составе вентиляторов и предназначен для применения в расширенном температурном диапазоне. Облегченный корпус не подразумевает воздействие влажных сред и внешнюю установку, однако, наличие стандартных разъёмов на корпусе позволяет легко интегрировать вычислительную машину в систему АСУТП. Изделие используется в качестве бесшумных АРМ оператора, для организации вычислений в составе стоек и шкафов и т.д.

Рис. 11. Промышленный компьютер ПК-3. Материалы Виртуального Компьютерного Музея

Рис. 11. Промышленный компьютер ПК-3

Технические характеристики ПК-3

Микропроцессор

«Эльбрус-1С+»

Количество микропроцессоров

1

Оперативная память

До 8 Гбайт DDR3 ECC (2 канала, паяная)

Flash-накопитель

8–16 Гбайт (паяный) + mSATA

Звук

AC97

Ethernet

3×10/100/1000 Мбит/с IEEE-1588

RS-232

2 канала

RS-485/RS-422

2 канала с гальванической изоляцией

USB 2.0

6 каналов

Видео

2×HDMI

Дополнительные интерфейсы

SATA, PCI-104, двухканальный LVDS

Индикация

4 светодиода

Внешние каналы GPIO

8 шт. TTL с защитой

Сторожевой таймер

Да

Напряжение питания

12 В DC

Потребляемая мощность

Не более 30 Вт

Охлаждение

Без вентиляторов

Рабочий диапазон температур

-40 … +50

Степень защиты

IP-20

Стойкость к синусоидальной вибрации

5–500 Гц, 1g


Программируемый логический контроллер ПЛК-«Эльбрус» имеет модульную структуру с жестким монтажным каркасом и объединительной платой, реализующей резервированный системный интерфейс, и предназначен для работы в режиме дублирования процессорных модулей (рис. 12). Процессорные модули на базе отечественного микропроцессора «Эльбрус-1С+» работают под управлением ОС «Эльбрус» с ядром реального времени. Поддержка программирования контроллеров на языках стандарта IEC61131-3 выполнена на базе САПР Beremiz, а также при поддержке SCADA-системы MasterSCADA-4D.

Рис. 12. Программируемый логический контроллер ПЛК-«Эльбрус». Материалы Виртуального Компьютерного Музея

Рис. 12. Программируемый логический контроллер ПЛК-«Эльбрус»

Режим дублирования процессорных модулей позволяет организовать независимый опрос модулей УСО каждым из процессоров, а также работать с применением стратегии резервирования 1oo2 – горячее резервирование. Полная поддержка режима обеспечивается с помощью САПР Beremiz.

Системный интерфейс и реализующая его объединительная панель поддерживают режим горячей замены модулей УСО и процессорных модулей. Концепцией предполагается возможность каскадного подключения дополнительных корзин с модулями без применения в них дополнительных процессорных модулей. Подключение осуществляется через специальный коммуникационный модуль.

Системный интерфейс, в зависимости от варианта заказа, реализуется последовательной системной шиной ELPLC-BUS со скоростью передачи данных до 12 Мбит/с, а также, опционально, быстрой системной шиной, включающей в себя интерфейсы USB и PCI-E x1. Быстрая шина при этом не поддерживается режимом дублирования процессоров и может быть использована только в однопроцессорных конфигурациях.

Характеристики модуля процессора на базе «Эльбрус-1С+»

Микропроцессор

1891ВМ11Я

Количество микропроцессоров

1

Емкость оперативной памяти, Гбайт

Не менее 1

Емкость Flash-накопителя, выполненного по технологии поверхностного монтажа, Гбайт

 

Не менее 8

Интерфейсы: 

  • Ethernet

  • RS-232

  • RS-485

  • USB 2.0

  • HDMI

 

  • Не менее трех каналов 10/100/1000 Мбит/с

  • Не менее одного канала

  • Не менее двух каналов с гальванической изоляцией, прочность изоляции не менее 500 В в течение 1 минуты

  • Не менее одного канала 

  • Не менее одного канала

Аудио

Линейный вход/выход

Внешние дискретные входы с возможностью формирования прерываний

 

Не менее двух с гальванической изоляцией, прочность изоляции не менее 500 В в течение 1 минуты

Визуальная индикация

4 светодиода красного, желтого и зеленого цвета свечения, управляемые программно

Возможность совместной работы двух процессорных модулей в режиме резервирования

Разъём для съёмного диска cFAST (возможно)

Аппаратный ключ для управления прикладным ПО (запуск/остановка)

Потребляемая мощность

Не более 40 Вт

ПЛК оснащается необходимым набором модулей УСО (дискретного и аналогового ввода/вывода). Все модули УСО имеют в своем составе микроконтроллер. В разработке применяются только отечественные микроконтроллеры российской фирмы Миландр, не уступающие по характеристикам зарубежным аналогам. Все модули УСО выполняются с поддержкой функции горячей замены и автоопределения на шине.

Характеристики модулей УСО

Модуль дискретного вывода:

·     тип выходных сигналов – твердотельное реле;

·     количество каналов дискретного вывода – 32;

·     значение коммутируемого напряжения – 5–60 В;

·     максимальное значение коммутируемого тока – не более 300 мА;

·     гальваническая изоляция выходов – не хуже 500 В в течение 1 минуты.

Модуль аналогового вывода:

  • количество каналов аналогового вывода – 8;
  • диапазоны вывода напряжения: 0–5 В и 0–10 В, диапазоны вывода тока: 0–20 мА и 4–20 мА;
  • разрядность ЦАП – 12 бит;
  • время цифро-аналогового преобразования – не более 2 мс;
  • пределы допускаемой основной приведённой погрешности преобразования цифрового кода в напряжение и ток – ±0,1;
  • пределы допускаемой дополнительной температурной приведённой погрешности преобразования цифрового кода в напряжение и ток при изменении температуры на 10 0С – ±0,05;
  • напряжение электропитания выходных аналоговых драйверов – внешнее, 12–30 В;
  • групповая гальваническая развязка выходов – не хуже 1500 В в течение 1 минуты.

Модуль дискретного ввода:

  • тип входных сигналов – двухуровневое напряжение постоянного тока с номинальным значением 24 В;
  • количество каналов дискретного ввода – 32;
  • групповая гальваническая изоляция входов – не хуже 500 В в течение 1 минуты;
  • возможность самодиагностики исправности входных цепей модуля.

Модуль аналогового ввода:

  • количество каналов аналогового ввода – 16;
  • диапазоны ввода напряжения: 0–5 В и 0–10 В, диапазоны ввода тока: 0–20 мА и 4–20 мА (диапазон ввода 4–20 мА формируется программно);
  • разрядность АЦП – 12;
  • пределы допускаемой основной приведённой погрешности ввода и преобразования в цифровой код – ±0,1;
  • пределы допускаемой дополнительной температурной приведённой погрешности ввода и преобразования в цифровой код при изменении температуры на 10 0С – ±0,05;
  • групповая гальваническая развязка – не хуже 1500 В в течение 1 минуты.

Модуль МП-18 (Com Express Type 6) для встраиваемых решений разработан на базе микропроцессора «Эльбрус-1С+» в форм-факторе Com Express Type 6 (рис. 13). Модуль включает в себя полноценное процессорное ядро с контроллером периферийных интерфейсов КПИ-2, оперативной памятью, выполненной методом поверхностного монтажа для улучшения характеристик по вибрации, а также с интегрированным твердотельным носителем объёмом от 8 до 64 Гбайт. Для расширения коммуникационных способностей изделия на отдельный разъём выведен дополнительный канал Ethernet 10/100/1000 Мбит/с.

Рис. 13. Модуль МП-18. Материалы Виртуального Компьютерного Музея

Рис. 13. Модуль МП-18

Модуль поставляется в комплекте с теплораспределительной пластиной, обеспечивающей передачу выделяемого тепла на охлаждающие конструкции изделия заказчика.

Встроенное в процессор «Эльбрус-1С+» графическое ядро позволяет широко применять модуль в системах отображения информации. Поддерживается вывод на два канала – HDMI и LVDS.

На базе модуля МП-18 разработан, испытан и поставляется на объекты атомной промышленности блок преобразования интерфейсов БПИ-3, который является сервером последовательных портов и предназначен для упрощения подключения оборудования с интерфейсами RS-485/422 к общей локальной сети или к сети интернет (рис. 14).

Рис. 14. Блок преобразования интерфейсов БПИ-3. Материалы Виртуального Компьютерного Музея

Рис. 14. Блок преобразования интерфейсов БПИ-3

Устройство может быть применено в качестве сервера удаленных последовательных портов или в качестве интеллектуального шлюза данных (преобразователя протоколов) и вычислительного ядра системы с большим набором источников данных на интерфейсе RS-485. Программно поддерживаются промышленные протоколы ModBus-RTU/TCP (master/slave), OPC-UA, SMRS, SMTCP.

Устройство работает под управлением ОС «Эльбрус» или «Astra Linux Special Edition» РУСБ.

Технические характеристики БПИ-3

Микропроцессор

1891ВМ11Я («Эльбрус-1С+»)

Операционная система

ОС Эльбрус (Linux)/«Astra Linux Special Edition» РУСБ.10265-01 релиз Ленинград

Сетевые протоколы

HTTP, SSH, NTP, IPv4, DNS, DHCP, ARP, RFC2217, ModBUS-TCP, ModBUS-RTU, OPC-UA, SMRS, SM-TCP

Скорость передачи данных, Кбит/с

До 921,6 

Разъёмы RS-485

RJ-45

Пользовательские светодиоды, шт

Аппаратный ключ управления ПО

Есть, два положения

Количество каналов:

  • RS-485/422

  • Ethernet

  • HDMI

  • USB 2.0

 

  • 16 или 32 (с поканальной гальванической изоляцией)

  • 2 канала 10/100/1000 Мбит/c

  • 1

  • 2

Разъём RS-232C

RJ-14 (для подключения консоли настройки)

Способы настройки

SSH, serial-консоль, монитор + клавиатура

Материал корпуса

Металл

Электропитание, В

220 (АС)

Потребляемая мощность, ВА

Не более 35 

Крепление корпуса

В стойку 19²

Диапазон температур, оС

От 0 до +50/от -40 до +55

Электрическая прочность изоляции, В

1500

Габаритные размеры, мм

482×255×88

Вес, кг

Не более 4,5 

Средства программирования

Beremiz с языками IEC 61131-3

УВК СМ1820МВУ-118 – управляющий вычислительный комплекс с микропроцессором «Эльбрус-8С» для применения в составе технических вычислительных средств верхнего уровня автоматизированных систем контроля и управления (рис. 15).

Рис. 15. УВК СМ1820МВУ-1183. Материалы Виртуального Компьютерного Музея

Рис. 15. УВК СМ1820МВУ-118

УВК выполнен на базе микропроцессора «Эльбрус-8С» и работает под управлением ОСРВ «Эльбрус». Материнская плата вычислительного блока разработана и произведена в ПАО «ИНЭУМ им. И.С. Брука». Возможны варианты поставки с однопроцессорным, двухпроцессорным или четырёхпроцессорным вычислительным блоком. Для получения достаточного количества интерфейсов RS-485 в качестве коммуникационного сервера в машине применяется устройство БПИ.

УВК СМ1820МВУ-118 выполняет следующие основные функции:

  • сбор и обработка информации, поступающей по локальным сетям от комплексов нижнего уровня, выносных контрольных пунктов и других устройств, а также передача им данных, определяемых прикладными программами систем;

  • хранение принятой информации на устройствах долговременного хранения;

  • прием и передача информации по трем независимым физическим типам линий связи: стандарта Fast Ethernet спецификации 100BASE-TX (витая пара), спецификации 100BASE-FX (оптоволокно), стандарта интерфейса RS-485;

  • работа под управлением операционных систем Microsoft Windows, ОС «Эльбрус» (Linux);

  • взаимодействие с эксплуатирующим персоналом с помощью устройство ввода (клавиатура, тачпад) и вывода (монитор).

УВК может использоваться в системах, важных для безопасности АЭС нормальной эксплуатации, класс 3Н по НП-001-97 (ОПБ-88/97). В настоящее время УВК СМ1820МВУ-118 применяется на ряде объектов атомной промышленности РФ.

УВК относится к категории сейсмостойкости II по НП-031-01, по устойчивости к электромагнитным помехам – к группе исполнения III по ГОСТ Р 50746-2000 для электромагнит­ной обстановки средней жесткости. Критерий качества функционирования – А. 

УВК СМ1820МВУ-116 – управляющий вычислительный комплекс для применения в качестве автоматизированного рабочего места оператора (АРМ) (рис. 16).

Рис. 16. УВК СМ1820МВУ-116. Материалы Виртуального Компьютерного Музея

Рис. 16. УВК СМ1820МВУ-116

УВК разработан на базе вычислительного блока с микропроцессором «Эльбрус-8С» и имеет повышенную прочность конструкции, защиту от электрических помех в сети электропитания.

УВК предназначен для работы в узлах автоматизированных систем управления в том числе на атомных электростанциях, в системах важных для безопасности АЭС, класс 3Н по ПНАЭ Г-01-011-97.

УВК обеспечивает сбор и обработку информации, поступающей по локальным сетям от управляющих измерительно-вычислительных комплексов нижнего уровня, выносных контрольных пунктов и других устройств, а также передачу им данных, определяемых прикладными программами систем.

УВК разработан для применения в составе технических средств верхнего уровня автоматизированной системы радиационного контроля (АСРК) энергоблоков №1 и №2 Калининской АЭС.

Литература

  1. Исаак Семёнович Брук. Член-корреспондент АН СССР. К 100-летию со дня рождения // Информационные технологии и вычислительные системы. 2002. №2.
  2. Прохоров Н.Л., Ким А.К., Егоров Г.А. Творческий путь И.С. Брука. К 115-летию со дня рождения // Информационные технологии и вычислительные системы. 2017. №2.

  3. Прохоров Н.Л., Ким А.К., Егоров Г.А. К 60-летию Института электронных управляющих машин им. И. С. Брука // Информационные технологии и вычислительные системы.2018. №3. 

  4. Малые ЭВМ и их применение / Ю.А. Дедов, М.А. Островский, К.В. Песелев и др.; Под общей ред. Б.Н. Наумова. –М.: Статистика, 1980. 231 с.

  5. Наумов Б.Н. Микро- и мини-ЭВМ. Настоящее и будущее. –М.: Знание, 1983. 64 с.

  6. Микро-ЭВМ СМ1800. Архитектура, программирование, применение / А.В. Гиглавый, Н.Д. Кабанов, Н.Л. Прохоров и др. М.: Финансы и статистика, 1984. 136 с.

  7. СМ ЭВМ: комплексирование и применение / Г.А. Егоров, К.В. Песелев, В.В. Родионов и др.; Под ред. Н.Л. Прохорова. –М.: Финансы и статистика, 1986. 304 с.

  8. Прохоров Н.Л. Вычислительный комплекс СМ1700. Архитектура, программное обеспечение и применение // Сб. «Прикладная информатика», № 14. –М.: Финансы и статистика, 1987, 24 с.

  9. Малые ЭВМ высокой производительности. Архитектура и программирование / Г.П. Васильев, Г.А. Егоров, В.С. Зонис и др.; Под ред. Н.Л. Прохорова. М.: Радио и связь, 1990. 256 с.

  10. Микро-ЭВМ. Универсальные машины семейства СМ1800 / Н.Д. Кабанов, А.Н. Шкамарда, В.С. Кравченко и др.; Под ред. Л.Н. Преснухина. –М.: Высшая школа, 1988. 158 с.

  11. Прохоров Н.Л., Песелев К.В. Малые ЭВМ. Перспектива развития вычислительной техники. Кн. 5. –М.: Высшая школа, 1989. 158 с.

  12. Управляющие вычислительные комплексы для промышленной автоматизации: Учебн. пособие / Н.Л. Прохоров, Г.А. Егоров, В.Е. Красовский и др.; Под ред. Прохорова Н.Л., В.В. Сюзева. –М.: МГТУ им. Н.Э. Баумана. 2012. 372 с. 

  13. Ким А.К., Перекатов В.И., Ермаков С.Г. Микропроцессоры и вычислительные комплексы семейства «Эльбрус». –СПб.: Питер, 2013. 272 с.

  14. Фельдман В.М., Иванов М.А., Красовский В.Е., Ёхин М.Н. Серверы и кластеры на аппаратно-программной платформе «Эльбрус»: Учебное пособие. –М.: НИЯУ МИФИ, 2019, 124 с.

Об авторе: Н.Л. Прохоров, д.т.н., А.К. Ким, к.т.н., Г.А. Егоров, д.т.н.,  В.В. Фельдман, д.т.н.
ПАО «Институт электронных управляющих машин им. И.С. Брука», 
г. Москва, Россия
Помещена в музей с разрешения авторов 24 октября 2020