Академическая компьютерная сеть С.-Петербурга

Г. М. Лосев, зав. лабораторией СПИИРАН, к. т. н.
В. М. Пономарев, гл. научный сотрудник СПИИРАН, д. т. н.
Ю. Ф. Рябов, зав. отделом ПИЯФ РАН, д. т. н.
P. M. Юсупов, директор СПИИРАН, д. т. н.

Введение

Желание предложить вниманию читателей журнала "Электросвязь" именно этот материал возникло у авторов в связи с двумя юбилейными датами: 300-летием С.-Петербурга и 25-летием Санкт-Петербургского института информатики и автоматизации РАН (СПИИРАН). Конечно, эти события не связаны между собой, но одно из многих направлений деятельности ученых Санкт-Петербургского научного центра (СПбНЦ) РАН, о котором мы собираемся рассказать, имеет большое значение не только для академического сообщества, но и для города в целом. Речь идет о создании академической компьютерной сети в Ленинграде – С.-Петербурге.

В истории создания сети можно выделить три периода, обусловленных экономическими преобразованиями в стране. Первый (до 1991 г.) – это время развития академсети в условиях социалистической плановой экономики, когда все определялось государственными программами, было обеспечено финансированием и отечественной материально-технической базой. Второй период (1992-1993 гг.) можно охарактеризовать как развал академсети из-за полного отсутствия государственной поддержки, переоценки научно-технической политики в сторону интеграции отечественной и мировой науки. С 1994 г. начинается третий период – возрождение академсети на современной, практически полностью зарубежной технической базе, сопряжение ее с Интернетом, а также с зарождающимися компьютерными сетями других ведомств и коммерческих компаний. Это период интенсивного развития сети с финансированием текущих проектов за счет грантов РФФИ, целевых программ РАН и собственных средств организаций-пользователей.

Ленинградская информационно-вычислительная сеть АН СССР – ЛИВСАН (академсеть первого поколения)

В 1974 г. при Физико-техническом институте им. А. Ф. Иоффе (ФТИ) АН СССР был создан Ленинградский вычислительный центр (ЛВЦ) АН СССР на правах отдела ФТИ. Главной задачей ЛВЦ являлось создание Вычислительного центра коллективного пользования (ВЦКП) для сотрудников всех учреждений (более 40) Ленинградского научного центра (ЛНЦ) АН СССР. Центр располагал мощными по тем временам вычислительными ресурсами, представленными ЭВМ БЭСМ-6, МИР-2 и др. Здесь использовалась общепринятая в то время пакетная технология обработки информации (ввод заданий с перфокарт и перфолент). Уже к концу 1978 г. услугами ВЦКП пользовались 18 ленинградских организаций АН СССР, им в год выделялось около 10 тыс. часов машинного времени только на основных ЭВМ.

Высокая эффективность работы ЛВЦ была отмечена не только АН СССР, но и руководством города и страны. Поэтому, когда в 1978 г. Президиум АН СССР обратился к правительству с просьбой преобразовать ЛВЦ в Ленинградский научно-исследовательский вычислительный центр (ЛНИВЦ) АН СССР, соответствующее решение было немедленно принято. С тех пор научная деятельность ЛНИВЦ ориентировалась не только на чисто академические задачи, но и на проблемы города. Это отразилось и на развитии академсети – теперь она строилась с учетом необходимости обслуживания ряда неакадемических организаций.

В связи с тем, что пакетный режим обработки информации, принятый в ВЦКП, был крайне неудобен для пользователя, одним из главных направлений деятельности ЛНИВЦ стало обеспечение интерактивного режима взаимодействия с ЭВМ, а также предоставление возможности удаленного терминального доступа непосредственно из организаций-пользователей. Эти задачи решались в рамках проекта "Создание информационно-вычислительной системы коллективного пользования (ИВСКП) ленинградских учреждений АН СССР". Данный проект положил начало созданию ленинградского сегмента будущей всесоюзной академсети.

Так как организовать удаленный доступ к ресурсам ЛНИВЦ из учреждений, находящихся в разных точках города, а тем более – в других городах, можно было только при наличии высококачественных цифровых линий связи, встал вопрос о создании сети передачи данных – важнейшего звена ИВСКП. На этом этапе возникли некоторые проблемы, поскольку программа по созданию Общегосударственной сети передачи данных (ОГСПД) как подсистемы Единой автоматизированной сети связи (ЕАСС) страны должным образом не выполнялась. Поэтому организовывать каналы передачи данных ЛНИВЦ приходилось, в основном, своими силами (что стало впоследствии правилом для разработчиков ленинградской академсети на всех этапах ее развития).

В первую очередь на Васильевском острове, где располагалось около десяти академических институтов, были проложены собственные телефонные кабели. Причем обе площадки ЛНИВЦ (Менделеевская линия, д. 1 и 14-я линия, д.39) были соединены как между собой, так и с Василеостровской АТС несколькими 100-парными кабелями. Это позволило, во-первых, выйти на городскую телефонную сеть и использовать резервы ее проводной емкости для образования прямых соединений между организациями-пользователями, расположенными в разных точках города, и ЛНИВЦ, а, во-вторых, обеспечить прямой доступ к междугородной АТС. Благодаря этому уже к концу 1980 г. к Центральному вычислительному комплексу (ЦБК) ЛНИВЦ были подключены по прямым каналам связи удаленные терминалы 15 академических и четырех неакадемических институтов, а также терминалы, установленные в Ленинградском институте ядерной физики им. Б. П. Константинова АН СССР (ЛИЯФ, Гатчина), в Карельском филиале АН СССР (Петрозаводск), во Всесоюзном научно-исследовательском институте прикладных автоматизированных систем (ВНИИПАС, Москва), в Институте электроники и вычислительной техники (ИЭВТ, Будапешт).

Параллельно с созданием сети передачи данных для удаленного терминального доступа интенсивно наращивались вычислительные ресурсы ЛНИВЦ за счет ввода в эксплуатацию сначала американской вычислительной системы "Сайбер-172/6", а затем ЭВМ ЕС-1052 и двух ЭВМ ЕС-1066. ЭВМ располагались на разных площадках ЛНИВЦ, удаленных друг от друга на расстояние около пяти километров. Естественно, возникла проблема объединения ресурсов в многомашинную распределенную ассоциацию. Решалась она в ходе реализации проекта "Создание Ленинградской информационно-вычислительной сети АН СССР (ЛИВСАН)".

Межмашинные связи, организованные по стандартным модемным соединениям, имели скорость передачи данных не выше 9600 бит/с, что было явно недостаточно. Поэтому началось освоение волоконно-оптических линий связи (ВОЛС). Первая внутриобъектовая ВОЛС была введена в действие уже в 1980 г., а в марте 1984 г. в опытную эксплуатацию вступила внешняя, почти километровая ВОЛС для передачи данных со скоростью до 16 Мбит/с. Это была первая в городе ВОЛС для передачи цифровой информации между ЭВМ.

Освоение технологии сопряжения удаленных ЭВМ позволило совершенствовать терминалы удаленного доступа. Специалисты ЛНИВЦ разработали типовой интеллектуальный терминальный комплекс, которой обеспечил не только выполнение простых вычислительных работ и связь с ЦВК ЛНИВЦ, но и управление экспериментами. Комплекс имел гибкую структуру и представлял собой совокупность аппаратных и программных средств, построенных по модульному принципу. Аппаратные средства включали блоки КАМАК для связи с периферийными устройствами и экспериментальной аппаратурой, микро-ЭВМ для управления передачей данных и межмодульным обменом и мини-ЭВМ в качестве коммуникационной ЭВМ. На основе типового терминального комплекса к 1985 г. были созданы различные системы автоматизации научных исследований, гибкие производственные системы, сетевые шлюзы и др. Эти системы нашли широкое применение на предприятиях города в период реализации региональной программы "Интенсификация-90", которая во многом опиралась на возможности ЛИВСАН.

Всесоюзная академсеть и ее подсеть "Северо-Запад"

Еще в 1979 г. Комиссия по вычислительным центрам коллективного пользования и сетям ЭВМ Координационного комитета АН СССР по вычислительной технике предложила создать вычислительную сеть академий наук СССР и союзных республик (академсеть) для коллективного использования учеными академических организаций.

В 1980 г. были разработаны программа и проект академсети. Она строилась как сеть с коммутацией пакетов по международному протоколу обмена данными Х.25, что давало возможность сопряжения ее с зарубежными информационно-вычислительными сетями и центрами. Стандарт Х.25 являлся первым международным стандартом для сетей ЭВМ и в то время был еще плохо "обкатан". С его внедрением были трудности не только у нас в стране, но и за рубежом – стандарт требовал нового аппаратно-программного обеспечения вычислительной техники и предъявлял высокие требования к каналам связи. Структурно академсеть преставляла собой совокупность девяти взаимосвязанных региональных вычислительных подсетей (РВПС), каждая из которых имела свою головную организацию: "Центр" (Москва, ВНИИПАС), "Северо-Запад" (Ленинград, ЛНИВЦ АН СССР), "Прибалтика" (Рига, ИЭВТ Латвийской АН), "Юго-Запад" (Киев, ИК Украинской АН), "Урал" (Свердловск, ИММ УО АН СССР), "Сибирь" (Новосибирск, ГПВЦ СО АН СССР), "Средняя Азия" (Ташкент, НПО "Кибернетика" Узбекской АН), "Казахстан" (Алма-Ата, ИК Казахской АН), "Дальний Восток" (Хабаровск, ВЦ ДВО АН СССР).

Первый центр коммутации пакетов (ЦКП) в ЛИВСАН был введен в эксплуатацию в 1983 г. Он был выполнен на базе ЭВМ СМ-4 и имел арендованные каналы передачи данных со скоростью 2400 бит/с и с ЦКП, которые располагались в Москве (ВНИИПАС) и Риге (ИЭВТ Латвийской АН). В 1985 г. вошла в эксплуатацию первая очередь РВПС "Северо-Запад", ядром которой была ЛИВСАН.

Новые задачи потребовали развития всех подсистем ЛИВСАН (которую с этих пор стали называть ленинградской академсетью). Прежде всего была существенно расширена базовая сеть передачи данных, созданы новые ВОЛС, использованы радиоканалы подвижных систем связи – городской УКВ-системы "Алтай-ЗМ"(для подключения к сети мобильных терминалов) и глобальной международной спутниковой системы морской подвижной связи "ИНМАРСАТ" (для связи с ЦКП дальних РВПС). С этой целью были выполнены следующие мероприятия:

• по заказу ЛИИАН (ЛНИВЦ в 1985 г. был переименован в Ленинградский институт информатики и автоматизации АН СССР - ЛИИАН) НИИ "Севкабель" разработал волоконно-оптические кабели, предназначенные для прокладки в телефонной канализации, и выполнил их исключительно из отечественного сырья (включая многомодовое волокно), ИОФАН (Москва) изготовил также на российской элементной базе электронно-оптические преобразователи, разработал и собрал оптические соединители, произвел сварку и тестирование волокон при монтаже ВОЛС, опять-таки используя отечественное оборудование. ЛИИАН разработал и изготовил ряд электронно-оптических мультиплексоров. Было создано восемь ВОЛС протяженностью 30 км со скоростью передачи данных до 10 Мбит/с;
• по специальному разрешению Министерства морского флота СССР и ВО "Морсвязьспутник" были приобретены и к 1998 г. установлены пять судовых отечественных спутниковых станций "Волна-C" (в Ленинграде, Апатитах, Свердловске, Хабаровске, Тарусе), проведены опытные сеансы межмашинного обмена на скорости 1200 бит/с.

Если до 1983 г. основной интерес пользователей академсети сводился к использованию ее вычислительного ресурса, то с 1983 г. заметно выросло стремление получить доступ к базам данных отечественных центров научно-технической информации и, конечно, к зарубежным базам. Для удовлетворения этой

потребности уже на стадии создания ЛИВСАН к сети были подключены библиотека АН СССР и Ленинградский центр научно-технической информации (ЛенЦНТИ). После "запуска" академсети ленинградские ученые получили возможность работать через ВНИИПАС с московскими информационными центрами – ИНИОН, ВИНИТИ, ВНТИЦ, МЦНТИ, а также с зарубежными базами данных.

ЛИИАН также принял активное участие в информационном наполнении академсети. Учитывая большой интерес специалистов разного профиля к геоинформации, в ЛИИАН в 1987 г. был создан центр по приему, обработке, хранению и доведению по каналам академсети до пользователей информации, которую "сбрасывают" международные метеорологические спутники серии NOAA – 9 (10, 11, 12). Информация использовалась для различных целей, например, при исследовании экологии Финского залива, Ладожского и Онежского озер, Белого моря, Камского водохранилища, а также для обнаружения очагов пожаров в Ленинградской области.

К 1991 г. в РВПС "Северо-Запад" академсети насчитывалось около 90 организаций, подключенных к ней по выделенным каналам связи (в том числе восемь организаций – по ВОЛС), и более 150 терминальных систем.

В 1992 г., как мы уже упоминали, по объективным причинам академсеть распалась. Вся вычислительная техника и прочее оборудование было уничтожено, осталась только кабельная среда сети передачи данных.

Создание в С.-Петербурге академсети второго поколения

Первая очередь РОКСОН. В период развала академсети, в 1992-1994 гг., в стране в свободной продаже появились компьютеры, и многие ученые смогли приобрети ПК в личное пользование. Удовлетворив таким образом, как им казалось, навсегда свои потребности в вычислительных ресурсах, они не ставили вопрос о возрождении академической сети. Вскоре стало ясно, что успех ученого во многом зависит от его возможностей использовать информацию Всемирной паутины, и все начали обращаться к коммерческим провайдерам, недостатка в которых не было. Однако услуги частных компаний стоили довольно дорого, а качество доступа в Интернет оставляло желать лучшего, и к 1995 г. академическое сообщество С.-Петербурга осознало необходимость возрождения разрушенной сети [1].

В 1995 г. инициативная группа ученых получила грант РФФИ и финансовую поддержку в рамках ведомственной программы "Создание национальной сети компьютерных телекоммуникаций для науки и высшей школы" по проекту "Создание региональной объединенной компьютерной сети образования, науки и культуры Северо-Запада (РОКСОН С-З)". С созданием РОКСОН началось возрождение академсети.

Первая очередь РОКСОН была реализована на Васильевском острове, она строилась на базе телекоммуникационной среды бывшей академсети. Сеть должна была стать основой для глобального обмена информацией и развития новых информационных технологий, отвечающей текущим и перспективным задачам науки, образования и культуры в Северо-Западном регионе страны. Наряду с традиционным сетевым сервисом (электронная почта, файловый обмен и удаленный доступ) технические и программные средства новой академической сети должны были обеспечивать внедрение качественно новых возможностей поддержки международных научных, образовательных и культурных программ и тем самым стимулировать развитие отечественных интеллектуальных технологий в науке, образовании и культуре. Проект был ориентирован на применение современных IP-технологий, развитие мультимедиа-приложений и средств интерактивного группового взаимодействия.

Сеть строилась как совокупность взаимосвязанных узлов трех уровней:

• 0-й – центральный коммуникационный узел, который собирает трафик с узлов нижних уровней и обеспечивает трансляцию его во внешние каналы;
• 1-й – опорные узлы, расположенные в ведущих академических организациях и вузах, обеспечивающие передачу информации в центральный узел от всех организаций, расположенных в соответствующем районе города;
• 2-й – узлы, концентрирующие график от близко расположенных организаций или самостоятельных подразделений одной организации (соединения локальных сетей).

Пусковая очередь сети РОКСОН (1995 г.)

В пусковой очереди сети (рис. 1) были созданы: узел 0-го уровня "Центральный" (ОАО "Ленэнерго", Марсово поле, д. 1), узел 1-го уровня "Управляющий" (специальный факультет СПбГУ, 14-я линия, д. 29) и узлы 2-го уровня: "Василео-стровский-1" (СПИИРАН, 14-я линия, д. 39), "Василеостров-ский-2 (СПИИРАН, Менделеевская линия, д. 1). Между всеми узлами (кроме "Центрального") по ВОЛС были организованы каналы передачи данных со скоростью 10 Мбит/с, а между узлами "Управляющий" и "Центральный" по сети связи "Ленэнерго" – до 512 кбит/с. На узле "Управляющий" была установлена доменная система и развернут модемный пул для подключения ЛВС организаций и домашних компьютеров научных работников и преподавателей. Организации, располагавшие в период действия академсети волоконно-оптическими линиями связи со СПИИРАН (в 1992 г. ЛИИАН был переименован в Санкт-Петербургский институт информатики и автоматизации РАН-СПИИРАН) имели доступ в РОКСОН со скоростью 10 Мбит/с, остальные работали по медным кабелям через модемы. Маршрутизаторы на узлах были построены на базе персональных компьютеров.

Большую помощь в запуске ВОЛС, как и прежде, в период построения академсети, оказал ИОФРАН. Его сотрудники разработали первые опытные образцы электронно-оптических преобразователей (ETHERNET-трансиверов) повышенной мощности, которые позволили работать на сильно деградировавших к этому времени оптических кабелях академсети.

Использование коммуникаций академсети для построения РОКСОН существенно сократило затраты и сроки создания пусковой очереди. К 1998 г. (время окончания гранта РФФИ) почти все организации – прежние пользователи академсети получили доступ в Интернет.

Вторая очередь РОКСОН (1998-2002 гг). Первая очередь РОКСОН получила высокую оценку АН, и было решено усилить финансовую поддержку сети. В феврале 1998 г. для координации деятельности по развитию и эксплуатации РОК-СОН в интересах академических учреждений С.-Петербурга, выработке рекомендаций для руководства СПбНЦ по расходованию целевых финансовых средств, организации методической и технической помощи в развитии сетевых технологий Президиум СПбНЦ РАН принял решение об образовании Центра научных телекоммуникаций СПбНЦ РАН (на правах комиссии). Центр разработал план реализации второй очереди РОКСОН, который был одобрен Президиумом СПбНЦ РАН. План обеспечивался, начиная с 1998 г., ежегодной финансовой поддержкой в рамках Научной программы СПбНЦ РАН, с 1999 г. – в рамках программы совета РАН "Научные телекоммуникации и информационная инфраструктура РАН", продолжалась также финансовая поддержка грантами РФФИ и межведомственной программы. Финансирование РОКСОН со стороны АН определило ее статус корпоративной сети СПбНЦ РАН. План второй очереди РОКСОН предусматривал расширение внешнего канала, внедрение новых сетевых технологий: ATM, Fast Ethernet, гигабитного Ethernet и постепенную замену устаревших многомодовых кабелей на одномодовые.

Поскольку территориальный разброс академических институтов в городе достаточно велик, для удобства внедрения РОКСОН были выделены территориальные сегменты, в том числе: "Василеостровский", "Центральный", "Адмиралтейский", "Петроградский", "Северный", "Московский", "Пулково" и "Шувалово-Озерки". В каждом из них запланировано организовать, как минимум, один узел. Сначала получат развитие первые пять сегментов, причем "Северный", будет развиваться в основном, по планам ФТИ РАН. Развитие сегментов"Шувалово-Озерки" (территория Академгородка), "Московский" и "Пулково" (территория Главной астрономической обсерватории РАН) требует больших финансовых вложений и планируется в последнюю очередь.

Топология сети РОКСОН по состоянию на 1 января 2003 г.

На рис. 2 приведена топология сети РОКСОН по состоянию на январь 2003 г. Центральный узел подключен к региональным точкам обмена трафиком SPB-IX, SPB-LE. В настоящее время к РОКСОН подключено более 90 организаций, среди которых 32 – академических, восемь вузов, шесть российских научных центров. Практически все организации подключены к сети по ВОЛС.

Будущее РОКСОН. Требования пользователей сети к улучшению качества обслуживания, расширению сервиса, защите информации от несанкционированного доступа, обеспечению распределенных вычислений ставят задачу дальнейшего развития РОКСОН. Оно будет происходить главным образом за счет использования современных телекоммуникационных и информационных технологий, обеспечивающих создание виртуальных локальных сетей (VPN), распределенные вычисления (GRID), технологии волнового (частотного) мультиплексирования (WDM), а также ряда других технологий, способствующих развитию мультисервисного обслуживания.

Внедрение технологии VPN, основанной на методах IP-тунелирования и построения защищенных соединений, позволит создать ряд территориально распределенных локальных сетей в рамках существующей инфраструктуры РОКСОН, обеспечить защиту конфиденциальной информации (доступ к корпоративным базам данных), что является одним из важных условий выполнения совместных работ группами исследователей различных научных организаций. Наличие многих программно-аппаратных решений позволяет осуществить построение VPN и обеспечить требования по защищенности и качеству обслуживания.

Используемые в РОКСОН маршрутизаторы CISCO-3640 относятся к классу VPN-оптимизированных и допускают построение виртуальных сетей на базе протокола IPSec. Поддержка IPSec присутствует в ОС FreeBSD версий 4.x и 5.x, что позволяет использовать PC-маршрутизаторы. В дальнейшем предполагается использование на РС-маршрутизаторах свободно распределяемых программных пакетов (Open VPN и Vtund).

Внедрение технологии GRID для распределенных вычислений является одним из основных направлений развития сети РОКСОН. Организация доступа к вычислительным сетевым ресурсам на основе этой технологии, по сути дела – переход к Интернету нового поколения, обслуживающему не только доступ к информационным ресурсам. Основной концепцией технологии является централизованное и скоординированное распределение вычислительных ресурсов в рамках компьютерных сетей, решение проблем создания виртуальных организаций (ВО), обеспечивающих при географической распределенности (возможно, по всему миру) информационную интеграцию. С точки зрения архитектуры GRID является, прежде всего, открытой расширяемой протокольной архитектурой (пять уровней), определяющей базовые механизмы, с помощью которых пользователи ВО получают доступ к ресурсам, предоставляемым этой технологией. Основные типы ресурсов: вычислительные, накопительные, сетевые, каталоги, библиотеки программ.

Для построения GRID-систем разработано несколько экспериментальных пакетов программного обеспечения (Globus, Legion, Condor), реализующих сервис в рамках отношений доступа между конечными сетевыми системами, с которыми достигнуто соглашение о взаимодействии (членство в ВО).

Необходимость гарантированного времени отклика, огромного объема передаваемых данных предъявляет высокие требования к скоростям передачи по каналам связи (от десятков Мбит/с до 10 Гбит/с). Для решения задачи скоростной передачи данных при работе с вычислительными ресурсами и сохранением возможности скоростного доступа к информационным ресурсам (существующий режим работы Интернета с использованием WWW-технологии) планируется обеспечить более эффективное использование оптоволоконной транспортной среды РОКСОН за счет применения технологии WDM. Это позволит в рамках общей транспортной среды обеспечить раздельную передачу данных как для обычного Интернета, так и для Интернета нового поколения. Анализ существующих методов частотного мультиплексирования показал, что для решения проблемы разделения трафика можно использовать недорогой вариант этой технологии, базирующийся на использовании длин волн из соседних "окон прозрачности" волоконного световода (1,3 мкм, 1,5 мкм). Вычислительными ресурсами сети будут кластеры персональных компьютеров научных организаций, входящих в ВО. Использование кластеров является доминирующей тенденцией в решении научных и научно-технических задач, так как кластеры обеспечивают легкую расширяемость, однородность технических средств и программную совместимость.

Внедрение в РОКСОН вышеперечисленных технологий обеспечит новый качественный уровень использования сетевых средств при проведении научных исследований в организациях СПбНЦ РАН.

Заключение

Из всех научно-образовательных сетей С.-Петербурга РОКСОН – наиболее разветвленная. Являясь сетью СПбНЦ РАН, она, тем не менее, доступна широкому кругу государственных организаций. Ее услугами пользуются организации систем высшего и среднего образования, здравоохранения, культуры, государственной власти и местного самоуправления. В телекоммуникационной инфраструктуре С.-Петербурга, развитие которой предусматривается региональной целевой программой "Электронный Санкт-Петербург (2002-2006 гг.)", РОКСОН является существенным звеном. В частности, она может послужить базой для реализации городской телемедицинской сети.

Следует сказать, что в 2001 г. в Минпромнауке было принято решение о создании национальной системы высокопроизводительных вычислений. В С.-Петербурге, в ФТИ РАН, реализуется пилотный проект по созданию регионального центра высокопроизводительных вычислений, кластер высокопроизводительных вычислений создан и в СПИИРАН. Имеются кластеры в СпбГУ, СПбГТУ и ряде других научно-образовательных учреждений. Для подключения пользователей к вычислительным ресурсам кластеров, а также объединения кластеров разных организаций в единую суперкомпьютерную сеть можно с успехом использовать транспортную среду РОКСОН. Сегодня в развитие сети закладываются технические решения, которые позволят решить эту задачу

Литература

1. Аптекарь Р. Л., Борисов Н. В., Васильев В. Н., Глебовский А. Ю., Заборовский B.C., Лосев Г. М., Рябов Ю. Ф., Хрущев С. В. На пути к созданию Региональной объединенной компьютерной сети оборудования и науки на северо-западе России (РОКСОН/СЗ). Тез. докл. III С.-Петерб. межд. конф. "Региональная информатика-94". – С.-Петербург, 1994.

Статья опубликована в журнале "Электросвязь" №5, 2003 г., стр. 17.
Перепечатывается с разрешения редакции.