Наукометрические исследования в информатике

В.А. Евстигнеев

Наука — это самоорганизующаяся система, развитие которой управляется ее информационными потоками, а наукометрия — это совокупность количественных методов изучения развития науки как информационного процесса.

Цель наукометрических исследований — дать объективную картину развития научного направления, оценить его актуальность, потенциальные возможности, законы формирования информационных потоков и распространения научных идей. Реализация этой цели включает в себя ряд конкретных задач, совокупное решение которых должно дать ответ на большинство поставленных вопросов.

Однако события последних десяти лет привело науку в России в плачевное состояние, при котором традиционные методы исследования вряд ли что-нибудь дадут. Эти методы рассчитаны на применение в условиях стабильности общества, а не во время перемен. Цель данной работы — дать обзор методов и результатов наукометрических исследований в области программирования, которые были проведены в середине 80-х гг. в Новосибирском филиале ИТМ и ВТ АН СССР под руководством автора.

1. Введение

В задачи науковедения входит, среди прочих, поиск оптимальной структуры научных учреждений и наиболее эффективных методов организации науки как объекта управления, а также определение скорости развития научных направлений, индивидуальной и коллективной продуктивности труда ученых и т.п. С этой целью в науковедении используются различные модели науки: экономическая, гносеологическая, логическая, информационная и др. В настоящих исследованиях мы будем исходить из информационной модели, так как феноменологически науку можно рассматривать как процесс получения существенно новой информации. Этот процесс носит последовательный и коллективный характер; всякая научная работа базируется на некотором множестве ранее выполненных работ. Наука — это самоорганизующаяся система, развитие которой управляется ее информационными потоками, а наукометрия — это совокупность количественных методов изучения развития науки как информационного процесса.

2. Цели наукометрии

Реализация этой цели включает в себя решение ряда конкретных задач (см. ниже), совокупное решение которых должно дать ответ на большинство поставленных вопросов. Достаточно подробное наукометрическое исследование такого научного направления как программирование (в основном системное и теоретическое программирование) было проведено в середине 80-х годов в Новосибирском филиале ИТМ и ВТ небольшим коллективом в составе Ф.Р. Енгибарова, В.Н. Киселева, О.А. Логиновой, Н.И. Снытниковой, Л.И. Булыгиной, Л.И. Кульковой и др. Результаты их иследований содержались в ряде отчетов и библиографических указателях наукометрического типа.

3. Методы исследований и задачи в наукометрии

Статистический метод.
Метод подсчёта числа публикаций.
Метод «цитат-индекса».
Метод «контент-анализа».
Тезаурусный метод.
Сленговый метод.

Хотя все или практически все наукометрические методы имеют статистическую природу, тем не менее выделяется отдельный статистический метод, под которым понимается метод, использующий в качестве наукометрических индикаторов все измерители, кроме числа публикаций, ссылок и отдельных слов. В число измерителей науки, охватываемых статистическим методом, попадают такие измерители, как число учёных, журналов, заказов на годовые комплекты журналов в библиотеках и информационных центрах, открытий и другие, имеющие относительно крупные «единицы измерения», либо несоизмеримые с другими наукометрическими измерителями (например, энергия ускорителей элементарных частиц).

Измеритель (индикатор), определяющий метод подсчёта публикаций, — это число научных продуктов, под которыми здесь понимаются книги, статьи, отчёты и т.д. Иногда при расчёте общего объёма научной продукции эти типы не различаются, иногда же книги, оригинальные статьи, обзорные статьи и прочее берутся с разными весами.

Наукометрический метод «цитат-индекс» базируется на обязательности ссылок на использованную литературу в научных публикациях; в основе его лежит наукометрический индикатор «число цитат или ссылок». В основе современных применений данного метода лежит индекс Гарфилда — регулярно выходящий начиная с 1964 г. «Индекс научных ссылок», издаваемый Институтом научной информации, возглавляемом Ю. Гарфилдом. Он состоит из нескольких частей. Основную часть Индекса составляет указатель ссылок , который позволяет установить, кто цитирует фиксированную работу данного автора. Фиксируется лишь фамилия первого автора работы, название работы не приводится, название журнала даётся в сокращенном виде. Название работы, фамилии и адреса всех авторов можно найти в указателе источников , представляющем вторую часть Индекса. Третья часть Индекса — пермутационный предметный указатель — позволяет найти авторов, в заголовках работ которых встречается данное слово. И наконец, последняя часть Индекса содержит результаты библиометрического анализа охватываемых Индексом цитирующих и цитируемых журналов.

Наукометрический метод «контент-анализ» происходит от социологического контент-анализа средств массовой коммуникации. Процедура контент-анализа заключается в сведении рассматриваемого текста к ограниченному набору определенных элементов (слов или, реже, предложений), которые затем подвергаются подсчёту и анализу.

В основе тезаурусного метода лежит одноимённый метод, широко применяемый в теории и практике информационного поиска. Упор в тезаурусном методе делается на содержательный анализ терминов для отбора среди публикаций текстов, релевантных запросу.

Недостатком этих двух методов является отсутствие воспроизводимости результатов подсчётов, достаточной для наукометрических исследований. Один из возможных путей увеличения воспроизводимости результатов — использование сленгового метода.

Сленговый метод, как и другие наукометрические методы, основывается на вероятностных представлениях и является статическим. Являясь результатом развития «контент-анализа» и тезаурусного методов, сленговый метод опирается, кроме того, на традиции статистической лингвистики, изучающей частотные распределения слов и создавшей частотные словари. В качестве индикатора в этом методе берётся не число «символов», как это делается в контент-анализе, и не число «терминов» (ключевых слов), как это делается в тезаурусном методе, а просто число слов, точнее, словарных слов.

4. Задачи, рассматриваемые в наукометрии

Наукометрический анализ включает в себя самые разнообразные задачи в зависимости от выбранного метода. Так, при использовании статистического метода решаются такие, например, задачи, как временные динамики числа открытий, числа журналов, числа учёных, динамика соавторства и т.д. Использование метода подсчета числа публикаций даёт возможность решать такие задачи, как распределения публикаций по странам, языкам, по типу издания и пр.

При проведении наукометрических исследовоаний мы остановились на ряде задач, которые не требовали больших затрат на их решение, с одной стороны, и давали бы достаточную картину развития программирования как научного направления.

исследование динамики изменения числа научных публикаций по программированию;
исследование структуры пространства научных журналов как каналов передачи научной информации;
статистическое исследование языка научных публикаций (сленг-анализ);
анализ библиографических ссылок в научных публикациях (цитат-анализ);
исследование структуры и динамики развития незримых научных коллективов;
исследование структуры научных связей ученого (научное окружение ученого).

Этот список не исчерпывает всех направлений исследований в наукометрии (в частности, совершенно не затрагивались вопросы финансирования научного направления), но дает представление о том, с каких позиций проводилось исследование динамики программирования как научного процесса.

5. Поток публикаций

5.1. Общие положения [1]

Так как основной продукт, производимый ученым, есть публикация, то анализ развернутого во времени потока публикаций является основным фактором, характеризующим динамику развития научного направления. Естественно возникающая трудность при проведении такого анализа — что считать за публикацию. Дело в том, что публикации различаются по ряду признаков: объем (от тезисов в 1 страничку, представленных на конференцию, до фолианта в 1000 страниц мелкого шрифта), место публикации (нерецензируемый «карманный» сборник трудов или престижный журнал с авторитетным штатом рецензентов), способ распространения (отчеты, изготовленные поштучно, препринты, рассылаемые по списку, и монография, изданная солидным тиражом и находящаяся в свободной продаже), число соавторов и т.д.

Известны различные подходы к преодолению этих проблем. Так, например, выбирается базовая публикация (чаще всего — журнальная публикация фиксированного объема) и все остальные публикации измеряются в этих единицах. Может быть также принято соглашение о приравнивании одной книги некоторому числу эталонной журнальной публикации. Так, известны следующие соотношения: 1:4, 1:6, 1:18 и т.д.

Ряд исследователей предлагает измерять объем публикаций в печатных листах. Такой подход внедрялся при подготовке списка печатных трудов, где предлагалось указать для каждой публикации ее объем в печатных листах. Однако такие подходы не решают задачу полностью и чаще под числом публикаций понимают число заголовков публикаций. При наличии соавторов в списках печатных трудов они указываются в столбце — примечании, где просто указывается факт наличия соавторов (фразой «в соавторстве»).

Число научных трудов есть величина, которая хорошо коррелирует с известностью ученого, с его вкладом в науку. Имеется значительная корреляция между престижем научного учреждения с числом выпускаемых им работ. Конечно можно утверждать, следуя Д. Прайсу, что число публикаций — «это очень плохая шкала». «В самом деле, — пишет далее он, — кто мог бы осмелиться попытаться уравновесить одну статью Эйнштейна по теории отнсительности хотя бы сотней статей бакалавра Джона Доу о константах эластичности для различных древесных пород в лесах Нижнего Базутоленда, по одной константе на статью».

Можно, конечно, иронизировать по этому поводу, а можно подойти к этому делу по другому. Чтобы показать гениальность статьи Эйнштейна, нужна публикация сотен статей с расшифровкой всех деталей как специалистам, так и широкой научной общественности. В то время как сотня статей бакалавра освещает тематику констант эластичности самодостаточно. Что же касается научной ценности, то отвергать эти работы только потому, что они не востребованы в данный момент, совершенно нельзя. В мире науки мы часто встречаемся с, казалось бы, бессмысленными публикациями, касающихся совершенно «бесполезных исследований». Примерами таких работ могут служить исследования жизни насекомых, языков малочисленных народов и других аналогичных тем.

5.2. Динамика роста числа публикаций

Наиболее известным результатом исследований динамики роста числа публикаций является возможность аппроксимации кривых роста числа публикаций экспонентой . Иногда в этих целях используется сумма экспонент . При увеличении числа «колен» эмпирической кривой роста числа публикаций авторы, не желающие отказываться от языка экспонент, говорят о так называемой скользящей экспоненте . Понятно, что такая аппроксимация лишена смысла, если нам не удастся установить вид зависимости параметров этой скользящей экспоненты от положения точки на кривой роста. Если же такая зависимость будет найдена для данной кривой роста, то это будет означать аппроксимацию этой кривой не экспонентой, а более сложной зависимостью.

К линейной аппроксимации эмпирических данных по росту числа публикаций прибегают при исследованиях коротких временных интервалов. При расширении временного интервала для кривых роста часто получают зависимости так называемого логистического типа .

Наукометрический индикатор «число научных публикаций» разработан больше, чем какой-либо из известных индикаторов. Тем не менее он требует дальнейшей проработки. В частности, должна быть разработана формализованная процедура «взвешивания» публикаций разных типов и отдельных публикаций. Основой такого «взвешивания» может служить ранг публикаций, издания или типа издания, в котором помещена эта публикация. Ранг же может определяться средствами цитатного, социологического или какого-либо другого анализа.

Перспективы применения подсчета числа публикаций определяются результатами опорных исследований числа публикаций как наукометрического индикатора латентных переменных научной деятельности. Число публикаций может служить индикатором признания ученого, его известности , вклада в науку , продуктивности , престижа научного заведения .

Согласно зафиксированным в литературе опорным соображениям качественного порядка, число публикаций может служить индикатором элитности ученого, его активности , интенсивности . Большое число монографий в данном научном направлении связывают с его насыщенностью , а число журнальных статей — с его конфликтностью . Ценность журнала определяют по частотам отражения их публикаций во вторичных изданиях.

Скорость роста числа публикаций связывают с актуальностью данного научного направления или с его перспективностью .

По скорости роста числа публикаций данного научного коллектива в данный момент, соотнесенной с общей логистической кривой их роста для этого коллектива, предлагается определять фазы развития данного коллектива . Коллективы, находящиеся в разных фазах своего развития, перспективны в разной степени.

Стационарные распределения числа публикаций также могут быть использованы для выявления проблемных научных направлений, которые характеризуются распределениями, имеющими более короткие «хвосты», нежели традиционные направления. В проблемном направлении публикации рассеяны в меньшем числе журналов, чем в непроблемном.

Таким образом, возможности применения числа публикаций в качестве индикатора научной деятельности в принципе обширны. Однако до широкого практического использования результатов этих исследований еще далеко, поскольку не установлена полная картина корреляций числа научных публикаций ни с системой индикаторов, ни с системой латентных параметоров науки. Кроме того, уже вычисленные корреляции устанавливались на основе гауссовой математической статистики, тогда как распределения, между которыми устанавливались эти корреляции, имеют сугубо негауссову природу. Все это означает, что опорные исследования числа публикаций должны вестись фактически заново средствами негауссовой математической статистики с широким систематическим охватом всей системы индикаторов и латентных переменных науки.

Следует напомнить, что все наукометрические оценки носят статистический характер. Фиксируемые опорными исследованиями связи числа публикаций как наукометрического индикатора с латентными переменными научной деятельности также носят поэтому статистический характер. Это означает, что, не гарантируя верности оценки в каждом конкретном случае, среднестатистический метод подсчета числа публикаций при его использовании совместно с другими методами дает положительный эффект.

5.3. Динамика роста числа публикаций в программировании
(1956–1975 гг.)

Данный раздел написан по материалам работы автора [2]. Рассматриваемый промежуток времени (1956–1975) охватывает время от появления первой статьи в открытой печати до массового внедрения ЭВТ в науку и промышленность. Можно утверждать, что этими исследованиями были затронуты все или почти все публикации (статьи, тезисы докладов, монографии, препринты). Не учитывались отчеты и другие научные рукописи. В период начального развития, когда публикаций мало, данные о числе публикаций весьма разбросаны и их можно аппроксимировать только на отдельных интервалах.

Итак, первое, с чем приходится сталкиваться — это крайняя неравномерность числа опубликованных работ; периоды подъема перемежались периодами спада и застоя. Так как актуальное научное направление характеризуется экспоненциальным ростом числа публикаций, было проведено исследование соответствия роста числа публикаций экспоненциальному закону. Заметим, что рост числа рефератов в реферативных журналах, рост объема информационного массива системы СКИФ и числа специализированных журналов по программированию и смежным вопросам имел ярко выраженный экспоненциальный характер, т.е. в целом в мире развитие программирования соответствовало развитию актуального направления. Однако аппроксимация всего 20-летнего периода жизни советского программирования связана со столь большим разбросом данных, что говорить об экспоненциальном законе не приходится.

1956–1958 гг.: аппроксимирующая кривая y = 2 e 0.95 x ;
1959–1961 гг.: аппроксимирующая кривая y = 4.02 e 0.917 x ;
1962–1968 гг.: аппроксимирующая кривая y = 34.3 e 0.224 x ;
1971–1974 гг.: аппроксимирующая кривая y = 159.66 x – 132.66.

Из приводимых данных видно снижение скорости роста, определяемого показателем экспоненты и последующим переходом к линейной функции, что свидетельствует об исчерпании потенциальных возможностей данного направления. Это, не в последнюю очередь, объясняется произошедшей в начале 70-х годов ориентацией на линию ЕС ЭВМ и переносом основных исследований из сферы Академии наук в сферу промышленности. Но самым интерсным в этой аппроксимации является ее пилообразный характер, не встречавшийся (насколько это мне известно) в наукометрических исследованиях, а также наличие спадов в 1966–1971 и 1974–1975 гг. Складывалось впечатление, что в каждый из отмеченных выше интервалов развивалась какая-либо идея, которая быстро исчерпывала себя, не порождая новых идей, либо отбрасывалась в сторону в угоду новой, взятой со стороны идее. Эта мысль подтверждается результатами анализа библиографических ссылок.

Чтобы учесть влияние прошедших в 1968 и в 1970 гг. Всесоюзных конференций, отметим, что публикация тезисов докладов приходится на период спада с 1967 по 1971 гг. (119 — в 1967, 91 — в 1968, 70 — в 1969, 67 — в 1970, 27 — в 1971). Интересно посмотреть, на какие темы публиковал А.П. Ершов статьи в эти годы [3].

1967 г. — из 10 публикаций 8 относятся к статьям из книги «АЛЬФА — система автоматизации программирования», изданной в Новосибирске. к роме того, одна — по теоретическому программированию и еще одна — по системе АИСТ-0 (издана за рубежом).

1968 г. — из 5 публикаций одна — обзорная, две — по теоретическому программированию, одна — руководство к пользованию системой АЛЬФА и доклад на конференции ИФИП.

1969 г. — из 9 публикаций практически все являются информационными и редакторскими.

1970 г. — из 6 публикаций практически все являются информационными.

1971 г. — из 7 публикаций 6 содержательных и только одна информационная.

Отсюда видно, что вызвать публикации--отклики на статьи А.П.Ершова могут только содержательные статьи на русском языке с некоторой задержкой, требуемой для осознания этих статей.

6. Незримые авторские коллективы [4]

Незримым авторским коллективом мы будем называть группу ученых, связанную отношением «быть соавтором». Другими словами между каждой парой ученых существует по крайней мере одна цепочка, состоящая из учёных, связанных этим отношением. Незримый авторский коллектив может быть представлен неориентированным графом, вершины которого суть учёные — члены незримого коллектива, и две вершины смежны тогда и только тогда, когда соответствующие учёные являются непосредственными соавторами в какой-либо публикации 1. Как велик может быть такой коллектив, и какую он может иметь структуру? Чтобы ответить на эти вопросы, нужно попытаться построить соответствующий граф, используя библиографические указатели или другой имеющийся материал. Так, изучая развитие незримых авторских коллективов в программировании на заре его развития, был построен соответствующий граф с использованием библиографических указателей «Математика в СССР за 40 лет» и «Математика в СССР за 50 лет». Использование таких указателей объяснялось тем, что программирование возникло при тесном контакте с математикой. Этот граф показал, что первые два коллектива — московско-новосибирский и киевский — входили в качестве двух непересекающихся по вершинам связных подграфов в большой математический коллектив.

Пусть дан граф незримого авторского коллектива. Для него можно определить центр как вершину или группу вершин, равноотстоящих от наиболее удалённых вершин. Такой центр можно рассматривать как неформального лидера коллектива. Если же в коллективе есть и формальный лидер, то может быть поставлен вопрос об устойчивости этого коллектива.

Описанный выше подход носит статический характер. Можно рассматривать развитие коллектива в динамике, когда с течением времени к графу добавляются новые вершины и рёбра и одновременно часть прежних элементов удаляется. Такие графы достаточно наглядно отображают перемены в коллективе, связанные, например, с уходом прежнего формального лидера.

7. Граф развития идей [2]

Граф развития идей отображает связь высокоцитированных работ между собой. Исследуемый период времени разбивается на отрезки примерно равной длины и для каждого такого отрезка определяется понятие высокоцитируемой работы. Тогда ориентированный граф, вершины которого суть высокоцитируемые публикации и две вершины v и w которого соединены дугой ( v , w ), если публикация w цитирует публикацию v , называется графом развития идей . На таком графе отчётливо видны источники новых идей. Так на графе развития идей, приведённом в [2], видно, как происходит замещение отечественных источников зарубежными.

7.1. Цитирование работ ученого

Цитирование работ учёного является одной из важнейших характеристик его научной деятельности. Однако применение её на практике упирается в проблему сбора ссылок. Индекс Гарфилда не может дать объективную оценку цитируемости работ конкретного учёного из-за далеко неполной выборки журналов. За пределами внимания остаётся цитирование в книгах, сборниках трудов, препринтах и т.д. А это очень важно, так как показывает использование результатов в практической деятельности учёных и практиков. В НФ ИТМ и ВТ было налажено отслеживание цитирования работ А.П. Ершова и сотрудников НФ в новых публикациях, поступавших в библиотеки А.П. Ершова и НФ, а также цитирование этих работ по Индексу Гарфилда. Собранная информация помещалась в ежегодные библиографические указатели публикаций НФ наукометрического типа. Примером такого указателя может служить Указатель трудов А.П. Ершова, выпущенный к его 50-летию силами НФ и ВЦ СО АН СССР [3].

В указателе, состоящем из двух частей, помещены как библиография публикаций А.П.Ершова, так и сведения об их цитировании. В библиографии публикации располагаются в хронологическом порядке с 1955 по 1981 г. В рамках каждого года работы располагаются по алфавиту названий (вначале работы, изданные на русском, затем на иностранных языках). В качестве дополнения помещён алфавитный указатель трудов и список соавторов.

В указателе цитированных работ за библиографическим описанием печатной работы А.П. Ершова следует перечень работ, авторы которых ссылались на данную публикацию. Этот перечень упорядочен по времени издания, что позволяет проследить динамику развития интереса к результатам, изложенным в основной публикации. Из данного перечня изъяты все работы сотрудников ВЦ и НФ. Это связано, с одной стороны, с необходимостью оставаться в разумных рамках по объёму указателя, а с другой стороны, с желанием подчеркнуть независимое от личного общения с А.П. Ершовым распространение его идей и взглядов, т.е. читаемость его работ.

7.2. Научные связи

Можно определить научное пространство учёного N как совокупность учёных { S }, связанных с N различными научными отношениями, как например, связи типа научный руководитель — оппонент, автор книги — титульный редактор, автор книги — рецензент (не анонимный) , а также связи, устанавливаемые выражениями благодарности за содействие в написании работы, за высказанные замечания, за прочтение рукописи и т.д. Такая работа по выявлению научных связей А.П. Ершова по защитам была проделана на базе массива из 300 авторефератов диссертаций, защищавшихся на советах, членом которых был А.П. Ершов.

8. Пространство журналов

В заключение укажем еще на одну задачу, относящуюся к наукометрии, — это задача исследования пространства журналов. (Конкретно нами рассматривались журналы по программированию и смежным вопросам [4].) Рассмотрим граф, вершины которого суть журналы и две вершины A и B соединены дугой ( A , B ), если статьи из журнала A цитировались в статьях в годовом комплекте (томе) журнала B не менее k раз, где порог цитирования k устанавливается эмпирическим путём. В полученном орграфе вершины подразделяются на вершины-входы, вершины, принадлежащие бикомпонентам или компонентам сильной связности, и вершины из бесконтурной части. Первые соответствуют журналам, оказывающим сильное влияние на остальные журналы, а сами не подвергаются постороннему влиянию. Это очень важная группа журналов. Журналы второй группы образуют как бы супержурналы, каждый из которых состоит из журналов, соответствующие вершины которого составляют одну бикомпоненту. Поэтому при подготовке обзоров и при комплектовании фондов библиотек нужно отслеживать все журналы, образующие бикомпоненту. Остальные журналы имеют ограниченное влияние.

Для журналов по программированию было проведено исследование на базе журналов за 1979 и 1982 гг. В 1979 г. было три журнала-входа (Datamation и два журнала фирмы IBM), которые влияли на супержурнал из 9 журналов, включающий такие издания, как Communication of the ACM, Journal of ACM и др. Этот супержурнал оказывал влияние на все остальные журналы. В 1982 г. была несколько другая картина, хотя общая схема осталась прежней. Бывшие входы потеряли свое влияние; их место занял журнал Communication of the ACM, состав супержурнала изменился в сторону расширения — в него вошло уже 12 журналов, включая такой журнал, как Theoretical Computer Science. Это отражало изменение в расстановке сил (потеря лидирующих позиций IBM), усиление влияния теоретических исследований, появление новых перспективных направлений (к примеру искусственный интеллект).

9. Заключение

К сожалению, описываемые методы плохо применимы в условиях переходного периода от одного стабильного состояния к другому. Резкое сокращение финансирования науки, массовый отъезд учёных за границу, распад СССР привели к ликвидации сложившихся авторских коллективов, резкому уменьшению числа публикаций и изменению их структуры, нарушивших сложившиеся традиции цитирования и т.д. и т.п. Кроме этого, большое и еще не полностью осознанное влияние на развитие науки оказала и продолжает оказывать система электронных публикаций в Интернете. Всё это делает применение традиционных методов наукометрии неэффективным и может быть даже бесперспективным.

Примечания

1. Все неопределяемые здесь термины теории графов могут быть найдены в [5].

Литература

Хайтун С.Д. Наукометрия: Состояние и перспективы. — М.: Наука, 1983.
Евстигнеев В.А. Развитие программирования в СССР в 1956–1975 гг.: взгляд с точки зрения наукометрического анализа // Теория и практика систем информатики и программирования — Новосибирск: НГУ, 1988. — С. 72–80.
Андрей Петрович Ершов. Библиографический указатель литературы. — Новосибирск: ВЦ СО АН СССР, 1981.
Евстигнеев В.А. Методы теории графов в наукометрии: исследование структуры пространства журналов и незримых коллективов в программировании. Новосибирск, 1987. (Препр. / АН СССР. Новосиб. филиал. ИТМ и ВТ им. С.А.Лебедева; № 4).
Евстигнеев В.А., Касьянов В.Н. Толковый словарь по теории графов в информатике и программировании. — Новосибирск: Наука. Сиб. предприятие РАН, 1999. — 291 с.

Следующая статья сборника

Из сборника "Новосибирская школа программирования. Перекличка времен". Новосибирск, 2004 г.
Перепечатываются с разрешения редакции.