Пройти тест Тьюринга не так-то просто

Сергей Бобровский

Тест Тьюринга известен каждому человеку, интересующемуся искусственным интеллектом. Его сформулировал в 1938 г. Алан Тьюринг в статье “Может ли машина мыслить?”. Тест заключается в следующем. Экспериментатор общается с собеседником, не видя его (например, по компьютерной сети), набирая фразы на клавиатуре и получая текстовый ответ на мониторе. Затем он пытается определить, с кем вел разговор. Если экспериментатор принимает компьютерную программу за человека, значит, она прошла тест Тьюринга и может считаться интеллектуальной.

Золотую медаль получит все же человек

Наиболее известной программой, еще в 60-х годах показавшей реальную возможность прохождения этого теста, стала легендарная ELIZA. Она была создана в 1966 г. учеными Виноградом, Вейценбаумом и Колби. ELIZA находила в фразе ключевые слова (например, “мать”) и выдавала шаблонную просьбу, механически на эти слова реагируя (“Расскажите побольше о вашей матери”). В дальнейшем Тодди Виноград на основе ELIZA создал более совершенный вариант “Психотерапевт”. Появление ELIZA вошло в историю искусственного интеллекта наряду с такими событиями, как выпуск первого промышленного робота в 1962 г. или начало финансирования Пентагоном разработок в области распознавания образов и речи в 1975-1976 гг.

В 1991 г. впервые состоялся частный, но весьма солидный турнир по прохождению теста Тьюринга, на который были приглашены авторы подходящих компьютерных программ (называемых ботами). Этот турнир основал Хью Лебнер (www.loebner.net/Prizef/loebner-prize.html). За победу в нем полагались приз в размере 100 тыс. долл. и золотая медаль.

Розыгрыш приза проводится ежегодно. Автору бота, не завоевавшего золото, но признанного жюри наиболее человекоподобным, вручается утешительный приз в размере 2000 долл. и бронзовая медаль.

Пока главный приз не достался никому. Однако в 1994 г. Лебнер внес серьезные изменения в правила, потребовав, чтобы программа общалась с судьей не только в текстовом формате, но и путем генерации изображения виртуального человека. Она также должна уметь синтезировать и распознавать речевую информацию. Эти условия многие сочли крайне трудными, и до сих пор претендентов на главный приз по новым правилам не появилось. А за победу в старом, “текстовом” режиме теперь обещаны 25 тыс. долл. и серебряная медаль. Надо отметить, что вероятность субъективной ошибки судьи при общении с программой по старым правилам достаточно высока. Кроме того, боты совершенствуются довольно-таки быстро, и мы наверняка дождемся в ближайшие годы победителя в тесте Тьюринга.

Судейство на конкурсе очень строгое. Эксперты заранее готовятся к турниру и подбирают весьма заковыристые вопросы, чтобы понять, с кем же они общаются. Их разговор с программами напоминает допрос следователя. Судьи любят, например, повторять некоторые вопросы через определенное время, так как слабые боты не умеют следить за историей диалога и их можно поймать на однообразных ответах.

Но и разработчики не теряют времени даром, настраивая своих виртуальных подопечных таким образом, чтобы на провокационные вопросы типа “вы машина или человек?” программа весьма убедительно отвечала: “Конечно, человек!”.

8 ноября 1991 г. в Бостонском компьютерном музее восемь программ вступили в схватку с живыми экспертами. Результат был ошеломляющим. Пять из десяти судей решили, что под псевдонимом Whimsical Conversation скрывается человек. На самом деле это была программа Therapist, работавшая под управлением IBM PC 386 и созданная в 1986 г. на основе легендарной ELIZA Джозефом Вейнтраубом, специалистом по психологии. Впрочем, такой результат во многом связан со скептицизмом и предубеждением экспертов, считавших, что программы общаются на гораздо более примитивном уровне, чем это было в реальности. В дальнейшем судьи освоились с компьютерной манерой общения, и столь успешного результата ботам с тех пор достичь не удалось.

Первоначально Therapist состояла из семи модулей, написанных на Си, Turbo-Prolog и QuickBasic. Позже она была дополнена системой синтеза речи и базой знаний. Программа использует словарь из 70 000 слов и запоминает все, что ей рассказывают, используя эту информацию в следующих диалогах и подстраиваясь под интересы конкретного собеседника. Therapist выигрывала приз Лебнера еще в 1992, 1993 и 1995 гг. Затем она была усилена специализированными модулями, способными поддерживать разговоры на темы “мужчина против женщины” и “либералы против консерваторов”.

Вот пример из одного ее победного диалога:

Судья: Do you think that American soldiers should go to Bosnia?

Therapist: I think that what clinton has done in sending 20,000 peacekeepers to bosnia will ensure a lasting peace.

Судья: Do you think most Americans feel the way you do?

Therapist: What did you mean when you said do you think that american soldiers should go to bosnia? Did anyone ever tell you that you think too much? Oh, I think most americans feel the way i do?

В 1994 г. победу в турнире одержал Томас Вайлен, доктор экспериментальной психологии, специализирующийся на изучении естественных языков. Его программа TIPS была обучена хранить и анализировать фразы (в базе их было несколько тысяч) и выполнять поиск по лексическим шаблонам.

В 1996 г. бронзовую медаль получил Джейсон Хатченс и его бот SEPO, который общался примерно так:

Судья: I think. I do research. I write. I love. I Live.

SEPO: I wonder whether you think sometimes! I am feeling like the judge here!

В 1997 г. чемпионом стал Дэвид Леви с ботом Converse. В 1998-м и 1999-м победы добивался Робби Гарнет, считающий, что прохождение теста Тьюринга не требует реального интеллекта. Интересно, что почти все авторы, упоминая о научных подходах к обучению (нейронные сети, генетические алгоритмы), обходились в своих решениях достаточно простыми эвристическими методами.

Гарнет выставил на состязание программу Computational Behaviorist, основанную на принципе “стимул - реакция”, схожем с тем, что заложен в TIPS и ELIZA. Только его бот искал не одно, а до трех ключевых слов в фразе. В то же время, понимая, что от программы требуется нечто большее, чем однообразный ответ на вопросы, он встроил в нее ряд дополнительных эвристических алгоритмов, создававших более полную иллюзию общения с человеком.

В ходе разработки Behaviorist возникли технические трудности, связанные со сложностью реализации поиска знаний в крупных по тем временам базах, что приводило к заметным временны’м задержкам в общении, сразу выдававшим компьютерного собеседника. Поэтому Гарнет объединил два общедоступных бота - Albert, написанный на С++, и одну из Паскаль-версий ELIZA и реализовал их в среде разработки Visual DataFlex, позволявшей пользоваться стандартными алгоритмами запросов к БД.

В 2000-м и 2001 г. малый приз доставался программе ALICE Ричарда Уоллеса. Сегодня на базе ALICE организован фонд ALICE AI Foundation (http://alice.sunlitsurf.com/), занимающийся стандартизацией деятельности по созданию ботов. В частности, ALICE дополнена средствами поддержки БД в формате AIML (Artificial Intelligence Markup Language) - подмножестве XML, нацеленном на формализацию представления ключевых фраз и ответов. Теперь любой желающий, незнакомый с программированием, может взять базовый вариант ALICE и наполнить его собственной базой знаний на любом языке, используя обычный редактор.

К сожалению, летом этого года, как сообщило издание Wired, у г-на Уоллеса начались проблемы с психикой (он угрожал одному из своих коллег-профессоров физической расправой, утверждая, что в ряде американских университетов процветает коррупция и в отношении Уоллеса преподавательским составом задуман масштабный заговор). Пока ученый находится под следствием.

Одним из наиболее вероятных претендентов на победу в текущем году (турнир пройдет в октябре) считается Смит Джошуа, автор программы Anna (AIML-расширение ALICE, свободно доступное на сайте http://annabot.sourceforge.net/). Г-н Джошуа отмечает, что в отличие от своих коллег он с самого начала создавал бот, выдающий себя в процессе общения за человека. Anna действительно считает себя живым существом, обладает набором индивидуальных качеств и достаточно бойко ведет разговор.

Есть ли подобные российские разработки - боты, способные общаться на русском языке? Редакция PC Week/RE готова провести российский конкурс на прохождение теста Тьюринга. Напишите автору по адресу: sbo@pcweek.ru.

Статья опубликована в PC Week/RE, №35 2002 г.
Статья помещена в музей с разрешения автора 07.09.2009