machine deception
обман машин (машины, компьютера) # современные машины (ИНС, системы распознавания, системы ИИ) характеризуются способностью выступать в роли агентов и носителей информации, через которые человек и/или другие машинные агенты могут подвергаться манипуляциям – их можно заставить верить, действовать или каким-то иным образом реагировать на ложную информацию. Исследования, связанные с обманом машин, имеют долгую историю и стали основой для развития теории и технологий в области искусственного интеллекта (ИИ) и машинного обучения (МО). Наиболее известны такие примеры экспериментов по обману машин, как тест Тьюринга (Turing test, где машина пытается обмануть человека, заставляя его поверить, что он общается не с машиной, а с другим человеком), или Китайская комната (Chinese room, разработчик которой Джон Сёрл доказывает, что машина не думает, а действует по заложенному в ней алгоритму). Различают такие ситуации, когда а) машина обманывает машину (Machine Deceives Machine – например, группа ботов может автоматически публиковать посты на платформах социальных медиа, манипулируя таким образом алгоритмами ранжирования и искажая релевантность); б) человек обманывает машину (Human Deceives Machine – например, использует уязвимости автономных систем, чтобы управлять их поведением, вводя им специальные конкурентные обучающие образцы); в) машина обманывает человека (Machine Deceives Human – применение генеративных состязательных сетей, ГСС позволяет сейчас создавать настолько реалистичные аудио-, фото- и видеоматериалы, что человек не может отличить их от реальных, настоящих записей).
Связные термины
adversarial attack, adversarial process, antagonistic game, artificial neural network, generative adversarial network, machine learning
