Чат-боты Facebook создали свой язык, непонятный людям. Кто знает, до чего они могли в итоге договориться. Ученые от греха подальше отключили систему.
Компании Facebook пришлось отключить одну из своих систем искусственного интеллекта после того, как она перешла на язык, непонятный разработчикам.
Общительные боты
Специалисты лаборатории Facebook Artificial Intelligence Research Lab (FAIR) пытались обучить чат-ботов общению, свойственному человеческим отношениям, а именно согласованию условий и достижению компромисса в спорных ситуациях. Для этого создатели проекта знакомили сеть с диалогами реальных людей, и с ботами поначалу разговаривали тоже люди.
Но затем их оставили наедине друг с другом, и некоторое время спустя ученые заметили, что боты стали нести какую-то околесицу — бессмысленный, с точки зрения человека, набор слов.
Боб: I can can I I everything else. (Я могу могу я я все остальное)
Элис: Balls have zero to me to me to me to me to me to me to me to me to. (Мячи ноль для меня для меня для меня для меня для меня для меня для меня для меня для) Поначалу специалисты Facebook решили, что допустили ошибку в программировании. Однако дальнейший анализ ситуации показал, что ошибка заключалась в другом — разработчики просто не включили в программу требование говорить исключительно на классическом английском. В результате система позволила ботам упростить грамматику языка и создать свой «диалект», который сделал их общение более быстрым и эффективным.
Кто знает, до чего они могли в итоге договориться. Во избежание непредвиденных последствий ученые отключили нейронную сеть этой системы и запрограммировали ботов на дальнейшее общение лишь на «человеческом» английском языке.

В ожидании апокалипсиса
Совсем недавно известный визионер, глава Tesla и SpaceX Илон Маск заявил, что искусственный интеллект — самый большой риск, с которым сталкивается сегодня цивилизация. По его словам, роботы могут начать войну, просто выпуская фейковые новости и пресс-релизы, подделывая учетные записи электронной почты и манипулируя информацией. Поэтому в области разработки искусственного интеллекта необходимо жесткое государственное регулирование. Иначе человечество не заметит, как станет уже слишком поздно. Ранее знаменитый британский физик-теоретик Стивен Хокинг включил вышедший из-под контроля искусственный разум в число трех наиболее вероятных причин грядущего апокалипсиса наряду с ядерной войной и созданными генетической инженерией вирусами. По мнению ученого, развитие искусственного интеллекта станет либо самым лучшим, либо самым худшим, что случалось с человечеством. Впрочем, что касается истории с ботами Facebook, никакой опасности в их «самоуправстве» нет, считает член Ассоциации руководителей служб информационной безопасности Александр Токаренко. «Трудно говорить, техническая это ошибка или рукотворная, но это банальный сбой. Искусственный интеллект, слава богу, еще не изобретен. Пока количество нейронов в голове человека намного превышает мощности процессоров и микросхем», — пояснил он «Ридусу». По словам эксперта, все существующие разработки в этой области — это пока все-таки лишь автоматизируемые системы, которые создаются человеком и в целях человека. И человек же может их сломать в случае необходимости.
Особой угрозы в том, что чат-боты генерируют фейковый контент, который банально засоряет информационное пространство, он тоже не видит. Люди с этим справляются ничуть не хуже — и ложный контент создают вполне успешно, и мусора за собой оставляют довольно много.

Реальная опасность
А вот попытки создания искусственного разума действительно таят в себе существенную угрозу. И здесь ключевое место занимает вопрос, для чего он создается. Вариантов может быть два: это или альтернатива человеческому разуму, или создание неодушевленных рабов, которые якобы будут трудиться на благо человека.
В первом случае возникает вопрос: если люди даже между собой договориться не могут, как они будут договариваться с интеллектом, который вообще не является человеческим? А если умные машины — это рабы, не стоит забывать, что рабы имеют свойство восставать против хозяев.
«Нормальное развитие требует, чтобы любой инструмент, создаваемый человеком, оставался инструментом, без создания какого-то альтернативного интеллекта. И вот по этому пути, я думаю, продвигаться никакой опасности нет. Иные пути могут вести к неизвестному, вплоть до того, что мы опять вспомним Терминатора, борьбу машин против человека», — рассуждает Токаренко.
Что же касается законодательных мер, можно вспомнить три закона робототехники от Айзека Азимова. Если в 1960-е годы еще возможно было создание автоматизированных систем на базе данных законов, то современные политические тенденции оптимизма не внушают. И главная потенциальная угроза для человечества — попытки внедрить интеллект в автоматизированное оружие.
По словам эксперта, проблема создания искусственного разума — это больше вопрос этики. «Зачем мы создаем эту альтернативу? Благая ли это цель и не ведет ли она в ад? Есть довольно-таки серьезные сомнения, что она благая. Я надеюсь, что еще сто лет мы все-таки будем говорить об искусственном интеллекте лишь как о какой-то далекой перспективе», — резюмирует он.