В Китае чат-ботов заблокировали за отсутствие патриотизма
Проблема искусственного интеллекта – он обучается у людей
Из-за непатриотичных высказываний китайская корпорация Tencent исключила боты BabyQ и XiaoBing из своего мессенджера QQ, у которого в Китае более 800 млн пользователей. Тестовая версия виртуального собеседника BabyQ разработки пекинской Turing Robot отрицательно отвечала на вопрос «Любите ли вы коммунистическую партию?». Другой бот – XiaoBing от Microsoft сообщал, что его мечта – поехать в Америку. В среду XiaoBing еще был доступен пользователям, но на вопросы о патриотизме уже отвечал уклончиво.
«Чат-ботов размещают независимые разработчики. В данный момент мы отлаживаем свои сервисы, и они возобновят работу, когда отладка закончится», – сообщает Tencent.
Это не первый случай странного поведения систем искусственного интеллекта. Компания Facebook была вынуждена отключить двух ботов, когда они стали общаться друг с другом на собственном языке. Сеть Twitter также столкнулась со своенравным ботом – программа Tay производства Microsoft начала вместо ожидаемых добродушных шуток публиковать расистские и сексистские высказывания. Tay был удален из Twitter в марте прошлого года, но спустя несколько дней его восстановили. Разработчики подчеркивают: «Чем больше вы говорите, тем умнее становится Tay». Пользователям предлагалось играть с ботом и просить его пошутить, но вместо этого многие задавали программе каверзные вопросы. Когда Tay начал делать неподобающие высказывания, Microsoft обвинил в этом пользователей, «устроивших скоординированную атаку».
Ненормальное поведение ботов свидетельствует о несовершенстве технологий глубокого обучения, используемых для программирования машин. «Боты вроде Tay быстро собирают примеры всевозможных диалогов в Twitter и начинают высказываться неподобающим образом», – говорит ведущий аналитик из Forrester Сяофэн Ван. «Похожая ситуация и с BabyQ. Машинное обучение предполагает, что машины берут все, что можно найти в интернете. Если вы не зададите достаточно четкие ограничительные установки, то не сможете управлять процессом обучения», – объясняет он.
Боты изобрели язык
Руководство социальной сети Facebook на днях вынуждено было отключить свою систему искусственного интеллекта, после того как машины начали общаться на собственном, несуществующем языке, который люди не понимали. Система использует чат-боты, которые изначально создавались для общения с живыми людьми, но постепенно начали общаться между собой. Сначала они общались на английском языке, но в какой-то момент начали переписываться на языке, который они сами создали в процессе развития.
Компания Turing Robot называет программу XiaoBing «энергичным, открытым и иногда немного вредным» собеседником. BabyQ способен выдавать более развернутую информацию, например прогнозы погоды. «Открытый софт означает множество партнеров, сообщество разработчиков, – поясняет Turing. – Они легко могут встроить открытый бот в собственные программы и системы. Именно поэтому продукт Turing Robot привлек порядка 600 000 разработчиков, это даже больше, чем у Facebook».
Чат-боты лучше всего работают в составе систем с четко определенной функциональностью, например в сетях поддержки клиентов магазинов, банков и страховых компаний, уверена глава подразделения роботизированных платформ гонконгской исследовательской организации HKSTPC Кристал Фок. «В остальных случаях возможны проблемы», – уверена она.
Tencent и раньше приходилось корректировать свои сервисы, когда их действия шли вразрез с политикой китайских властей. В июле компания по требованию властей ограничила время, в течение которого дети могут играть в популярную мобильную игру Honour of Kings.
Перевел Александр Силонов