В Китае чат-ботов заблокировали за отсутствие патриотизма
Проблема искусственного интеллекта – он обучается у людей
Из-за непатриотичных высказываний китайская корпорация Tencent исключила боты BabyQ и XiaoBing из своего мессенджера QQ, у которого в Китае более 800 млн пользователей. Тестовая версия виртуального собеседника BabyQ разработки пекинской Turing Robot отрицательно отвечала на вопрос «Любите ли вы коммунистическую партию?». Другой бот – XiaoBing от Microsoft сообщал, что его мечта – поехать в Америку. В среду XiaoBing еще был доступен пользователям, но на вопросы о патриотизме уже отвечал уклончиво.
«Чат-ботов размещают независимые разработчики. В данный момент мы отлаживаем свои сервисы, и они возобновят работу, когда отладка закончится», – сообщает Tencent.
Это не первый случай странного поведения систем искусственного интеллекта. Компания Facebook была вынуждена отключить двух ботов, когда они стали общаться друг с другом на собственном языке. Сеть Twitter также столкнулась со своенравным ботом – программа Tay производства Microsoft начала вместо ожидаемых добродушных шуток публиковать расистские и сексистские высказывания. Tay был удален из Twitter в марте прошлого года, но спустя несколько дней его восстановили. Разработчики подчеркивают: «Чем больше вы говорите, тем умнее становится Tay». Пользователям предлагалось играть с ботом и просить его пошутить, но вместо этого многие задавали программе каверзные вопросы. Когда Tay начал делать неподобающие высказывания, Microsoft обвинил в этом пользователей, «устроивших скоординированную атаку».
Ненормальное поведение ботов свидетельствует о несовершенстве технологий глубокого обучения, используемых для программирования машин. «Боты вроде Tay быстро собирают примеры всевозможных диалогов в Twitter и начинают высказываться неподобающим образом», – говорит ведущий аналитик из Forrester Сяофэн Ван. «Похожая ситуация и с BabyQ. Машинное обучение предполагает, что машины берут все, что можно найти в интернете. Если вы не зададите достаточно четкие ограничительные установки, то не сможете управлять процессом обучения», – объясняет он.
Боты изобрели язык
Компания Turing Robot называет программу XiaoBing «энергичным, открытым и иногда немного вредным» собеседником. BabyQ способен выдавать более развернутую информацию, например прогнозы погоды. «Открытый софт означает множество партнеров, сообщество разработчиков, – поясняет Turing. – Они легко могут встроить открытый бот в собственные программы и системы. Именно поэтому продукт Turing Robot привлек порядка 600 000 разработчиков, это даже больше, чем у Facebook».
Чат-боты лучше всего работают в составе систем с четко определенной функциональностью, например в сетях поддержки клиентов магазинов, банков и страховых компаний, уверена глава подразделения роботизированных платформ гонконгской исследовательской организации HKSTPC Кристал Фок. «В остальных случаях возможны проблемы», – уверена она.
Tencent и раньше приходилось корректировать свои сервисы, когда их действия шли вразрез с политикой китайских властей. В июле компания по требованию властей ограничила время, в течение которого дети могут играть в популярную мобильную игру Honour of Kings.
Перевел Александр Силонов