Нейросети на страже пользователей

Количество мошенников в сети постоянно растет. По данным Центрального банка России, только в 2023 г. киберпреступники украли у россиян почти 16 млрд руб. Растет и количество аферистов, которые пытаются обманывать пользователей при помощи онлайн-рекламы.

Один из самых популярных способов привлечь пользователей через объявления – кричащие заголовки и шок-контент. За ними может скрываться некачественный товар, фальшивый магазин (деньги взяли – товар не прислали) или страница, которая собирает контактные данные для рассылки спама. Также мошенники достаточно часто создают сайты-двойники. Дизайн и контент такого ресурса полностью копирует настоящий, незначительно отличаться может только название домена, чтобы пользователи не заметили разницы и попались на уловку. После оплаты пользователь не получит желаемый продукт или услугу – вместо этого деньги отправятся к мошенникам.

Но это совсем не значит, что покупки в сети лучше не совершать. Корпорации стремятся обезопасить своих пользователей от мошенников и используют разные методы борьбы с киберпреступниками.

Чтобы выявлять фишинговые и прочие ресурсы, через которые мошенники пытаются украсть деньги или персональные данные, «Яндекс» проводит многоступенчатую проверку объявлений. В том числе проверяется «возраст» домена и принадлежность сайта конкретной организации или пользователю. Объявления со ссылками на подозрительные и мошеннические ресурсы не допускаются к показу.

Алгоритмы проверки постоянно совершенствуются. Так, в прошлом году мы начали использовать для модерации некоторых тематик нейросеть на базе архитектуры DSSM (Deep Semantic Similarity Model – модель глубокого семантического сходства). Она умеет определять смысл текстов и с большей вероятностью выявлять объявления, тематики которых запрещены к показу или требуют разрешительных документов. После внедрения новой нейросети точность классификации повысилась почти на треть.

В борьбе с мошенниками мы применяем эту нейросеть для обнаружения обфускации текста – когда исходное объявление приводят к виду, который затрудняет считывание его смысла алгоритмами. Такой прием часто используют недобросовестные рекламодатели, чтобы обойти модерацию. Например, меняют буквы на цифры или латинскую раскладку на кириллическую и наоборот. В реальных примерах такие слова могут выглядеть как «Каzин0» вместо «Казино». Реклама казино запрещена, а нейросеть способна быстро считать подозрительный контент и отправить на проверку человеку, чтобы заблокировать недобросовестного рекламодателя.

Кроме того, чтобы вычислять мошенников, мы используем различные ML-модели (machine learning – алгоритмы, основанные на методах машинного обучения). Они обучены на тысячах модераций и распознают признаки подозрительного объявления – странный домен, шокирующий заголовок, запутанный текст. На основании этих знаний модель умеет определять мошеннические объявления и отправлять на блокировку логины нарушителей.

Помимо умных алгоритмов, нам помогает и обратная связь от пользователей. Чтобы человеку было проще изучить информацию о рекламодателе, в верхнем правом углу каждого объявления есть кнопка с тремя точками – «пульт управления» рекламой. Там же можно оставить жалобу на вызывающее подозрение объявление. Ежемесячно «пультом» пользуются около 112 млн раз.

Так, совместными усилиями специалистов, пользователей и умных технологий мы можем бороться с мошенниками, делая интернет все более безопасным.