Как «Яндекс», Ozon и «Тинькофф банк» нанимают армию асессоров

Студентка СПбГУ Евфросиния Сочивко подрабатывала репетитором и в 2017 г. наткнулась в интернете на необычную вакансию: компании «Яндекс» нужен был асессор поиска – специалист, который оценивает, насколько результаты поиска соответствуют параметрам запроса. Девушка послала резюме и получила два теста: один – на знание русского языка, второй – психологический, который оценивал умение простыми словами объяснить, как работает интернет. Один из вопросов, например, звучал так: объясните пятикласснику, что такое скорость интернета. Сочивко успешно прошла тесты и собеседование по скайпу, ее взяли на работу. Сначала она работала надомным асессором по договору совместительства, летом 2018 г. начала работать в офисе «Яндекса», а в 2019 г. возглавила группу техподдержки «Яндекса» и теперь руководит 50 асессорами. Сейчас в «Яндексе» около 10 000 асессоров.

Название «асессор» происходит от английского assessment, т. е. оценка: люди оценивают правильность поисковой выдачи, сделанной машиной в ответ на пользовательский запрос, и на этих оценках обучается алгоритм ранжирования, говорит Ольга Мегорская, руководитель управления краудсорсинга и платформизации «Яндекса». Асессоров можно сравнить с воспитателями детского сада, но воспитывают они не людей, а машины: находят и исправляют их ошибки и накапливают данные, которые помогают разработчикам усовершенствовать алгоритмы машинного обучения, говорит Дмитрий Судаков, руководитель проекта «Атлас новых профессий». По его словам, в последние 2–3 года применение алгоритмов машинного обучения значительно выросло и компании все чаще нанимают асессоров для корректировки работы машин.

По данным портала поиска работы HeadHunter, два года назад, в феврале 2017 г., на портале было всего две вакансии асессоров, а в феврале 2019 г. – уже 539. Подавляющее большинство таких вакансий (99,6%) публикуют IT-компании, системные интеграторы и интернет-компании. По данным HeadHunter, в 2019 г. асессоры зарабатывали в среднем 27 059 руб. в месяц.

Корпус «Яндекса»

Раньше всех асессоры появились у поисковых систем. Например, в Google асессорская служба была создана в конце 2004 г. В ней работают люди из разных стран мира. Одни оценивают результаты поисковой текстовой выдачи, другие – подбор картинок или видеороликов. «Google Россия» на вопросы «Ведомостей» не ответила.

В «Яндексе» асессоры появились в 2008 г., как только стало применяться машинное обучение для алгоритмов ранжирования результатов поиска, рассказывает Мегорская. Поначалу асессоры, говорит она, занимались оценкой качества поиска, но количество проектов с машинным обучением росло и в компании стали появляться новые специальности асессоров: инженеры поддержки пользователей, переводчики, копирайтеры, медиапланеры, модераторы, тестировщики, агенты-пешеходы, которые отвечают за обновление геоданных в сервисах «Яндекса». По словам Мегорской, на проектах «Яндекса» около 10 000 удаленных сотрудников-асессоров работают на условиях неполной занятости и сдельной оплаты в 600 городах. В описаниях вакансий асессоров на сайте «Яндекса» указывается, что среднее вознаграждение специалистов составляет 25 000 руб. в месяц, если они тратят на выполнение заданий 40 ч в неделю, а итоговая сумма зависит от сложности и количества задач, выполненных в течение месяца, и не ограничена сверху.

25-летний аспирант и преподаватель Национального исследовательского томского университета Максим Гарбарт работает по совместительству асессором «Яндекса» уже четыре года, посвящает этой работе 6–7 ч в сутки, ценит в ней гибкость графика и возможность работать из дома. Он уверяет, что зарабатывает сейчас в «Яндексе» больше, чем в университете.

На вакансии «Яндекса» для асессоров откликаются тысячи человек в месяц, все проходят онлайновые тесты. Для базовых вакансий асессора поиска особых требований нет: образование любое, но нужно владеть компьютером, быстро улавливать смысл больших текстов, быть ответственным, внимательным и готовым к монотонной работе. К асессорам с конкретной специализацией предъявляются более высокие требования. Например, у переводчика проверяют знание иностранного языка, а у тестировщика – умение находить на сайтах ошибки и соблюдать порядок составления отчетов об ошибках. Иногда бывают нужны люди с очень редкими знаниями, например со знанием японских аниме для соответствующих запросов.

Потом кандидата ждет онлайновое собеседование. По словам Мегорской, устраивается работать в «Яндекс» асессорами около 20% заявившихся кандидатов. Среди них есть мамы с маленькими детьми, пенсионеры, инвалиды. С асессорами заключаются трудовые договора. Затем асессоры проходят обучение.

По словам Мегорской, обычно асессоры работают на проектах «Яндекса» около двух лет. Но более 500 человек трудятся уже больше пяти лет, а 50 человек – более 10. Некоторые асессоры переходят на работу в офис и становятся менеджерами, которые управляют надомными асессорами.

Партнеры mail.ru

Mail.ru Group начала привлекать асессоров более 10 лет назад, сначала для измерения качества выдачи в поиске Mail.ru, рассказал представитель компании. А сейчас компания привлекает до нескольких сотен асессоров. Чаще всего это внешние партнеры, которые сотрудничают с компанией удаленно. Все партнеры проходят тест: им предлагают прочитать инструкцию и в соответствии с ней разметить данные. В среднем из 10 откликнувшихся тест проходит один. Далее в течение недели – обучение работе с системой разметки, освоение основных задач, внутренний итоговый тест. Помимо поиска Mail.ru партнеры помогали решать множество других задач, связанных с нейросетями. Среди них обучение чат-бота, распознавание и синтез речи для голосового помощника Маруси, умные фильтры и автоответы в почте Mail.ru, распознавание лиц и объектов в Vision и др.

Чат-бот на проверку

В «Тинькофф банке» в последние два года появилось 150 удаленных внештатных работников с неполной занятостью в разных регионах России. Они вручную проверяют реплики чат-бота банка на грамматические и смысловые ошибки или размечают картинки для банковских онлайн-продуктов, рассказывает представитель «Тинькофф». По его словам, эти люди в банке называются не асессорами, а операторами данных, но они так же, как и асессоры, помогают разработчикам оптимизировать модели машинного обучения. Специального образования не требуется, но все операторы проходят онлайн-обучение в банке. К конфиденциальной банковской информации надомных внештатных операторов не допускают. В среднем дистанционно работающий оператор зарабатывает около 25 000–30 000 руб. в месяц, говорит представитель.

Какой товар нужен

Компания Ozon привлекает несколько десятков тысяч внештатных асессоров с сервиса «Яндекс.Толока» (для желающих подработать на разметке текстов, используемых для машинного обучения и совершенствования поисковых алгоритмов). В «Толоке» по 30 000 человек в день выполняют задания за деньги. Асессоры помогают компании Ozon понять, какие именно из 2,5 млн товаров на Ozon чаще всего ищут пользователи, каким образом они их ищут и что ожидают увидеть в ответ на тот или иной поисковый запрос, рассказывает Елена Мартынюк, специалист по подбору персонала Ozon. Поскольку асессоры много работают со статистикой, им требуются базовые навыки работы с инструментами обработки больших массивов данных, кроме этого нужен широкий кругозор, замечает Мартынюк. По ее словам, работу надомников в Ozon курируют четыре штатных асессора. Эта должность появилась в IT-лаборатории компании только в этом году, на нее берут выпускников и молодых людей с небольшим опытом работы, которые в будущем могут вырасти в специалистов в IT, маркетинге, управлении контентом или категорийном менеджменте.

Не дело посторонних

В компании – разработчике софта ABBYY удаленно и внештатно работают разметчики, которые, по словам замдиректора по разработке технологий компании Татьяны Даниэлян, выполняют более широкий круг задач, нежели обычные асессоры. Они, например, собирают данные (указывают в документах поля, геометрические объекты, отдельные слова и предложения) для машинного обучения на платформе интеллектуальной обработки информации ABBYY FlexiCapture. Нейронная сеть обучается и предоставляет первоначальную автоматическую разметку. И здесь вновь подключаются люди: они проверяют разметку и при необходимости ее корректируют. По словам Даниэлян, для такой работы требуются узкие специалисты, компания находит их либо через кафедры в МФТИ и в Учебном центре по подготовке компьютерных лингвистов, либо по рекомендациям собственных сотрудников.

У онлайн-ритейлера Wildberries.ru должность асессора существует уже год. Но это штатные сотрудники, а не сторонние надомники. По словам директора по персоналу компании Максима Бешкета, асессор должен разбираться в специфике онлайн-продаж и хорошо знать ассортимент товаров, что исключает привлечение сторонних людей. В обязанности асессора входит корректировка машинного обучения, проверка релевантности поисковой выдачи и контента, а также механизмов перехода между страницами, объемов данных на каждой странице, исправление опечаток. Оценкой и корректировкой контента вручную в компании также занимаются сотрудники контакт-центра, которые проходят тестирование на знание языка и на особенности мышления, а потом обучение работе с базой.

Однако многие компании вовсе не прибегают к помощи асессоров, хотя и должны были бы. Например, разработчик систем машинного перевода «Промт». В «Промте» диагностикой и классификацией ошибок заняты сами разработчики, поскольку для выявления ошибок нужно знать основы лингвистики и математики, владеть инструментами обработки естественного языка (Natural Language Processing, NLP) и навыками программирования, например на Python, говорит представитель компании.

Умнеют вместе с алгоритмами

В ближайшие годы потребность компаний в разметке и проверке больших массивов данных будет только расти, уверен Судаков. Однако чем совершеннее будут машинные алгоритмы, тем все более квалифицированные кадры понадобятся для проверки данных, полагает он. Со временем компании начнут создавать целые подразделения по верификации данных и машинному обучению, но будут нанимать не простых асессоров без особых требований к образованию и навыкам, а грамотных IT-специалистов со знанием отрасли. Через пять лет, считает он, только такие асессоры смогут обучать машины.