В декабре 2022 года мы провели большое исследование и анализ лучших HR-практик в России «Как крупные компании привлекают сотрудников в интернете». В этой статье я опишу наши ошибки и неожиданные открытия, которые мы сделали за два месяца работы.
Как возникла идея сделать HR-исследование
К нам время от времени обращаются корпорации для разработки сайтов и проведения рекламных кампаний по привлечению кандидатов, так что у нас сформировался небольшой отдел, который фокусируется на этой задаче. Осенью 2022 появился запрос от клиента по разработке стратегии массового подбора персонала, поэтому мы решили найти больше данных. Есть исследования мнений кандидатов, часто проходят опросы компаний, есть маркетинговая аналитика по строительным сайтам или медицинским, но HR-сайты никто не изучал.
«Давайте проведем исследование? Я напишу методологию, как и что анализировать, и мы сделаем оценку всех крупных компаний России», – сказал я на очередной планерке. Казалось, все несложно, если данные уже будут собраны.
Как разработали методологию для оценки HR-сайтов
К огромному счастью, период подготовки исследования у меня совпал с прочтением книги Даниэля Канемана «Шум». Нобелевский лауреат в ней рассуждает на тему линейных моделей оценки и убедительно доказывает, что все эти весовые коэффициенты от лукавого. Хотите сделать точную модель, от которой будет прок, на каждую метрику навешивайте одинаковый вес.
Например, выбираем кандидата на вакансию и хотим оценить его. Считаем, что оценивать нужно три параметра: опыт работы (есть или нет), образование (профильное или нет), находится с нами в одном городе (да или нет). Вместо того чтобы думать: как распределить критерии, что важнее, а что нет – нужно все уравнять, и это только повысит точность модели. Если захотите разобраться в деталях, найдите время на книгу, она чрезвычайно хороша.
Это значительно упростило модель. Я выбрал 38 метрик для оценки сайтов и 6 метрик для социальных сетей, избегая формулировок: «качественно», «хорошо» и тому подобное, а сфокусировавшись на бинарной проверке, например, есть форма обратной связи – 1, нет формы – 0. В итоге получили модель оценки, в которой лучшая компания могла набрать 44 балла, если выполнены все пункты. Сами метрики брал исходя из здравого смысла и наличия хотя бы одной из них во всем множестве HR-сайтов исследования. Кстати, одной из самых редких оказалась возможность откликнуться на вакансию в мессенджере.
Как мы выбирали компании для оценки
В вопросе выбора компаний мы положились на старших товарищей: главные по публичным оценкам у нас в стране Forbes и РБК, которые постоянно делают рейтинги. Поэтому мы решили объединить их усилия и скрестили рейтинги РБК 500 и Forbes 200 крупнейших компаний России, в итоге получилось 609 компаний.
Сначала – цели исследования, а потом – оценки
Одна из типичных ошибок исследования – когда результаты исследования подгоняются под полученные данные. Как в анекдоте про техасского стрелка, который сначала стреляет, а потом рисует мишень, поэтому все его попадания строго в яблочко. Приведу пример из нашей области анализа – если бы мы не поставили изначально цель перед началом работы над исследованием, то могли бы скатиться в обсуждение полученных данных. Например, оказалось, что мало компаний использует мессенджеры для связи с кандидатами и единицы дают контекстную рекламу по своим вакансиям. Это полезные вещи, но все же частности. Лучше формулировать цель до начала работы, чтобы либо подтвердить идею, либо опровергнуть.
Я нашел соломоново решение – оценить, насколько проработаны сайты с точки зрения маркетинговых инструментов. Изначально главный интерес был не в оценке конкретной компании или инструмента, а в анализе проработки HR-сайтов в целом. Но все же техасский стрелок дал о себе знать, поэтому мы добавили в исследование раздел «Неожиданные выводы», о которых я напишу ниже.
«Наймем фрилансеров для оценки» – худшая идея для старта
Все было готово для работы – предстояло собрать первичные данные, а это огромный массив. 609 компаний × 44 критерия = 26 796 тестов. Я сделал несколько тестовых оценок, чтобы оценить время на выполнение: получилось, что одну компанию реально оценить за 15 минут. Для проверки фрилансеров сделали с коллегами шаблон из 5 компаний, на которых планировали проверить кандидатов, и дали задание на выполнение.
Из 10 кандидатов никто не справился с оценкой. Из 44 проверок одной конкретной компании лучший фрилансер совпадал с нашим результатом на 75%, а у большинства отклонение было еще больше. Было видео, как делать, были проверенные сайты, на которых все точно понятно: есть или нет. А результат все равно ужасный. Стало понятно, что проблема не во фрилансерах. Нужно обучить людей оценке, а затем еще и проверить.
Какие расхождения возникали в процессе оценки
В итоге, решили поручить задачу штатным сотрудникам. Я провел детальное обучение, мы вместе разобрали несколько компаний и провели по ним оценку, затем разошлись на выполнение тестовой задачи, а потом еще раз встретились, чтобы синхронизироваться. Начало получаться что-то похожее на единую методику оценки.
Сотрудники получили свою порцию компаний, а мне оставалось ждать результата. Он получился неплохой, но все же были расхождения. Поэтому мы решили, что нужно оценить все компании еще раз. Поменяли наборы компаний, чтобы одну всегда оценивал разный эксперт и при этом не знал об оценке предыдущего. В книге «Шум» тоже написано: нельзя просить второго специалиста проверить результаты, если он знает о выводах предыдущего.
Итого, провели 2 раза по 26 796 тестов, но небольшое количество расхождений все равно осталось. Там, где такое расхождение было меньше 3 баллов – присвоили компании высшую из оценок, а где расхождение было больше 3, провели третью оценку, результаты которой и зафиксировали в финальную таблицу. Здесь мы уже показывали эксперту, где мнения расходились, потому что один эксперт ставил 1, второй 0. Надо было определиться.
Делегировать или отказаться от выходных на полтора месяца?
Данные были готовы и максимально очищены от шума, пришло время писать исследование. Я никогда не считал себя хорошим менеджером, который умеет делегировать, так уж сложилось. Еще раз посмотрел на данные, и стало понятно, что я даже не знаю, как поставить задачу. Какое уж тут делегирование. Есть 609 строк с оценками, нужно сделать фундаментальную работу, схожий опыт в компании есть только у меня. Кроме того, основная операционная текучка никуда не делась. Поэтому с фразой «Наступили выходные, наконец-то можно поработать» я начал описывать исследование. Сформировал структуру работы и начал выделять по паре часов в будни и 4-6 в выходные. Конкретное количество часов не считал, но за полтора месяца получилось полностью сделать текст исследования – 59 страниц.
Как выбирали инструмент для оформления результатов исследования
Я пропагандирую облачные технологии. С документом исследования одновременно работали шесть человек: иллюстрации, редактура, проверка данных, вот только это никак не соответствовало еще одному процессу – оформлению. Оказывается, что в Google Документах нет такого функционала, который дает Word: например, удобно выровнять изображение в Google сложно, а в Word – на раз-два. Так сквозь страдание и отказ от облачных технологий в середине работы мы начали маркировать версии файла и работать с версией в Word. И знаете, ничего так: оказалось, что не так часто мы работаем одновременно с файлом, поэтому больших проблем это не составило, а удобство работы с документом значительно повысилось.
Неожиданные открытия
Когда работа завершалась, стало понятно, что самые интересные факты могут не попасть в исследование. Есть такая информация, от которой мало толку, но ее невозможно забыть. Например, 9 из 10 компаний не указывают дату публикации вакансии, а это важнейшая информация, ведь как понять – ищут они еще сотрудников или это сайт два года не обновлялся. А в ВК есть группы, которые называются «Работа в ***», где указано название конкретного бренда, но отношения эти группы к бренду не имеют: это своего рода фанатские сообщества, где вакансии перемежаются с рекламой ведущих на свадьбу и продажей клюквы в ведрах.
Что в итоге я понял, пока делал исследование
Делать большие проекты – это интересно, когда ты создаешь что-то принципиально новое, где нет методики работы и схожих примеров. А теперь итоги по пунктам:
- Любой сторонний персонал требует тройной проверки, поэтому привлечение фрилансеров не всегда возможно для сложных проектов.
- Проводить большие исследования реально небольшой командой. В нашем проекте было активно задействовано шесть человек.
- Не нужно упрощать. Я часто слышу обратное, но наша работа показала, что нужно глубокое погружение в тематику, чтобы научиться видеть закономерности или показать, что их нет.
- Хороший материал – это надолго. Актуальность поста – 1-2 дня, на статью в журнал можно время от времени давать ссылки, а исследование будет работать намного дольше. Пока этот тест временем еще не пройден, но все говорит о том, что с большими работами так.
- После публикации исследования стали приходить запросы о встрече, чтобы обсудить, что мы узнали и поняли по ходу работы. Я действительно разобрался с этой тематикой и часто делюсь теперь накопленным опытом по ходу создания исследования.
- Наконец, появился повод поделиться тем, как мы делали исследование, и оказалось, что опыта много, еще одно исследование нам будет точно проводить значительно проще.
Также читайте:
