Пять неочевидных ошибок тестирования кандидатов

Тестирование при приме на работу давно стало нормой. Используют тестирование и в качестве инструмента текущей оценки компетенций, результативности обучения и многого другого. Однако правильно использовать тесты сложнее, чем кажется. В этой статье речь не пойдет о необходимости ставить запятые и точки в конце предложений. Не буду я говорить и о том, что все ответы должны быть единообразны с точки зрения логической и синтаксической конструкции. Лучше обсудим более интересные нюансы. Для иллюстрации я приведу самые простые вопросы из разных областей, ответы на которые очевидны.

1. Вариант ответа «Ничего из перечисленного» и его вариации

Пример.

Кто был первым президентом Российской Федерации?

Михаил Горбачев.
Борис Ельцин.
Константин Черненко.
Ни один из перечисленных вариантов.

Для чего делать ответ «ничего из перечисленного»? Что он показывает? Упражнения в логических построениях? Интересная деталь. Если ответ на вопрос «Ни один из перечисленных вариантов» является правильным, это не дает вам ровно никакой информации. Потому что не очень понятно, знает ли респондент правильный ответ или нет. Например, можно в прошлом вопросе заменить Ельцина на любую другую историческую личность. Но тогда, даже если респондент выберет верный с точки зрения теста ответ, это никак не гарантирует, что он знает, что именно Ельцин был первым президентом Российской Федерации.

К счастью, такая версия ответа становится все менее и менее распространенной. Гораздо чаще встречается другая версия.

Кто был первым президентом Российской Федерации?

Михаил Горбачев.
Борис Ельцин.
Константин Черненко.
Иван Грозный.

Поймите правильно, я не против юмора в тестах. Он часто помогает разрядить обстановку и снять стресс респондента. Однако любой знает, когда примерно жил Иван Грозный.

Каждый вариант ответа должен иметь под собой логику. Константин Черненко жил хотя бы примерно в эту эпоху. Горбачев был президентом СССР. Можно выбрать Александра Коржакова, который работал в ту же эпоху, чтобы респондент имел шанс ошибиться. Набивать ответы бессмысленно.

2. Вопросы о малоизвестных подходах и моделях

Особенно этим «грешат» тесты по продажам, лидерству, мотивации, управлению и некоторым другим темам.

Пример.

Вопросы какого типа не участвуют в технике СПИН? Выберите несколько вариантов ответа.

Ситуационные.
Проблемные.
Направляющие.
Перенаправляющие.
Интерпретирующие.

Респондент может быть отличным продажником, переговорщиком, но никогда не слышать о Ниле Рекхеме, например. То же относится к управлению. Необязательно получать MBA и знать классификацию задач для делегирования по Мэддоксу, чтобы уметь управлять людьми. При этом общее понимание, что есть задачи, которые нужно делегировать, конечно, необходимо, но респондент не обязан знать конкретные модели, которые нравятся вам. Самое страшное, когда в тест включаются подобные задания из гордости. Мол, я знаю, значит, и все должны знать.

Важно проверить скорее способность решать определенные задачи и правильно реагировать на обстоятельства, чем знания определенных тем. Конечно, если в корпоративных стандартах для продавцов прописано обязательное знание СПИН, это другое дело. Точно так же, допустимо спрашивать о моделях, если они только что были выучены респондентами на тренинге или учебном модуле. Но даже в этом случае реакции и решения конкретных задач предпочтительнее. Исключениями из этого правила могут в некоторых случаях быть тесты по промышленной безопасности, узкоспециализированные тесты, тесты по праву, лингвистические тесты.

3. Излишняя «психологизация»

Сама по себе психология полезна при диагностике. Однако иногда она включается в тесты, чтобы проверить определенные установки, напрямую не связанные с процессом работы. Возьмем того же продавца в торговом зале. Не стоит задавать вопросы об оптимизме, выдавая это за «стрессоустойчивость». То же с активностью и экстравертностью. Вы никогда не встречали хороших продавцов-интровертов? Другое дело – проверить установки относительно отношения к продажам.

Сразу оговорюсь, что если профиль сотрудника предполагает только активных или только оптимистов, проверять это придется. Однако нужно трижды подумать и протестировать, прежде чем зашивать подобные вещи в профиль.

Еще одна распространенная ошибка – простота вопросов. Всем понятно, что «лучше быть богатым и здоровым, чем бедным и больным». Вряд ли человек в тесте ответит правдиво.

Пример.

Вы считаете себя активным человеком?

Да.
Нет.
Время от времени.
Зависит от настроения.

Вне контекста и без дополнительных вопросов это ничего не показывает. Скорее такой вопрос введет в заблуждение и вас, и респондента.

Хорошие психологические тесты требуют системы контроля, дополнительных инструментов проверки гипотез, шкалы достоверности результатов и многого другого.

4. Неверное понимание сложности вопросов

Что такое сложный вопрос в тесте? К сожалению, принятого единственного ответа нет. Поэтому когда заказчик говорит: «А вот эту тему сделайте посложнее», начинает цирк.

Первая ошибка – использовать термины без необходимости в тексте самого вопроса. Например, можно вместо «Расположите задания по срочности \ важности» попросить респондента заполнить матрицу Эйзенхауэра. Но суть от этого не изменится.

Вторая ошибка. Делать варианты ответа очень близкими, пытаясь таким образом запутать респондента. А такой подход работает далеко не везде. Например:

Каково соотношение по времени вступления, основной части и заключения в хорошем публичном выступлении или презентации.

3% – 94% – 3%.
10% – 80% – 10%.
12,5% – 75% – 12,5%.
33% – 33% – 33%.

При реальном выступлении большой разницы между вторым и третьим вариантом нет, хотя чаще можно встретить второе соотношение. Таким образом, формально, второй вариант более верный, чем третий, но реально он таковым не является.

Вообще, создание дистракторов для усложнения вопросов – процесс творческий, особенно для тех, кто уже разбирается в теме. Давайте посмотрим, как придать правдоподобность и усложнить хоть немного самый первый вопрос.

Кто был первым президентом Российской федерации?

Михаил Горбачев. Став первым президентом СССР, он автоматически унаследовал этот титул и для РФ.
Борис Ельцин. Стал президентом РСФСР 12 июня 1991 года. Всю власть в России получил позднее, в декабре 1991.
Константин Черненко. Мало кто знает, но именно он ввел должность президента России незадолго до своей смерти. Это произошло на закрытом XXXI съезде партии 39 марта 1984 года.
Александр Коржаков. Во время борьбы за власть с Борисом Ельциным носил звание президента Российской Федерации в период с 01 марта 1991 года по 30 апреля того же года. Был снят с должности Михаилом Горбачевым незадолго до отставки.

Здесь усложнение достигается за счет нескольких приемов:

А) Ответы имеют обоснование. «Логичность» помогает ввести в заблуждение.

Б) Удлинение. Неопытные составители тестов делают правильные ответы самыми длинными. Респондентам об этом известно.

В) Цифры и «факты» привносят правдоподобности. Чтобы вопрос выглядел правдоподобно, факты должны быть истинными либо с примесью ложных. Как репортаж американского телевидения. В совсем фантастические истории никто не поверит.

Если подводить итог, для меня сложный вопрос – это такой вопрос, на который статистически более квалифицированные сотрудники чаще отвечают верно, чем низкоквалифицированные за счет своего опыта. Ключевое понятие здесь – опыт.

5. Система интерпретации результатов

Вопреки расхожему мнению, хорошо составленные вопросы сами по себе не делают тест полезным при отборе или оценке. Ключевую роль играет система интерпретации результатов. 35 из 100 – это много или мало? Какую еще дополнительную информацию о респонденте мы хотим и можем получить из результатов теста? Это отдельная непростая тема, но главное, что нужно помнить, процесс создания системы интерпретации:

1. Разработка гипотезы. Что значат результаты тестов на первый взгляд?

2. Проверка гипотезы. Смотрим на результаты по нашим тестам и сравниваем их с результатами других инструментов.

3. Корректировка гипотезы.

4. Внедрение системы.

Конечно, эти замечания носят характер тенденций, а не законов. Бывают ситуации, когда некоторые из этих ошибок неизбежны из-за темы тестирования, задания на тест или квалификации составителя. Однако лучше делать таких вопросов поменьше. Так выглядит профессиональнее.

Вместо заключения

Меня иногда спрашивают: «Михаил. Вы так много говорите о важности здравого смысла и логики в тестировании, а не знания названий моделей. Но человек же может догадаться логически, какой ответ правильный?». Плохо, когда респондент догадывается о «правильных» ответах в психологических вопросах. В навыковых либо компетентностных вопросах это неважно. Если человек знает или догадывается, как нужно поступить в проблемной ситуации, все равно, догадался ли он или встречался с такой ситуацией на опыте. Если же в реальной работе он действует иначе, это уже не вопрос диагностики, а вопрос контроля.

Напоследок еще один вопрос-иллюстрация.

Какую цель преследовал автор статьи? Выберите несколько вариантов.