Часть 1
Консалтинговый центр «Михайл Иваныч без партнеров, сам по себе»,
предлагает вашему вниманию линейку новых
бизнес семинаров с повышенной тренинговой силой…
Что меня побудило написать эту статью? Многие заказчики сомневаются в эффективности тренингов. Я предлагаю измерять эффективность каждого проведенного тренинга! Как это сделать, я рассказываю в статье. Все результаты сведены в таблицу. Изучите таблицу и обсудите, какими методами и инструментами будете пользоваться. Все просто. Степень и глубину измерений выбирайте сами. Профессионалам рынка образования рекомендую переходить сразу к таблице, начинающим – читайте все по порядку.
Три стороны одного результата
Факторы, влияющие на эффективность тренинга
Тренер
«Речь тренера должна быть простой,
как мычание коровы, иначе всем будет понятно,
что он сам ничего не понимает».
Из отзывов участников тренинга
Во-первых, профессиональный опыт тренера в той области, в которой он проводит обучение. Если речь идет о продажах, то важно понимать, какой он сам был и есть продавец. Если речь идет об управлении, поищите в его резюме соответствующие позиции. Как оценить качество позиций? Ведь в резюме написать можно все, что угодно. Спросите. Задайте тренеру два–три вопроса (кейса) и узнайте, как он поступил бы в тех или иных ситуациях. Конечно, такой «экзамен» следует проводить при личной встрече под видом просьбы дать вам совет.
Во-вторых, профессиональные компетенции по обучению взрослой аудитории. Здесь важно и умение подать материал, и управление групповой динамикой, и способность удержать внимание у всех участников на протяжении всего тренинга, и умение терпеливо, доходчиво, разными словами и используя подходящие примеры объяснить тему или ответить на вопрос. Как оценить? В разговоре попросите совета, скажите, что вы должны объяснить что-нибудь сотрудникам, как это сделать? Переспросите, а как можно еще? Заодно и сверите ваши системы ценностей. Они не должны кардинально отличаться. Ведь если они разные, то обучение можно будет сравнить с возом из известной басни Крылова.
В-третьих, огромное значение в нашей профессии играет зрелость личности самого тренера. Этот фактор дает устойчивую энергетику в работе, наиболее объективный подход к особенностям участников, адекватное понимание по исполнению поставленных задач и многое другое. Как понять, зрелая личность перед вами или нет? Спросите! Поговорите о практическом применении жизненного опыта, поймите, откуда «растут» знания и навыки тренера (какие книги он читал/читает/рекомендует, кого из специалистов он рекомендует и как отзывается о коллегах, и т.п.). Зрелые личности являются самодостаточными, в их характере чувствуется «стержень», они не занимаются самоутверждением и самовозвеличиванием, так как уже узнали свою «цену» в этой жизни и нашли свой «путь». То есть тренер должен быть освобожден от факторов психологической незрелости личности.
Заказчик
Требуются рабочие для работы на работе.
Оплата - деньгами.
Во-первых, формат тренинга следует использовать в парадигме обучения 70-20-10, где 70 % - обучение сотрудника непосредственно на рабочем месте, 20 % - работа с наставником, ментором, коучинг, консультирование с экспертами, 10 % - практика краткосрочного обучения – тренинги и мастер-классы. Если заказчик сводит весь процесс обучения к третьему шагу, то, сами понимаете, эффективность от такого обучения будет минимальной. Обучение должно быть системным.
Во-вторых, необходимо создавать и возделывать в компании корпоративную культуру, нацеленную на развитие и обучение. Это ежедневная–еженедельная–ежемесячная работа. Мало просто подбадривать и задавать направление, нужно еще и привязать мотивационную схему сотрудника к внедрению инноваций, полученных в процессе обучения. На мой взгляд, лучше всего это делать с помощью KPI-показателей (Ключевых Показателей Эффективности) и личного примера.
В-третьих, необходимо осуществлять регулярный контроль за внедрением в работу новых знаний и навыков. Это прерогатива непосредственного руководителя – понять, что будет внедрено и выяснить спустя неделю – месяц, что было внедрено. Более того, хорошо было бы, если руководитель поделится собственным опытом по внедрению каких-либо инноваций в работу.
Участник
Мужик ползет по пустыне, высох весь. Поднимает глаза к небу:
- Господи, я так хочу пить, так прошу у тебя воды…
Ну, зачем ты мне третий день кидаешь эти лопаты?!
Во-первых, желание участника. Если у участников нет мотивации к обучению или они вынуждены отвлекаться на удовлетворение каких-либо иных потребностей, ему будет не до учебы. Есть категория слушателей, которая очень внимательна на тренингах и «ловит» каждое слово тренера, а есть такие, которые приходят на тренинг с установкой «отсидеть».
Во-вторых, руководству следует активно формировать стимулы и мотивацию к обучению. Создайте такие условия, чтобы желание учиться стало для подчиненных неотъемлемым атрибутом их профессиональной деятельности, так как одного желания участников не достаточно. В таких случаях всегда работает «личный пример» руководителя.
В-третьих, сотрудник должен верить в то, что он сможет применить и попробовать на практике те «инсайты», которые появились у него на тренинге. И такие условия не получится смоделировать искусственно, они должны быть частью корпоративной культуры. Как сказал основатель сети розничной торговли Wal-Мart Сэм Уолтон, «проходит не больше недели или двух, и сотрудники начинают относиться к покупателям точно так же, как сама компания относится к своим сотрудникам».
Вообще фактор личного примера трудно переоценить. Вспоминаю беседу двух родителей. Один из них высказал опасения, что его дети не развивают нужных навыков и не стремятся получать действительно важные знания и спросил другого, как бы изменить детей так, чтобы те захотели тратить свое время на действительно важные и нужные занятия. На что собеседник ему ответил, что не нужно изменять детей, нужно измениться самому. А все остальное произойдет автоматически. Пожалуй, этот совет подойдет для изменений не только внутри семьи, но и для изменений внутри любой организации.
Критерии и инструменты для измерения
Если вы не можете что-то измерить,
значит, вы не можете этим управлять.
Джек Филипс
На сегодняшний день исходной и общепринятой для построения систем оценки эффективности обучения является модель Дональда Киркпатрика, предложенная автором еще в середине прошлого столетия. Он выделяет четыре уровня оценки - реакция, научение, побуждение и результат. Эта модель была дополнена Джеком Филипсом еще одним элементом – ROI (Return On Investments – Возврат на инвестиции).
На каждом уровне можно подобрать удобные инструменты для измерения. Некоторые из них я предлагаю рассмотреть (они сведены в таблицу). Обычно на тренингах измеряется только первый уровень. Это связано с тем, что с каждым следующим уровнем трудоемкость и затраты на измерения увеличиваются. Относительно доступными являются также второй и третий уровни, и тренер совместно с Заказчиком может измерить эти критерии с небольшими затратами. Что касается четвертого уровня, - это тот случай, когда стоимость оценки критериев может оказаться дороже проведенного обучения. Поэтому, как правило, его используют в корпоративных университетах, где есть все соответствующие ресурсы и системность обучения персонала обеспечивает эффективность метода. И, наконец, пятый уровень позволяет перевести на язык денег вопросы рентабельности и эффективности проведения обучения.
Таблица измерения эффективности тренинга
Подробное описание инструментов приведено далее.
1. Реакция участников и их мотивация к обучению
Люди учатся лучше, когда они позитивно относятся к поставленным целям и к самому процессу обучения, а также к тренеру. На этом уровне фиксируются субъективные мнения, суждения и предрасположенность участников тренинга к обучению. Поэтому измеряют их реакцию на тренинг.
a. Обратная связь в конце тренинга (общий круг)
Чтобы иметь возможность получить наиболее объективную картину сильных и слабых сторон тренинга, следует использовать методы получения обратной связи, которые предоставляют участникам свободу высказывания и не являются излишне подробными (чтобы у слушателей не исчезло желание принимать участие в оценочных процедурах). Применяя инструмент обратной связи в общем круге в конце тренинга, где высказываются по очереди каждый из участников, можно понять не только вербальную оценку, которую проговаривают участники, но и эмоциональный фон тренинга. Если тренер будет чуток к ответам, то он сможет понять, остались ли участники удовлетворены прошедшим обучением, появилась ли у них мотивация к внедрению и т.д. Иногда при групповом обсуждении или дискуссии тренеру полезно «задать» структуру обратной связи – указать, на какие моменты следует обратить внимание при оценке тренинга.
b. Анкетирование (оценочная анкета)
Это наиболее распространенный способ получения обратной связи от группы. Его популярность объясняется минимальными временными затратами и низкой стоимостью. Заполнение анкеты не вызывает трудностей ни у участников, ни у организаторов тренинга. Тут важно, чтобы анкета не была перегружена вопросами, и чтобы вопросы были сформулированы так, чтобы ответы на них давали как можно больше полезного.
c. Мишень, барометр, квадранты (флип-чарт)
Есть несколько инструментов, которые наглядно показывают реакцию всей группы. И если в предыдущем инструменте ответы показывали в основном индивидуальную оценку, то в этом способе на оценку большее влияние оказывает групповая динамика и настроения группы. Это средства визуализации лучше использовать на флип-чарте или маркерной доске. Рисуется любая из вышеперечисленных фигур с оценочной шкалой: «от 0 до 10», либо «от 0% до 100%», либо от «Цели обучения достигнуты» до «Цели обучения не достигнуты» и т.п. Далее участникам предлагается либо наклеить «постики», либо поставить отметку маркером в определенном месте на шкале, соответствующем их мнению и ощущению. Уместность того или иного инструменты выбирается тренером исходя из состава группы и поставленных задач.
d. Лист контроля учебного процесса
Обычно в конце моего тренинга (исключая короткие мастер-классы, презентации и выступления) участники заполняют лист контроля, где они проставляют отметки «да/нет» по каждой пройденной теме, отвечая на четыре вопроса. 1. Переданы ли знания? 2. Отработаны ли навыки? 3. Приводились ли примеры? 4. Получены ли технологии? Если у всех ответы «да», значит, участники согласны с тем, что тренер выполнил свою работу качественно и довел до слушателей необходимые знания, показал, как их использовать на практике, обсудил сложившийся опыт, привел примеры и выдал технологии применения полученного опыта на практике. Если же у кого-то появляется ответ «нет» - это повод проверить профессиональную пригодность тренера или адекватность участника. Если у многих участников возникают сомнения в отношении утвердительного ответа, можно вернуться к «трудному» участку тренинга и пройти его еще раз с другим упражнением. У этого инструмента есть еще одно очень важное свойство. Когда участники письменно соглашаются с тем, что «научение» состоялось, им будет некомфортно впоследствии искать причины неприменения в своей практике новых знаний, инструментов и методов, полученных на тренинге, обвиняя какие бы то ни было сторонние обстоятельства.
2. Уровень усвоения знаний / апробации навыков
a. Анкета «ДО»/Анкета «ПОСЛЕ»
На практике я использую этот инструмент в формате «Анкета после». В конце тренинга участники заполняют аттестационную форму, которая состоит из схематических рисунков, соответствующих разбираемой на тренинге тематической концепции. Иными словами, основные тезисы каждой темы я визуализирую в виде схемы или пиктограммы, к которой привязывается изучаемая тема. На схеме могут быть изображены алгоритмы, перечни, причинно-следственные связи. Схемы должны иметь простую и понятную структуру, легко восприниматься и запоминаться. Например, у меня есть схемы и пиктограммы в виде елочки, песочных часов, компаса. Такие схемы легко запоминаются участниками. В конце тренинга участники заполняют аттестационную форму, состоящую из таких схем или пиктограмм. Количество ответов соотносится с количеством вопросов и выводится в виде результата усвоения темы.
Последние три года участники моих тренингов показывают усвояемость знаний (в среднем по группе) всегда более 75 %. Задача тренера добиваться повышения этого показателя. Важность этого инструмента заключается еще и в том, что слушатели не смогут впоследствии сказать, что «я ничего не понял», чтобы переложить ответственность за отсутствие внедрения инноваций на рабочем месте. Все анкеты после обработки и сведения в табличную форму прилагаются к итоговому отчету, который ложится на стол Заказчику после проведения тренинга. Далее по этому отчету может эффективно работать HR-менеджер.
b. Замер показателей «ДО»/«ПОСЛЕ», контрольные задания
Если тренинг является частью системы обучения, планируется заранее и имеет четко определенные задачи по развитию каких-либо навыков у участников, то эти навыки можно замерить до проведения тренинга, а затем – и через неделю-две после того, как обучение закончится. Сравнив показатели, результат влияния обучения будет очевиден и измерим, а что самое главное, - объективен.
На основании полученных результатов можно будет делать выводы, как в отношении персонала (мотивация, обучаемость сотрудников, их желание изменять что-либо на своем рабочем месте в сторону увеличения производительности), так и в отношении самой системы мотивации и стимулирования, принятой на предприятии (нацеленность на развитие и внедрение инноваций, соответствие стиля управления и поставленных задач, методы контроля и т.п.).
c. Анализ развернутых ответов «ДО»/«ПОСЛЕ», наблюдение, поведенческие тесты
Если говорить простым языком, то мы составляем анкету с открытыми вопросами, на которые просим участника дать развернутые ответы, а потом проводим анализ этих ответов. При более глубинном исследовании есть возможность применять такие инструменты, как поведенческие тесты и наблюдение. Этот инструмент способен выявить не только знания до и после обучения, но и имеющиеся в сотруднике жизненные и психологические установки. А установки, как известно, базируются на системе ценностей человека.
Таким образом, в распоряжении у заказчика появляется инструмент, который позволяет видеть не только «верхушку айсберга», но и «ближайшие к поверхности (сознанию) слои» характера, которые сознательная сторона человека зачастую старается не выставлять на всеобщее обозрение. Правда, воспользоваться в полной мере этим инструментом смогут лишь те специалисты, которые умеют использовать лингвистический анализ речи и легко ориентируются в таких областях человеческой сущности и понятиях, как метапрограммы, проективные методики, направленность качеств характера на внутреннюю или внешнюю референцию, стремление или избегание и т.д.
3. Применение усвоенных знаний и навыков на рабочем месте
a. Опрос на тренинге: «Что примените из усвоенного?»
Еще один инструмент, который я применяю по окончании тренинга. Я прошу на листочке перечислить те инструменты, которые понравились участникам и которые они хотели бы применить на своих рабочих местах. Этот опрос может сгенерировать активность сразу в трех направлениях. Во-первых, сотрудник задумывается над тем, а что действительно можно было бы применить? Прописывая ответы, он, не задумываясь, создает в будущем возможное применение. Во-вторых, заказчик видит, что может и хочет применить сотрудник. А, следовательно, у заказчика появляется возможность оказать содействие работнику. В-третьих, это еще один момент истины для тренера: а есть ли у него в тренинге рабочие инструменты, а умеет ли он замотивировать участников на их внедрение? Это третий опросник, который они мне сдают по окончании заполнения. Он также входит в итоговый отчет, который я предоставляю впоследствии заказчику.
b. На работе, через неделю-месяц: «Что применили?»
Теперь важно организовать точку контроля через некоторое время. Не спросить мимолетом, а назначить часовую (30-минутную) встречу, чтобы обсудить все детали и нюансы внедрения нового инструмента: что хорошо, что плохо, что получилось, а что – нет, что помогало, а что помешало, стоит ли мультиплицировать этот метод в работу других подразделений и т. д. Эту работу проводит с работником непосредственный руководитель.
c. Посттренинговое индивидуальное сопровождение
Эта опция востребована на рынке обучения топ-менеджмента и целесообразна она лишь тогда, когда речь идет о высокооплачиваемых сотрудниках, обучение и ошибки которых для компании стоят недешево. В плане исполнения такое сопровождение может быть организовано в виде коучинговых сессий.
d. Посттренинговая групповая встреча
Групповые посттренинговые встречи случаются гораздо чаще. Однако хочу сказать, что они проходят очень эффективно, если у тренера есть возможность работать с мотивированными сотрудниками. Обычно сессии проходят в виде дискуссии с небольшим «вкраплением» нового материала и разбором кейсов, которые сложились на практике. Я категорически рекомендую разбирать рабочие кейсы, которые записаны на видео и транслируются со звуком, иначе диагностика ситуаций крайне затруднена или даже невозможна. Такие встречи полезны и для тренера – очень важно видеть результаты своей работы.
Продолжение следует. Во второй части статьи мы рассмотрим влияние тренинга на бизнес результаты и рассчитаем ROI и период окупаемости тренинга.
В целом широко известная модель Киркпатрика. Вопрос в доверии к инструментам сбора информации до, во время и после тренинга. Вообще методика определения эффективности определяется до обучения, на этапе разработки целей обучения. Именно в этот момент разрабатывается план по оценке эффективности обучения (что, когда, у кого собираем?) и определяются типы собираемых данных (количественные, качественные). Самый сложный кейс в котором я участвовал было определение эффективности тренинга для руководителей по теме ''Лидерство''. Самый простой для отделов продаж.
Вечный вопрос: оценка эффективности бизнес-тренинга. Все, что касается 1-3 уровней в модели Киркпатрика то вполне реализуемо.
Следующие уровни: влияние на бизнес-результаты и ROI не все так просто, хотя очень заманчиво. Бизнес-результаты/они же финансовые результаты зависят от стольких факторов, что вычленить вклад тренинга или даже тренинговой программы в большинстве случаев крайне сложно.
Даже если брать продавцов, то все равно необходимо оценивать ситуацию на рынке до проведения тренингов и после проведения тренингов, чтобы учесть динамику рынка, а также одновременно с этим ситуацию в самой компании: рекламная активность, вывод новых продуктов.
В конечном итоге эта оценка начинает серьезно ''отрываться'' от реальной жизни.
С другой стороны, это не означает, что заниматься этим не нужно. Важно понимать, что тренинг это инструмент для достижения каких-либо целей и важно эту цель определить до начала
Мне кажется слишком оптимистическим взгляд на возможность оценить эффективность тренинга по модели Кирпатрика. Сама оценка по трудоемкости, по трудозатратам на нее позволяет провести, наверное, еще один тренинг. А какова достоверность, валидность и релевантность методики такой оценки?
Старый анекдот.
- Чапаев: Петька, прибор!
- Петька: 38, Василий Иванович.
- Чапаев: что 38?
- Петька: а что прибор?
Методика оценки наверное, должна быть проста, как табурет и одновременно робастна, устойчива к отклонениям в исходных данных. Иначе гора родит мышь.
Хотя желание такую методику иметь понятно. Тренер, опираясь на нее, сможет показать свою нужность, а заказчик убаюкается хорошим показателем, типа ''не зря деньги плочены''.
Сложность в том, что последствия от обучения бывают краткосрочные и долгосрочные. Желание получить изменения быстро и побольше может конфликтовать с задачей получения отдаленных результатов. Как, например, вклад для общества фундаментальной науки и прикладной сложно оценивать по одной методике.
Так и цели тренинга (семинара, лекции, практического занятия) могут очень отличаться. Глубина решаемых задач. С какой стороны подходить к проблеме оценки? Наверное, наиболее объективным арбитром будет потребитель проводимого обучения. То есть покупатель, клиент, заказчик. Внешний или внутренний.
Можно попробовать разработать конкретную методику для конкретного занятия. Если будет интерес к такому эксперименту, давайте обсудим. На примере.
Коллеги, спасибо за комментарии!
В настоящее время оценкой эффективности тренингов ''в самом широком смысле'' занимаются, как правило, корпоративные университеты. По приглашенным тренерам успешно работает модель сарафанного радио. Возможно, в будущем станет критерием выбора того или иного тренера наличие системы сертификации тренеров, к чему уже несколько лет движется рынок краткосрочного бизнес образования в лице некоторых передовых компаний. Пока изменения не приобрели глобального характера, но рано или поздно целенаправленное воздействие на протяжении многих лет неизбежно принесет свои плоды. Я же пока использую в работе со своими сомневающимися заказчиками предложенную модель с указанными инструментами.
Тренер бесспорно должен быть крут сам !
а Эффективность очень просто - прирост продаж