Система дистанционного обучения (СДО) – один из основных инструментов в развитии e-learning. По сути, это виртуальный класс, в котором сотрудникам можно назначить учебный материал и в режиме реального времени следить за их успеваемостью. И неважно, где ученики находятся физически: на работе, дома или в отпуске.
В каждую СДО встроен сервис аналитики — сюда попадают данные о действиях учеников, из которых формируются разного типа отчеты: прогресс пользователей, средняя длина просмотра материалов, количество правильных ответов за тест и не только. Я руковожу корпоративным обучением, и для себя выделила 12 метрик, которые помогают повысить качество онлайн-обучения и зарядить команду на результат. Расскажу подробнее о каждой.
Метрики, которые помогают повысить эффективность обучения
Сложно убедить руководство в том, что онлайн-обучение в компании эффективно, и оценить реальный прогресс, если у вас на руках нет конкретных цифр. Они приходят из статистики. Отслеживание действий пользователей играет ключевую роль в e-learning даже в случаях, когда обучение добровольное.
1. Прогресс пользователей
Прогресс пользователей — метрика, с которой стоит начать, потому что она показывает, как часто и насколько успешно пользователи изучают материал.
Какая польза от метрики: вы своевременно заметите низкую активность пользователей и примете меры.
Если с начала курса прошло много времени, а пользователи все еще буксуют на старте – это проблема
Если этот показатель низкий, забудьте на время обо всех остальных метриках – нужно срочно исправлять ситуацию с вовлечением. Важно установить причину низкой активности. Вариантов чаще всего два:
- Сотрудники не знают, что вы запустили учебный портал и им нужно изучать какие-то курсы. Звучит странно, но встречается часто.
- Сотрудники не заинтересованы в обучении.
Если первая проблема относительно легко решается разработкой и проведением внутренней PR-кампании, то во втором случае потребуется небольшое расследование. Почему у сотрудников нет мотивации? Возможно, они не видят пользы в обучении и не понимают, как применять полученные знания в повседневной работе. Возможно, сами курсы недостаточно хороши — написаны сложным языком, скучны или неактуальны. А может быть контент преподнесен не в том формате, в котором его было бы интересно и удобно изучать. В любом случае, необходимо задавать вопрос «Почему?» до тех пор, пока не докопаетесь до истины.
2. Статус курса
Эта метрика напрямую зависит от предыдущей, она показывает текущую ситуацию с курсом: начал ли пользователь его проходить и прошел ли до конца.
Какая польза от метрики: зная статус курса, вы с большей вероятностью обучите команду к нужному сроку.
Николай Власов все еще не начал изучать курс, а дедлайн уже близок
Если вы увидите, что пользователи начинают отставать, закрутились или просто забыли, отправьте им короткое напоминание по электронной почте или в корпоративном мессенджере.
3. Результаты
Результаты – краеугольный камень любого обучения, поэтому это одна из самых важных метрик.
Какая польза от метрики: успеваемость дает общее представление об эффективности обучения.
100 пользователей из 100 справились с тестом. У — успех
На первый взгляд тут все просто: чем выше балл, тем лучше результат. Допустим, пользователь набрал 60 баллов из 100. Казалось бы, результат тянет только «на троечку». Но это не всегда так. Если бы вы провели установочное тестирование сотрудника до прохождения курса, и он бы набрал всего 30 баллов, тогда результат 60 баллов выглядел бы как отличный прогресс.
Проводить установочное тестирование стоит всегда, когда это возможно. Так вы сможете объективно оценить стартовый уровень пользователей, обнаружите пробелы в знаниях и впоследствии отследите динамику. Кроме того, зная, какие темы вызывают самые большие затруднения, вы сможете улучшить контент, более подробно осветив эти вопросы.
Ситуация, когда у многих пользователей низкие баллы за тест, должна вас насторожить. Причина может быть в том, что тест слишком сложный, тогда имеет смысл его переделать. А если уже на этапе предварительного тестирования пользователи набирают максимум баллов, возможно, вы ошиблись – сделали курс для новичков, а ваши ученики уже продвинутые.
Не забудьте узнать мнение самих пользователей
Кроме того, сравнения «до и после» эффектно выглядят и отлично демонстрируют результат обучения всем заинтересованным сторонам.
Метрики, которые помогают делать хорошие курсы
Чем дольше мы работаем над обучающим материалом, тем сильнее замыливается глаз и тем выше риск закопаться в деталях. К счастью, для разработчиков контента есть целый набор отчетов, который поможет объективно оценить получившийся контент.
4. Анализ ответов и количества попыток
Этот отчет содержит информацию о средней оценке и распределении ответов пользователей по каждому вопросу.
Какая польза от метрики: вы сможете проанализировать объективность оценок и понять, с чем имеете дело: с обычными ошибками отдельных учащихся или проблемой с контентом.
Вопрос о типах вопросах оказался неожиданно каверзным
К примеру, вы можете обнаружить, что пользователи спотыкаются на одной и той же группе вопросов. Скажем, если вы пиццерия, то ваши сотрудники неплохо справляются с вопросами о тесте и начинке, а вот с выпеканием проблемы почти у всех.
Первым делом в такой ситуации необходимо удостовериться, что формулировка задания понятна, не допускает двоякой трактовки, а ответ на вопрос действительно присутствует в курсе. В случае с пиццерией выяснилось, что студентов обучали выпеканию на других моделях печей, поэтому они часто ошибались, отвечая на эту группу вопросов.
Если же с тестом все в порядке, перепроверьте контент — возможно, тема была плохо раскрыта в курсе и ее нужно доработать. Проще и быстрее всего будет вставить ссылки на дополнительные материалы по теме или предложить выполнить дополнительное домашнее задание. А если сроки позволяют, то стоит основательно переработать курс, сделав акцент на проблемных местах.
Сохраните на компьютер или распечатайте себе шпаргалку.
Иногда распространенные ошибки пользователей не требуют от вас никаких действий
5. Популярные материалы
Отслеживайте, какие материалы наиболее популярны и набирают большое количество просмотров. Зачем? Чтобы пойти дальше и попытаться разобраться в причинах их популярности.
Какая польза от метрики: понимая, почему высок спрос на те или иные курсы, вы сможете предлагать пользователям актуальный контент.
Налицо всплеск интереса к материалам о биткоине, блокчейне и криптовалютах
Возможно, есть информация, которая очень востребована учащимися. В этом случае стоит создать дополнительный контент на такие темы, чтобы полностью их покрыть. Может быть, у популярного курса привлекательное название и «вкусное» описание. Может быть, он содержит интересные интерактивные модули: например, игры или тренажеры. Почему бы не использовать те же принципы для продвижения других курсов?
6. Средняя длительность просмотра
Этот отчет содержит информацию о времени, которое пользователь провел на конкретных слайдах курса. Считается, что чем дольше пользователи изучают материал, тем лучше. Чаще всего так и есть.
Какая польза от метрики: можно измерить вовлеченность пользователя во взаимодействие с контентом.
Стоит узнать, чем шестой слайд так заинтересовал пользователей
Если вы создали интересный материал, пользователи прочитают его, не так ли? А чтение занимает время. Если среднее время, которое пользователи затрачивают на курс, — низкое, возможно, курс не такой уж увлекательный. Отыщите слайды или страницы, которые лучше всего удерживали внимание пользователей, поймите, что в них особенного, и используйте эту информацию, чтобы улучшить остальной контент.
В то же время не стоит принимать этот совет слишком буквально. Было бы несправедливо сравнивать текстовый слайд и страничку с одной-единственной картинкой. Но в целом, такой анализ позволит вам понять общие принципы привлекательного контента, что делает этот вид отчета очень ценным.
7. Обратная связь
СДО удобно использовать еще и для разнообразных опросов пользователей.
Какая польза от метрики: получите отзывы пользователей о пройденных курсах и сможете их улучшить.
Пример опроса пользователей, завершивших курс
Гипотезы на основании статистики – это прекрасно. Однако не забывайте про общение с конечными пользователями. Вы собрали все метрики и поняли, какие курсы вызвали интерес, какие – нет. Следующий шаг – опрос сотрудников, прошедших это обучение. Что им понравилось? Почему какой-то слайд привлек их внимание? Что можно улучшить? Какие были сложности с изучением курса? Ответы на эти вопросы помогут обнаружить курсы с низким рейтингом, выяснить причины и устранить их. Иногда и вовсе имеет смысл заменить непопулярный контент на что-то более интересное.
Сбор обратной связи можно организовать через опросы непосредственно в СДО.
Метрики, которые помогают найти чемпионов в обучении и работе
Корпоративное обучение проводится не ради самого процесса, в его основе – различные запросы бизнеса. Чтобы их реализовать, нужна соответствующая квалификация сотрудников. Эти метрики укажут, кто из сотрудников наиболее лоялен и смотрит в одном направлении с компанией.
8. Рейтинг пользователей
Это суперполезная метрика, если вы заинтересованы не только в формальном обучении, но и в формировании кадрового резерва.
Какая польза от метрики: отчет о самых активных и успешных учащихся покажет, кто в вашей команде больше других стремится к совершенствованию навыков и профессиональному росту.
Хорошая традиция — поощрять самых активных учащихся
Многие сотрудники стесняются напрямую заявить, что готовы к большей ответственности и более сложным задачам. Зато сведения о том, что сотрудник активно и по собственному желанию изучает материалы помимо курсов, относящихся к его непосредственным обязанностям, будут полезны при принятии решения о возможном повышении.
9. Действия пользователя или группы
В этом отчете содержится подробная информация о действиях выбранных пользователей или групп в любой интересующий вас промежуток времени.
Какая польза от метрики: узнаете об успехах отдельного пользователя или группы, убедитесь, что обучение начато в срок.
Неудивительно, что пользователь завалил тест — он уделил изучению курса всего десять минут
При желании можно стать «Большим Братом», который следит за ходом обучения любого из сотрудников. Но что более важно, в этом отчете вычисляется средний темп обучения, таким образом, вы сможете закладывать более реалистичные сроки на освоение сотрудниками последующих материалов.
10. Посещаемость
Этот критерий рассказывает о том, насколько востребованы те или иные занятия.
Какая польза от метрики: сможете контролировать не только изучение электронных курсов, но и отслеживать проведение вебинаров и занятий в классах.
Журнал посещаемости
Отслеживать посещаемость нужно отнюдь не затем, чтобы покарать прогульщиков. Эта метрика сообщит и о других не менее любопытных фактах. К примеру, вы узнаете, какие занятия вызывают наибольший интерес и какие преподаватели нравятся сотрудникам.
Кроме того, посещаемость напрямую связана с концепцией «образования на протяжении всей жизни». Желание и готовность учиться – показатель направленности сотрудника на саморазвитие. Это помогает ему эффективнее решать рабочие задачи, следовательно, работодатель тоже в плюсе.
Можно также обнаружить сотрудников, которые отказываются от обучения. Если причина не в их перегруженности – это тревожный знак. Возможно, им неинтересно то, чем они занимаются, или они считают свой текущий профессиональный уровень достаточным. В таком случае стоит разобраться в истинных причинах и решить, устраивает ли это работодателя.
Метрики, которые упрощают жизнь администратору
Некоторые метрики просто позволяют администраторам системы быстро вытягивать нужные данные и лучше справляться с рутинными задачами.
11. Учебная программа
Все чаще можно видеть, как большие комплексные курсы для удобства учащихся превращают в серию небольших уроков.
Какая польза от метрики: объединив курсы в программу, не придется вручную отслеживать данные по каждому курсу – вы будете видеть статистику об успехах в масштабе всей программы.
С этим курсом пользователи наверняка справятся в срок
Принцип работы этого вида отчета во многом похож на отчет «прогресс пользователя» с той лишь разницей, что анализируется не количество просмотренных страниц, а пройденных уроков.
12. Отчет по продажам
С помощью СДО курсы можно продавать. Если это ваш случай, обратите внимание на метрики монетизации.
Какая польза от метрики: получите свежую информацию о статистике продаж курсов и доходе за выбранный промежуток времени.
Курс о копирайтинге принес вам 70 000 рублей
Мы часто думаем, что измерить эффективность обучения очень сложно. Берем за основу результаты тестов и посещаемость, а все остальное оцениваем на глаз, опираясь на собственный опыт и интуицию. К счастью, с помощью современной СДО вы можете подкрепить практически любые предположения относительно обучения точными цифрами.
Фото: freepik.com
Спасибо!
Извините за вопрос, объясните, что означает e-Learning?. Отличия отe-Learning 2.0?Какие бывают стандарты, технологии, средства?Преимущества и недостатки.
E-learning - одна из форм дистанционного обучения (от анг. electronic learning - электронное обучение). Основной инструмент - электронный курс.
Есть стандарты (как правило, умещаются в понятие "педагогического дизайна" - дискретная подача материала= небольшими тематическими "порциями", от простого к сложному, промежуточный контроль, интерактивность = возможность для обучающегося получать обратную связь по качеству усвоения материала; обязательное наличие контроля прохождения материала =теста).
Есть технологии (платформы+библиотеки курсов), этим сегодня занимается целый рынок, высококонкурентный, есть крупные компании-лидеры и множество разработчиков-фрилансеров = индивидуальных предпринимателей и просто частников.
Преимущество - оперативность доставки контента и учет индивидуальных потребностей и возможностей обучаемых (сами выбирают время и темп обучения). Недостатки - отсутствие реальной практики и...низкое качество многих учебных курсов (неразвитость отрасли).
Вместе с другими ДО-ресурсами (видеоконференцсвязь, вебинары, видеотренажеры и пр.) - необходимый элемент комплексного обучения Blended Learning (ДО+очное обучение). Например, сотрудник самостоятельно изучает свойства продукта (ДО), а потом на бизнес-практикуме / тренинге (очное обучение) отрабатывает технологии продаж данного продукта. Безусловно, есть более сложные сочетания этих форм обучения.
E-L 2.0, 3.0 и далее в будущее - это уровни продвинутости платформ и прочие параметры, которые придумывают разработчики. Но качественное ДО сегодня - необходимый ресурс бизнеса. Большие компании это знают (как еще обучать многотысячную сеть?) и своими инвестициями развивают рынок ДО
Согласна, к обучению стоит подходить с критериями и измерениями до и после, чтобы видеть динамику.