ROI в обучении – почему ему не всегда можно доверять

В статье:

• Для чего нужна оценка эффективности
• ROI обучения
• Как рассчитать ROI обучения
• Экономическая выгода от обучения

Как спланировать корпоративное обучение: тренинги в группах или онлайн-курс самостоятельно? Помогают ли деловые игры улучшить эффективность компании? Оправдан ли обсуждаемый бюджет? Ответить на эти вопросы можно, рассчитав результативность вложений в обучение.

Для чего нужна оценка эффективности

Кому и зачем нужен расчет оценки эффективности корпоративного обучения? Топ-менеджер планирует инвестиции и хочет видеть их результативность. HR-директор должен оправдать вложения: если в отчете сообщить об отдаче, а не о количестве учебных часов, у него не будет проблем с поддержкой бюджета на следующий год, с ним будут считаться как с представителем отдела, который тоже приносит доход, ему будет легче выбирать провайдера. Провайдеру тоже полезно, когда эффективность его трудов можно вычислить. Например, нам, как провайдеру, было бы важно, чтобы компании понимали, сколько реальной выгоды приносят ей деловые игры и качественные тренинги от ManGO! Games.   

Таким образом, вопрос пользы системы оценки эффективности не стоит, остается понять, можно ли просчитать эффективность обучения и как.

ROI обучения

В начале 80-х HR-эксперт Джек Филлипс разработал методику ROI обучения (оценка эффективности вложений в обучение).

Наличие такой системы часто воспринимается с сомнениями:

• Как можно выразить результаты обучения в деньгах?
• Как отделить результаты обучения от влияния внешних факторов?

Давайте посмотрим, возможно ли и как именно это происходит.

Как рассчитать ROI обучения

Для расчета ROI необходимы финансовые данные. Нужно изучить денежные источники. Обычно их два:

• Инвестиции, доходы, прибыль.
• Экономия и сокращение расходов.

Измеряем результаты по каждому из источников.

Инвестиции, доходы, прибыль:

• Маржа прибыли от увеличения дохода.
• Маржа прибыли от увеличения объема продаж.

Экономия и сокращение расходов:

• Независимые от инвестиций, доходов и прибыли.
• Связанные с улучшением в различных сферах: улучшение качества и сокращение исправлений и переработок; рациональное расходование рабочего времени; сохранение сотрудников и клиентов; уменьшение количество жалоб; повышение качества работы; снижение неоправданных расходов.

Формула расчета ROI позволяет оценить производительность, имея чистую прибыль и полный объем расходов:

ROI = (Чистая прибыль/Полный объем расходов) х 100

Однако такой способ оценивания иногда называют «Ложным ROI», если используются спорные оценочные решения.

Экономическая выгода от обучения

Так можно ли посчитать, какая конкретно выгода от обучения? Давайте рассмотрим один случай.

В одной из американских компаний работали сотрудники колл-центра, которые помогали клиентам разбираться с возникающими проблемами при работе с продуктом компании. Они постоянно испытывали сложности – им было не всегда легко помогать клиентам устранять возникающие неполадки.

Менеджеры колл-центра вместе с отделом обучения компании провели анализ потребностей операторов колл-центра. Анализ показал, что операторам недостает знаний и умений, в связи чем для них организовали тренинг, а после тренинга обеспечили персональный коучинг. За ситуацией в колл-центре месяц наблюдали супервизоры. После этого в компании проанализировали полученные бизнес-результаты.

На тренинг компания потратила 110 тыс. долларов. Изменилось ли качество обслуживания клиентов? Для ответа на этот вопрос использовали результаты наблюдения супервайзеров и записи звонков.

Через два месяца с момента обнаружения проблемы было зафиксировано уменьшение количества жалоб от клиентов. Но этого мало. Для расчета ROI нужно понять, несла ли компания финансовые потери в связи с жалобами, которые раньше были более частыми. Недавнее обширное государственное исследование рынка показывает, что разрешение и обработка типичной жалобы клиента обходится компаниям в среднем в 595 долларов. Получается, что если в колл-центре количество жалоб сократилось на 30 в месяц, то компания сэкономила 17 850 долларов. Исходя из этого за год компания сможет сократить расходы на 214 000 долларов. Таким образом, благодаря имеющимся цифрам можно подсчитать ROI, он составит 95%. Получается, корпоративное обучение, тренинг в нашем примере или другой формат, например, деловые игры или онлайн-курсы, могут быть эффективны на 95%!

ROI (%) = (214 200$ - 110 000$)/110 000$ х 100 = 0.947 х 100 = 95%

Результат описанного примера впечатляет. Но можно ли назвать такой ROI качественным? Для получения не ложного ROI необходимо провести детальный анализ в конкретной компании, убедиться, что значение получено путем реальных и актуальных для компании измерений.

Важно понимать, что даже при самом серьезном подходе и тщательном подсчете неточности и ошибки возможны, хотя общая тенденция и может стать аргументом для принятия важных решений. Вместе с тем, важно не забывать, что независимо от готовности принять решение даже на основе ориентировочных данных, при таких расчетах следует ставить под сомнение качественную значимость показателей ROI.

А можно ли получить достоверные данные? Все учесть невозможно, но нужно обратить внимание на следующие факторы:

• Причинно-следственное влияние.
• Финансовая выгода.
• Устойчивость результатов.
• Цена решения.

Если изучить эти факторы, то можно понять, как недостоверные данные повлияли на преувеличение оценки ROI в компании из нашего примера.

Чтобы получить полную картину, важно учесть все. Возможно, месяц, в котором было зафиксировано снижение жалоб, относился к летним, когда традиционно происходит спад жалоб, или в этот месяц не вносились обновления в продукт, после которых обычно увеличивается число обращений. Возможно просто упали продажи, а с ними и традиционные для новых пользователей обращения с жалобами.

Важно анализировать не только один компонент, а их совокупность. Если это обучение, то нужно учитывать не только проведение тренинга для сотрудников, но и коучинг.

Для учета полученных изменений важно не использовать непроверенные или недостоверные данные. Кроме того, важно учитывать внешние факторы.

Качественный ROI можно получить, если учесть причинно-следственные связи. Для этого используют ряд методов:

• Изучение тенденций.
• Выделение контрольной группы и проведение эксперимента.
• Надежные оценки.

Одним из вариантов может быть выделение нескольких групп, которые станут экспериментальными, – для этих групп наметить проведение тренинга для сотрудников. При этом одну группу оставить без изменений, она будет контрольной. Все группы должны обладать примерно равными характеристиками. Эксперимент можно расширять, применив, к примеру, к разным группам разные методы – деловые игры или онлайн-программы.

Продолжим наш пример. Компания, проведя работу в экспериментальных колл-центрах, получила средний результат – в среднем количество жалоб уменьшилось на 30, тогда как в контрольном колл-центре жалоб уменьшилось на 10 по сравнении с предыдущим периодом. Это говорит о том, что даже без обучения жалоб стало меньше. Значит, существуют другие факторы по их снижению. Если данные, полученные в результате замеров контрольной группы, можно считать надежными, то можно предположить, что те же факторы влияли и на экспериментальные группы.

Учитывая все выше перечисленное, можно сделать вывод, что в экспериментальных группах количество жалоб снизилось на 20 в месяц (30 - 10 = 20).

Примерно таким же образом можно сравнивать группы, в которых применялись разные методы – проведение тренингов для сотрудников или деловые игры, к примеру.

Но и это не все. Важно еще учитывать длительность результата – время, на протяжении которого полученные результаты сохранялись. В примере выше результат экстраполировали на год вперед, однако это ошибочный подход.

Качественный ROI учитывает изменения, которые могут проходить в течение года. В связи с изменениями после обучения, компания, к примеру, может принять решение уменьшить количество операторов и обеспечить пользователей встроенной автоматической поддержкой, что минимизирует количество звонков и сэкономит бюджет.

Еще важно учитывать, что одни и те же данные имеют разную денежную ценность, поэтому для расчета качественного ROI нужно использовать надежные величины из внутренних источников компании. Для определения ценности таких показателей используют способы:

• Новые данные сравнивают с такими, ценность которых определена.
• Используют надежные исследования.
• Пользуются оценкой надежных экспертов.

В нашем примере компания просто взяла недавнее исследование, не связанное со своей компанией. 

Что в результате поверхностного подхода было искажено:

• Жалоб стало меньше не на 30, а на 20. В первом случае решили, что на этот показатель повлияло только обучение.
• Результат сохранился только 9 месяцев, после чего произошли изменения, не связанные с результатами обучения. В первом случае предположили, что результат останется таким же.
• На решение каждой жалобы в этой компании тратят не 595, а 400 долларов. Это удалось подсчитать, используя данные внутри компании.
• Стоимость обучения с учетом участия коучей обошлась компании не в 110, а в 125 тыс. долларов.

ROI (%) = (72 000$ - 125 000$)/125 000$ х 100 = -0,424 х 100 = -42,4%

Казалось бы, мы провели обучение и все сделали правильно, но, как видим, получили отрицательный ROI. Это значит, расходы превышают доход.

Теперь мы видим, что 95%, мягко говоря, слишком преувеличенный показатель, поскольку получен в результате неправильно проведенного анализа. Многие консультанты и руководители манипулируют неверными расчетами, вводя в заблуждение компанию и самих себя.

Рассчитывая ROI, интересуйтесь, откуда взяты данные, используемые для анализа. Использовать такие расчеты желательно до обучения, определяя, какое количество обращений в месяц стало бы для компании безубыточным и прибыльным. Сэкономить средства помогут экспериментальные группы, на которых можно проверить те или иные гипотезы, прежде чем применять новшество в масштабах всей компании.