Как оценить эффективность правотех-решений

Зачем измерять эффективность цифровых решений

Причин две:

• финансовая;
• мотивационная.

Финансовая

Цифровизация стоит денег. Без анализа эффективности невозможно понять:

• окупились ли вложения;
• стоит ли масштабировать направление или пора менять вектор. 

Мотивационная

Внедрение любой новой системы — это стресс для сотрудников. Приходится учиться и перенастраивать привычные рабочие процессы. Чтобы юристы приняли изменения, нужно показывать, что они действительно улучшают работу.

Как оценивать объективно: метрики изначальной гипотезы

Суть подхода 

Если вы заранее продумали, зачем внедряете правотех-решение и каких результатов ждете, оценить его пользу просто: возьмите цели и сравните с тем, что получилось.

Что важно при таком подходе

• Иметь изначальную метрику. Невозможно измерить что бы то ни было, если мы не знаем, в чем оно измеряется.
• Оценивать конкретную систему в конкретном процессе. Иначе степень влияния будет очень размыта и внятного результата оценки получить не удастся.
• Четко определить исходное состояние — чтобы было, с чем сравнивать. 

Какие метрики использовать для объективной оценки

Количественные —  те, что можно выразить в числе:

• количество времени, затрачиваемое на операцию — сколько минут или часов нужно на проверку одного договора или составление искового заявления;
• количество операций за единицу времени — сколько договоров удается проверить за один рабочий день;
• денежные затраты — сколько тратит компания на ведение одного судебного дела;
• другие количественные метрики.

Например, методом оценки эффективности через метрики пользуется юридическая фирма Clifford Chance и публично сообщает о достигнутых результатах:

• затраты клиентов компании на решение их юридических вопросов сократились на 40%;
• объем рутинных задач у специалистов уменьшился на 25%
• на 40% сократилось время обработки документов.

Субъективная оценка эффективности правотех-решения

Суть подхода 

Метрики не показывают всей картины. Если правотех-решение неудобно, сотрудники будут сопротивляться. Если на тесте они работали «под давлением», как только контроль ослабнет, все вернется к старой схеме.

Поэтому собирайте обратную связь у тех, кто реально пользуется решением. Лучше делать это через анонимные опросы — так сотрудники чаще говорят честно.

Как собирать обратную связь

1. Проводите опросы трижды: в начале, в середине и в конце внедрения.
2. Помните, что реакция на нововведения разная:

• кто-то сначала сопротивляется, но позже меняет мнение;
• кто-то сначала в восторге, а потом замечает неудобства.

Эта динамика важна: без нескольких замеров можно сделать неверные выводы.

Чек-лист вопросов для сбора обратной связи

Как соединить объективную и субъективную оценки

Ни объективные, ни субъективные данные не дают полной картины: получить реальную картину эффективности решения можно только соединив оба эти подхода. Вот пошаговая инструкция, как это сделать:

Шаг 1: параллельный сбор данных 

Собирайте объективные и субъективные данные одновременно. Это гарантирует, что вы оцениваете один и тот же опыт работы с системой.

Шаг 2: сопоставление и поиск корреляций

Сведите данные в единую таблицу или дашборд и ищите связи.

• Пример 1: «Объективно: скорость выросла на 30%. Субъективно: юристы жалуются на возросшую нагрузку».
  • Вывод: Система действительно быстрая, но, возможно, неудобный интерфейс или сложная логика работы заставляют пользователей прилагать больше умственных усилий. Рост скорости есть, но ценой высокого стресса.
• Пример 2: «Объективно: скорость не изменилась. Субъективно: сотрудники в восторге от нового инструмента».
  • Вывод: Система не дала количественного выигрыша, но повысила удовлетворенность трудом, возможно, за счет удобства или прозрачности процессов. Это ценное качество для удержания персонала.

Шаг 3: глубокий анализ противоречий

Самые ценные выводы часто скрываются там, где объективные и субъективные данные противоречат друг другу.

• Задайте вопрос «почему?»: Если цифры хорошие, а отзывы плохие — проведите фокус-группу с вопросом: «Наши данные показывают рост скорости. Помогите нам понять, что мешает вам чувствовать этот прогресс?».
• Проверьте гипотезы: Если отзывы хорошие, а цифры не растут — возможно, вы измеряете не те метрики. Спросите пользователей: «В чем вы видите главное преимущество системы?». Их ответ может указать на новую, более релевантную метрику для замера.

Шаг 4: приоритизация проблем и возможностей

Полученные выводы сведите в таблицу с приоритетами.

• Высокий приоритет: Проблемы, которые подтверждаются и цифрами, и отзывами, например, система «вылетает» при работе с большими документами, и все на это жалуются;
• Средний приоритет: Проблемы, которые сильно влияют либо на метрики, либо на удовлетворенность;
• Низкий приоритет: Вопросы, которые не подтверждаются объективно и не являются массовыми.

Шаг 5: формирование целостного заключения и плана действий

Итоговый отчет об эффективности решения должен отвечать на вопросы:

1. Что мы улучшили?
2. ️Как к этому относятся пользователи?
3. Почему есть расхождения в объективных и субъективных данных?
4. Что мы делаем дальше? 

Оценка эффективности цифровых решений для юристов — это не опция, а необходимость 

Без нее компания рискует потратить значительные ресурсы впустую и столкнуться с сопротивлением персонала.

Ключ к успешной оценке — комплексный подход, сочетающий два метода:

1. Объективная оценка по метрикам отвечает на вопрос «Что мы улучшили?». Она требует четкого определения изначальных целей и количественных показателей для точного замера результата.
2. Субъективная оценка через обратную связь отвечает на вопрос «Как к этому относятся пользователи?». Анонимные опросы и интервью выявляют реальное принятие инструмента командой, его удобство и скрытые проблемы.

Главная цель — соединить эти два подхода. Алгоритм действий следующий: соберите данные параллельно, сопоставьте их в поиске корреляций и противоречий, проанализируйте расхождения и приоритезируйте выявленные проблемы.