право(тех)

Как оценить эффективность правотех-решений

7 минут

Цифровизация в юриспруденции — не модный проект, а способ не отстать от рынка. Компании вкладываются в технологии, но часто не понимают: работают они или нет. Чтобы не тратить бюджеты вслепую, нужно замерять эффект. Причем по двум направлениям: что говорят цифры и что чувствуют люди. Рассказываем, как это сделать на конкретных примерах.

Зачем измерять эффективность цифровых решений

Причин две:

  • финансовая;
  • мотивационная.

Финансовая

Цифровизация стоит денег. Без анализа эффективности невозможно понять:

  • окупились ли вложения;
  • стоит ли масштабировать направление или пора менять вектор. 

Интересный факт

Менее 30% крупных цифровых трансформаций достигают успеха. Без анализа эффективности на протяжении всего пути, ваша цифровизация может также оказаться бесполезной.

Мотивационная

Внедрение любой новой системы — это стресс для сотрудников. Приходится учиться и перенастраивать привычные рабочие процессы. Чтобы юристы приняли изменения, нужно показывать, что они действительно улучшают работу.

Интересный факт

Только 19% юристов считают, что преимущества ИИ в юридической фирме перевешивают затраты. То есть, остальным 81% нужно еще доказать, что цифровые решения стоят внимания.

Как оценивать объективно: метрики изначальной гипотезы

Суть подхода 

Если вы заранее продумали, зачем внедряете правотех-решение и каких результатов ждете, оценить его пользу просто: возьмите цели и сравните с тем, что получилось.

Пример

Гипотеза: внедрение решения «Х» позволит в 4 раза сократить время проверки договоров. 

Средняя длительность проверки договора сотрудником до: 8 рабочих часов (480 минут)

Желаемая средняя длительность проверки договора: 2 рабочих часа (120 минут)

Что сделано: внедрено правотех-решение «Х» для оптимизации проверки договоров. Решение оптимизировало верхнеуровневую проверку договоров, в том числе:

  • определение соответствия договора законодательству;
  • выявление формальных несостыковок в тексте проекта;
  • проверка наличия обязательных положений договора;
  • первичное обнаружение спорных и рискованных формулировок.

Период использования правотех-решения «Х»: 3 месяца.

Итог: за три месяца использования решения «Х» средняя длительность проверки договора сократилась до 3 рабочих часов (180 минут). 

Эффективность решения «Х» составляет 83%. 

Что важно при таком подходе

  • Иметь изначальную метрику. Невозможно измерить что бы то ни было, если мы не знаем, в чем оно измеряется.
  • Оценивать конкретную систему в конкретном процессе. Иначе степень влияния будет очень размыта и внятного результата оценки получить не удастся.
  • Четко определить исходное состояние — чтобы было, с чем сравнивать. 

Какие метрики использовать для объективной оценки

Количественные —  те, что можно выразить в числе:

  • количество времени, затрачиваемое на операцию — сколько минут или часов нужно на проверку одного договора или составление искового заявления;
  • количество операций за единицу времени — сколько договоров удается проверить за один рабочий день;
  • денежные затраты — сколько тратит компания на ведение одного судебного дела;
  • другие количественные метрики.

Например, методом оценки эффективности через метрики пользуется юридическая фирма Clifford Chance и публично сообщает о достигнутых результатах:

  • затраты клиентов компании на решение их юридических вопросов сократились на 40%;
  • объем рутинных задач у специалистов уменьшился на 25%
  • на 40% сократилось время обработки документов.

Субъективная оценка эффективности правотех-решения

Суть подхода 

Метрики не показывают всей картины. Если правотех-решение неудобно, сотрудники будут сопротивляться. Если на тесте они работали «под давлением», как только контроль ослабнет, все вернется к старой схеме.

Поэтому собирайте обратную связь у тех, кто реально пользуется решением. Лучше делать это через анонимные опросы — так сотрудники чаще говорят честно.

Как собирать обратную связь

  1. Проводите опросы трижды: в начале, в середине и в конце внедрения.
  2. Помните, что реакция на нововведения разная:
  • кто-то сначала сопротивляется, но позже меняет мнение;
  • кто-то сначала в восторге, а потом замечает неудобства.

Эта динамика важна: без нескольких замеров можно сделать неверные выводы.

Чек-лист вопросов для сбора обратной связи

Блок 1. Общее впечатление и удобство использования

Цель: оценить, насколько интуитивным и приятным в использовании является решение

Как бы вы оценили общую простоту использования системы по шкале от 1 до 10?

Сколько времени вам потребовалось, чтобы начать комфортно работать с системой?

Что было самым сложным при освоении нового инструмента?

Какой ваш самый частый «маршрут» или сценарий работы в системе? Опишите его.

Сталкивались ли вы с ситуациями, когда не могли найти нужную функцию или не понимали, что делать дальше? Опишите их.

Блок 2. Функциональность и эффективность

Цель: Понять, решает ли система поставленные задачи и помогает ли в работе

Какие из ваших рутинных задач система помогает выполнять быстрее?

Насколько сократилось время на выполнение типовых операций?

Есть ли в вашей работе процессы, которые система не охватывает, и вам по-прежнему приходится использовать старые методы?

Какие три возможности системы вы считаете самыми полезными?

Каких возможностей вам не хватает?

Стало ли проще коммуницировать с коллегами, например, оставлять правки, видеть историю изменений, работать над документом вместе?

Блок 3. Проблемы и боли

Цель: Выявить скрытые барьеры и недостатки

С какими техническими проблемами вы сталкиваетесь чаще всего?

Были ли случаи, когда система «теряла» данные или работала некорректно?

Что в текущем процессе работы с системой вызывает у вас больше всего раздражения?

Как вы сейчас обходите эти проблемы?

Блок 4. Обучение и поддержка

Цель: Оценить адекватность онбординга и поддержки

Было ли первоначальное обучение достаточным для комфортного старта?

Какой вид обучения был для вас наиболее полезным?

Достаточно ли легко получить помощь, если возникла проблема? 

Блок 5.  Итоговая оценка и рекомендации

Цель: Получить общую оценку и идеи для улучшения

По шкале от 1 до 10, насколько вы готовы рекомендовать эту систему своему коллеге?

Если бы у вас была возможность, вы бы вернулись к старому способу работы?

Что бы вы улучшили в системе в первую очередь?

Какой один совет вы бы дали руководителю проекта по внедрению?

Как соединить объективную и субъективную оценки

Ни объективные, ни субъективные данные не дают полной картины: получить реальную картину эффективности решения можно только соединив оба эти подхода. Вот пошаговая инструкция, как это сделать:

Шаг 1: параллельный сбор данных 

Собирайте объективные и субъективные данные одновременно. Это гарантирует, что вы оцениваете один и тот же опыт работы с системой.

Шаг 2: сопоставление и поиск корреляций

Сведите данные в единую таблицу или дашборд и ищите связи.

  • Пример 1: «Объективно: скорость выросла на 30%. Субъективно: юристы жалуются на возросшую нагрузку».
    • Вывод: Система действительно быстрая, но, возможно, неудобный интерфейс или сложная логика работы заставляют пользователей прилагать больше умственных усилий. Рост скорости есть, но ценой высокого стресса.
  • Пример 2: «Объективно: скорость не изменилась. Субъективно: сотрудники в восторге от нового инструмента».
    • Вывод: Система не дала количественного выигрыша, но повысила удовлетворенность трудом, возможно, за счет удобства или прозрачности процессов. Это ценное качество для удержания персонала.

Шаг 3: глубокий анализ противоречий

Самые ценные выводы часто скрываются там, где объективные и субъективные данные противоречат друг другу.

  • Задайте вопрос «почему?»: Если цифры хорошие, а отзывы плохие — проведите фокус-группу с вопросом: «Наши данные показывают рост скорости. Помогите нам понять, что мешает вам чувствовать этот прогресс?».
  • Проверьте гипотезы: Если отзывы хорошие, а цифры не растут — возможно, вы измеряете не те метрики. Спросите пользователей: «В чем вы видите главное преимущество системы?». Их ответ может указать на новую, более релевантную метрику для замера.

Шаг 4: приоритизация проблем и возможностей

Полученные выводы сведите в таблицу с приоритетами.

  • Высокий приоритет: Проблемы, которые подтверждаются и цифрами, и отзывами, например, система «вылетает» при работе с большими документами, и все на это жалуются;
  • Средний приоритет: Проблемы, которые сильно влияют либо на метрики, либо на удовлетворенность;
  • Низкий приоритет: Вопросы, которые не подтверждаются объективно и не являются массовыми.

Шаг 5: формирование целостного заключения и плана действий

Итоговый отчет об эффективности решения должен отвечать на вопросы:

  1. Что мы улучшили?
  2. ️Как к этому относятся пользователи?
  3. Почему есть расхождения в объективных и субъективных данных?
  4. Что мы делаем дальше? 

Оценка эффективности цифровых решений для юристов — это не опция, а необходимость 

Без нее компания рискует потратить значительные ресурсы впустую и столкнуться с сопротивлением персонала.

Ключ к успешной оценке — комплексный подход, сочетающий два метода:

  1. Объективная оценка по метрикам отвечает на вопрос «Что мы улучшили?». Она требует четкого определения изначальных целей и количественных показателей для точного замера результата.
  2. Субъективная оценка через обратную связь отвечает на вопрос «Как к этому относятся пользователи?». Анонимные опросы и интервью выявляют реальное принятие инструмента командой, его удобство и скрытые проблемы.

Главная цель — соединить эти два подхода. Алгоритм действий следующий: соберите данные параллельно, сопоставьте их в поиске корреляций и противоречий, проанализируйте расхождения и приоритезируйте выявленные проблемы.

Поделиться:

Все полезные материалы — в одном письме

Ежемесячный дайджест с обновлениями в юридической отрасли и цифровом праве.

Подписываясь на рассылку, вы даёте согласие на обработку персональных данных в соответствии с Политикой и получение информационных материалов АО «ПравоТех» в соответствии с Правилами.

Похожие статьи