Что должно улучшиться до расширения полномочий агента

Гладкая демонстрация подтверждает, что один маршрут однажды сработал. Она мало говорит о принятых результатах, нагрузке ревью, сбоях и восстановлении. Для более широких полномочий нужна история работы.

Я смотрю на четыре группы фактов. Точные пороги зависят от процесса, поэтому их стоит записать до начала пилота.

Результат

Начинаем с результата, ради которого появился эксперимент. Подойдут срок до принятого результата, размер очереди, скорость ответа, число завершенных случаев или часы, вернувшиеся ответственному человеку.

Сравнивать нужно похожую работу с реальной исходной точкой. Ускорение простых случаев способно скрыть растущую очередь исключений.

Качество

Считаем приемку с первого раза, переделки, пропущенные ошибки и серьезность каждого промаха. Правка оформления отличается от ошибки, которая затрагивает правило, данные, деньги или поведение продакшена.

Полезная единица измерения здесь принятый результат. Черновики и завершенные запуски остаются в диагностическом журнале.

Контроль

Проверяем запуск обязательных тестов, решения человека в нужной точке, сохраненные источники и работу условий остановки. Контроль, который люди регулярно обходят, дает слабую защиту.

Нагрузка на людей тоже измеряется. Время ревью, число согласований, доля исключений и повторные уточнения показывают, можно ли пользоваться процессом в обычной работе.

Восстановление относится сюда же. Команда должна понимать время отключения процесса, возврата прошлого состояния и разбора события по сохраненным фактам.

Экономика

Учитываем использование модели, вызовы инструментов, повторы, время ревью и переделки. Стоимость запуска считается легко и часто вводит в заблуждение. Стоимость принятого результата описывает работу, которую команда действительно может оставить.

Дешевая модель способна стать дорогой после повторов. Сильная модель тоже дает слабый результат внутри неясного процесса. Считать нужно полный цикл.

Добавить защитную метрику к каждой скорости

• время цикла и пропущенные ошибки
• принятый объем и переделки
• автономные действия и серьезность исключений
• стоимость модели и время ревью
• скорость согласования и нарушения правил
• завершенные задачи и полнота следа

Парные метрики усложняют локальную оптимизацию. Заодно они показывают место следующего изменения в модели, контексте, инструментах, проверках или процессе.

Принять одно явное решение

В конце пилота выбирается одно действие.

1. Расширить одну границу.
2. Сохранить текущую границу и собрать больше фактов.
3. Сузить или пересобрать работу.
4. Остановить эксперимент.

Записка о расширении должна назвать факты, новое полномочие, сохраненные ограничения, путь отката и условие следующего пересмотра. За один шаг меняется одна существенная граница. Иначе следующий результат не покажет, какое изменение имело значение.