Процесс майнинг бизнес процессы

Все о Process Mining от ProcessMi

Все о технологии Process Mining — кейсы, термины, решения и аналитика. Российский и зарубежный опыт от группы экспертов ProcessMi

Что такое process mining (процесс майнинг)? Подробное руководство

Обнаружить недостатки в деятельности компании – не самая простая задача, особенно, когда речь идет о крупном предприятии, где работают свыше 500 человек и ежедневно участвуют в выполнении большого количества операций в рамках бизнес-процессов. На эффективность и производительность могут влиять десятки факторов, обнаружить которые без применения технологий не представляется возможным. Применение process mining как инструмент для поиска “узких мест”, ошибок и намеренных нарушений регламента в рамках процесса дает отличные результаты.

Что такое process mining?

Process mining – технология, позволяющая детально понять суть процессов компании. C помощью специализированного ПО, интегрированного в ИТ-системы, process mining отражает, каким образом протекают процессы в действительности. ПО структурирует и визуализирует данные, что дает полное представление о недостатках в процессах. В результате предприятия могут точнее сфокусироваться на совершенствовании своей деятельности, ориентируясь на достоверную информацию.

Как это работает?

Инструменты process mining обнаруживают фактические модели процессов, опираясь на «сырые» данные из журналов событий. Иными словами, технология способна собрать информацию из разных ИС, используемых на предприятии (1С, IP-телефония, кадровые системы), и выстроить точную карту любого процесса.

Как работают инструменты process mining шаг за шагом:

1. Определение процесса, который предстоит оцифровать.
2. Определение ИС, в которых реализуется процесс.
3. Интеграция инструментов process mining.
4. Сбор данных из ИС и их последующая обработка.
5. Затем извлекается последовательность действий для каждого случая. На этом этапе, как правило, становится очевидно, что случаи отличаются друг от друга. Это возникает из-за ручных изменений или ошибок в процессе работы.
6. После извлечения последовательности действий инструменты process mining начинают объединять эти последовательности. По мере возникновения новых вариантов протекания процесса фактический процесс усложняется.
7. Анализ модели процесса.

Главные преимущества технологии process mining?

Снижение затрат. Автоматизируя процессы и устраняя ненужные шаги, компании могут снизить затраты. QPR, компания разработчик одноименной системы класса process mining, поделилась информацией: их клиенты Metsä Board снизили количество ошибок в счетах на оплату на 80% после внедрения технологии process mining.

Улучшение качества обслуживания клиентов. Благодаря выявлению “узких мест”, направлений совершенствования и оптимизации различных процессов, общее время производственного цикла сокращается. Это позволяет ускорить обслуживание клиентов и улучшить качество оказания услуг в целом. В результате растет удовлетворенность клиентов, а это положительно скажется на доходах и потребительской лояльности.

Преимущества соответствий требованиям. Хотя аудит – это трудоемкий и длительный процесс, быстрый анализ с помощью инструментов process mining может сократить его. Кроме того, PM может обнаруживать несоответствующие требованиям процессы и уведомлять компании о таких вопросах в режиме реального времени.

Каким образом process mining способствует автоматизации и RPA?

Process mining обеспечивает наглядное, основанное на данных представление процессов. Это позволяет компаниям:

• сосредоточить усилия на автоматизации и совершенствовании процессов;
• существенно ускорить автоматизацию, получив необходимые данные;
• рассчитать преимущества автоматизации.

Команды, ответственные за RPA, как и любая инициативная группа по автоматизации, должны четко понимать суть автоматизируемого процесса. Обычно это достигается путем наблюдения за работой сотрудников и проведения опросов. Но эти методы дают лишь поверхностное представление и отнимают много времени как у специалистов в области автоматизации, так и у сотрудников. Кроме того, при опросе сотрудники не могут вспомнить все до мельчайших подробностей. Программное обеспечение для интеллектуального анализа предоставляет детальный обзор всех этапов процесса и позволяет предпринимать необходимые шаги на основе полученных данных. После завершения автоматизации инструменты process mining могут осуществлять мониторинг производительности, чтобы оценить степень улучшений и обеспечить корректную работу автоматизированного процесса. QPR заявляет, что process mining может повысить темпы автоматизации процессов на 50%.

На что следует обратить внимание при выборе поставщика технологии process mining?

На сегодняшний день инструменты process mining могут работать с различными системами (ERP-системы, CRM-приложения и т.д.) и могут быть интегрированы в любую существующую ИТ-инфраструктуру. При выборе поставщика учитывайте следующие возможности:

• Мониторинг журналов событий для выявления реальных бизнес-процессов.
• Проведение тестов на соответствие требованиям для выявления аномалий и отклонений.
• Предоставление данных о том, какие сотрудники отклоняются от стандартных процедур.
• Интеграция с существующим программным обеспечением компании и ИТ-инфраструктурой.

Ниже представлены компании разработчики систем класса process mining:

Сейчас, когда мировая экономика переживает непростые времена из-за пандемии коронавируса, компании более активно включились в процесс цифровой трансформации для того, чтобы отстоять свои позиции на рынке. Process mining, по мнению экспертов, станет более востребован в вопросах оптимизации бизнес-процессов для организаций разных форм собственности и сфер экономической деятельности.

Источник

Process Mining как эволюция «научного управления» — и наша открытая библиотека для анализа

Process Mining – это мост между Data Mining и Process Management. Это подход к извлечению, анализу и оптимизации процессов на основе данных из журналов событий (event logs), доступных в информационных системах. Мы разработали и открыли библиотеку, позволяющую быстро и достаточно просто обрабатывать данные информационных систем производства, чтобы находить узкие места и точки неэффективности.

Первой научной теорией, целью которой был анализ и оптимизация рабочих процессов, является «Научное управление». На рубеже XIX – XX веков усилиями американского исследователя Фредерика Тейлора и его единомышленников была создана теория классического менеджмента. Она основывается на положении, что существует «наилучший способ» выполнения каждой конкретной работы, и проблема низкой производительности может быть решена путем использования метода, названного «научным хронометрированием». Суть метода заключается в разделении работы на последовательность элементарных операций, которые хронометрируются и фиксируются при участии рабочих. В итоге это позволяет получить точную информацию о необходимых затратах времени на выполнение той или иной работы.

Таким образом, более 120 лет назад таким простым шагом был дан старт научному подходу к исследованию процессов. С развитием общества и технологий эволюционируют и совершенствуются подходы к анализу и оптимизации процессов: происходит переход к «Массовому производству», в основе которого лежит специализация с возможностями оптимизации сборки, компьютеризации и анализа статистки.

Современный Process Mining — это эволюция этого подхода с учётом больших данных.

Эволюция

В конце 80-х всем известный Таичи Оно совершил прорыв, разработав и внедрив в Toyota подход, именуемый «Бережливое производство». В основе подхода лежит постоянная работа со всеми типами потерь, которые возникают в процессе. Устранение потерь априори увеличивает эффективность.

Следующим качественным шагом в области оптимизации процессов является разработка и внедрение инструмента «цикл DMAIC», и использование статистических методов управления процессами Six sigma, которые также не нуждаются в представлении. Ключевыми характеристиками этапа являются – ввод КПЭ и работа с отклонениями, фокус на клиента и обеспечение непрерывного улучшения процессов.

Эти подходы, которые хорошо работали еще 5-10 лет назад и опирались на такие «ручные» инструменты как гемба, хронометраж, опросы клиентов и экспертов, дизайн-сессии, сейчас, в эпоху постоянного усложнения и ускорения процессов, не дают полной картины.

Сегодня повсеместное развитие цифровых технологий, роботизация и автоматизация, интернет вещей, глобальные сети и массовая цифровизация дает основу для качественно нового этапа исследования и оптимизации процессов, реализации возможностей ML и AI.
Таким инструментом AI-трансформации является Process Mining.

Для чего именно нужен такой подход?

Изобретенная профессором Вилом ван дер Аалстом в начале прошлого десятилетия, технология Process Mining стала быстро набирать популярность как в научной, так и в корпоративной среде. Сегодня в условиях роста объема информации и скорости изменений в бизнесе она приходит на смену классическим методам описания и ручного моделирования процессов.

Восстанавливая схемы бизнес-процессов в том виде, как они протекают на самом деле, Process Mining позволяет получить инсайты – объективные знания, необходимые для устранения узких мест (bottlenecks), оптимизации несовершенств и улучшения эффективности деятельности организации. Тем самым, применяя инструментарий Process Mining, компания решает и вопросы соответствия, и вопросы производительности процессов.

Визуализация инсайтов (узкие горлышки, возвраты, зацикленности, большая вариативность) на графе процесса:

Одним из основных драйверов современного бизнеса является цифровая трансформация. Ее пререквизитами, или обязательными условиями, традиционно считаются прозрачность и открытость, достичь которых помогает непосредственно Process Mining. По сути, он делает «рентген» протекающих в компании процессов, предоставляя исчерпывающую, а главное достоверную картину всей цепочки событий, а не отдельных шагов, тем самым устраняя барьеры между различными департаментами и отделами. Полученная оценка текущей операционной эффективности компании является объективной, и потому может быть использована для выявления возможностей оптимизации, отслеживания изменений и быстрого реагирования. Process Mining, стирая организационные границы, позволяет получить инсайты для любого уровня детализации. Ценность этих инсайтов заключается в том, что они дают компании основание и направление для дальнейших действий по совершенствованию и цифровизации процессов во всех подразделениях.

Таким образом, Process Mining дает руководителям-владельцам процессов полную аналитику, чтобы на объективных данных принимать управленческие решения по улучшению процесса.

Как проходит внедрение

Основу для применения Process Mining формируют данные журналов событий (event logs). Информационные системы автоматически регистрируют все действия (activities), выполненные в ходе одного процесса. В дополнение к деятельности, журналы событий содержат временные метки (timestamps) начала и конца, уникальный идентификационный номер (case ID) и прочие атрибуты события: исполнители операций, текст переписки, решение по сделке, территориальные признаки и так далее.

Лог-файлы, обеспечивая достоверную и детализированную информацию о ходе исполнения бизнес-процесса, делают его более прозрачным. С помощью этой информации можно визуализировать и проанализировать модель реального, а не предполагаемого процесса. Это важно, потому что именно этот разрыв делает Process Mining очень эффективным для крупных компаний. Однако, он не ограничивается восстановлением моделей бизнес-процессов из лог-файлов. Сопоставляя данные журналов и схемы процессов, Process Mining позволяет выявить отклонения и узкие места в процессе, изучить длительность выполнения каждой его стадии, обнаружить лишние или пропущенные этапы, а также определить потенциальные способы оптимизации и, следовательно, повышения эффективности.

Одна из ключевых задач — извлечение инсайтов из имеющихся в корпоративных ИТ-системах данных. Имея цифровую информацию обо всех действиях, выполненных в рамках процесса, с помощью технологии Process Mining компания способна воспроизвести фактически исполняемый бизнес-процесс. А построение его визуальной схемы позволяет не только получить полное представление о цепочке событий, но и исследовать актуальное состояние процесса на любом уровне детализации. Анализируя модель реконструированного процесса вместе с данными о длительности и особенностях его исполнения, можно выявить задержки по времени реализации отдельных действий, взаимосвязи между пользователями, зацикленности в процессе, неэффективных исполнителей, а также скрытые недостатки и проблемы в процессах, из-за которых может существенно снижаться производительность целой организации. Помимо этого, Process Mining позволяет увидеть процесс в динамике, а это означает возможность отследить изменения, происходящие в результате введения тех или иных мер по усовершенствованию. Итак, Process Mining играет ключевую роль в обеспечении ценной и объективной информацией, необходимой для повышения эффективности решений по оптимизации бизнес-процессов. Основными преимуществами процессной ориентации анализа являются следующие:

1. Увеличение производительности;
2. Более быстрое и эффективное сотрудничество;
3. Снижение времени на административную работу;
4. Прозрачность;
5. Сокращение затрат.

Все вместе это обеспечивает стабильный рост компании.

Безусловно, Process Mining представляет большую ценность для владельцев бизнес-процессов, поскольку выявляет нежелательные изменения и отклонения, узкие места и другие риски в процессе, показывая тем самым, где именно в системе имеются проблемы и уязвимости и как они влияют на общую производительность. Однако гораздо интереснее вопрос «Почему?» – в чем причина этих проблем и отклонений? Ответить на этот вопрос может помочь машинное обучение.

Что сделал Сбер?

Для реализации интеллектуального анализа процессов команда R&D Process Mining Сбера разработала специальную библиотеку.

Python-библиотека включает все необходимые методы для анализа и теперь они легко доступны для экспериментов. Первая версия Open Source-решения включает функции, которые позволяют:

• реконструировать графы процессов различными алгоритмами;
• конвертировать графы процессов в bpmn-нотацию;
• рассчитывать различные процессные метрики;
• делать кластеризацию и находить основные пути процессов.
• Используя классические в машинном обучении алгоритмы кластеризации, например k-means, можно определить основные пути процесса без эксперта, то есть избежать необходимости привлечения большой команды экспертов для верификации результатов процессной аналитики. Кластеризация также позволяет выявить сегменты событий, которые могут быть сгруппированы и затем использованы в качестве дополнительного атрибута для анализа и предсказания отдельных характеристик в конкретных кластерах.
• и уникальная разработка Сбера — автоматический поиск неэффективностей. Такие алгоритмы машинного обучения, как LOF, Isolation Forest и другие, могут дополнить проверку соответствия в Process Mining посредством выявления аномалий, то есть подозрительных переходов, отклонений в процессе, влияющих непосредственно на его эффективность. В частности, можно вычислить мошеннические операции или определить неэффективных участников процесса. В дальнейшем можно создать прогностические модели, которые помогут отслеживать новые выбросы или узкие места заранее.

Выявление основных путей процесса:

Тепловая карта пропускной способности процесса:

График зависимости переменных:

Автоматический поиск инсайтов:

Алгоритмы машинного обучения используются в библиотеке для реализации автоматического анализа первопричин (Root Cause Analysis), в результате которого выявляются критические слабости процесса и определяются отправные точки для его оптимизации. Кроме того, Root Cause Analysis позволяет установить наиболее вероятные факторы влияния и причины проблем, то есть помогает ответить на вопросы, когда и почему возникли отклонения в процессе.

Таким образом, Process Mining – это, прежде всего, визуализация и анализ бизнес-процессов. На основе логов, хранящихся в информационных системах, можно восстановить фактическую (визуальную) схему исполнения процесса в том виде, как он проходит на самом деле. Машинное обучение, в свою очередь, позволяет определить root causes и тем самым понять, почему процесс протекает именно таким образом.

Как мы применяем Process Mining сами

У нас больше 12 тысяч офисов по России, дочерние организации и банки за пределами РФ, компании экосистемы. Process Mining позволяет «дотянуться» до процессов в территориальных банках, до коллег из Sberbank International: уже есть опыт, мы посмотрели процессы Казахстана, Беларуси; до наших дочерних обществ: СберЛизинг, СберФакторинг и др.

Использование технологии мы начинали в 2019 году. Первым и очень результативным end-2-end исследованием был анализ процесса кредитования. Кредитование — это огромный кросс-функциональный процесс, в котором на тот момент было задействовано несколько тысяч сотрудников и несколько автоматизированных систем.

Мы собрали и склеили event-log’и из нескольких систем, благодаря чему получили детальные сведения о длительности процесса на каждом этапе, реконструировали реальные варианты путей процесса, сравнили с нормативными. Процесс оказался перегружен разнообразием путей и вариаций прохождения отдельных этапов, петлями, возвратами с этапа на этап, а это все потери времени и в конечном счете денег. Нашли неэффективности, зацикливания, пинг-понг между исполнителями и возвраты заявок. Построили тепловую карту производительности по территориям, которая показала различия в организации процесса и скорости принятия решения по заявке.

Ценным источником информации стали комментарии исполнителей. ML-модуль по анализу текстов позволил автоматически, без обучающей выборки, кластеризовать тексты переписки и получить ТОП причин, почему заявка возвращается на предыдущие этапы, почему процесс протекает медленно.

Все это дало нам ответы, где нужно «полечить» процесс.

Process Mining эффективен на любых процессах, которые оставляют цифровой след: будь то бизнес-процесс «выдача кредита» или внутренний, обеспечивающий «согласование хозяйственного договора».

Большое распространение в Сбере технология приобрела в цифровом аудите. Для внутреннего аудита анализ процессов – это предметная область. Process Mining позволяет получать совершенно другого рода качественные результаты, поскольку:

1. Используются цифровые данные по 100% экземпляров процессов. Соответственно, на выходе получается 100% объективная картинка, с которой трудно спорить: владельцы процесса всегда могут верифицировать данные. С точки зрения аудита, такой подход очень хороший.
2. Алгоритмы дают такие инсайты, которые стандартными аудиторскими методами не получить.
3. Большой плюс digital-технологии – это бесконтактность, в условиях пандемии нет других вариантов аудита. Дает возможность выполнить план проверок и работать, когда все находятся в условиях дистанционного труда.

Python-библиотека SberPM доступна на GitHub по ссылке. Каждый Data Scientist может установить решение Сбера и начинать анализ процессов с технологией Process Mining.

Источник