Вопрос эксперту. Журнал «Методы менеджмента качества», 2019, № 11

Версия для печати

О применении интегральной количественной оценки результативности процессов

Просим вас высказать свое мнение по следующей коллизии, имевшей место во время внешнего аудита нашей СМК.

По итогам анализа представленного аудиторам в составе документов СМК «Отчета о функционировании СМК» ими было зафиксировано замечание: «Представленный «Отчет о функционировании СМК» не содержит информации об интегральной количественной оценке результативности процессов (п. 4.4.1). Без такой оценки трудно объективно оценить приоритеты «необходимых изменений» СМК, прежде всего в процессах (п. 9.3.3.b)».

Нам непонятно, о какой «интегральной количественной оценке результативности процессов» идет речь.

Во-первых, такого требования в ГОСТ Р ИСО 9001—2015 нет. Во-вторых, информация о результативности каждого процесса приведена в этом отчете, а приоритеты необходимых изменений в СМК мы определяем исходя из анализа всего набора показателей деятельности.

Поясните, пожалуйста, насколько обоснованно данное замечание. И если оно обоснованно, то каким образом можно измерить эту самую «интегральную количественную оценку результативности процессов».

Заранее большое спасибо!

Разберем вначале, насколько обоснованно данное замечание.

Ключ к ответу на этот вопрос мы найдем в положениях международных стандартов, являющихся руководящими указаниями по проведению аудитов систем менеджмента.

Ни в одном из них, включая в первую очередь [1] и [2], свидетельства аудита не классифицируются после их анализа как замечание: это либо свидетельство соответствия критериям аудита, либо свидетельство несоответствия. Например, в [1] однозначно заявлено: Свидетельства аудита следует оценить по отношению к критериям аудита, чтобы определить результаты аудита… которые могут свидетельствовать о соответствии или о несоответствии критериям аудита1 [1, п. 6.4.8]. СТАТУС же процитированного в письме заявления аудиторов как замечание в этих стандартах НЕ ОПРЕДЕЛЕН.

Да и в нашем ГОСТ Р 55568—2013 [3], определяющем порядок сертификации СМК, ни о каких замечаниях не говорится. Там применяются только следующие понятия:

значительное несоответствие [3, п. 3.13];

малозначительное несоответствие [3, п. 3.14];

уведомление [3, п. 3.15].

Конечно, нельзя не отметить, что ПЕРВОЕ впечатление от очевидно критического тона заявления подталкивает воспринять его как несоответствие п. 4.4.1 ГОСТ Р ИСО 9001—2015. Более того, как видно, в данной организации это замечание именно так и поняли — как эквивалент несоответствия, которое авторы письма считают необоснованным.

Очевидно, что именно по этой причине авторы решили обратиться за разъяснениями к экспертам.

И если причина действительно в этом, то авторы письма, безусловно, правы, высказывая сомнение в обоснованности ТАКОГО несоответствия, ибо никакого ТРЕБОВАНИЯ относительно обязательности проведения интегральной количественной оценки результативности процессов не только в п. 4.4.1, но и в других разделах ГОСТ Р ИСО 9001—2015 НЕ СОДЕРЖИТСЯ.

Вместе с тем нельзя не обратить внимание на то, что аудиторы ОФИЦИАЛЬНО и НЕ КВАЛИФИЦИРОВАЛИ свое суждение как несоответствие. Поэтому, если даже в организации и восприняли высказанное (и даже зафиксированное) заявление аудиторов как некое замечание, отнестись к нему следовало с самого начала лишь как к возможностям для улучшений или как к РЕКОМЕНДАЦИИ. Со всеми вытекающими из этого последствиями.

Это ответ автора на первый вопрос.

Теперь о том, существует ли интегральная количественная оценка результативности процессов.

Несмотря на отсутствие в последней редакции стандартов ISO серии 9000 толкования понятия интегральной количественной оценки результативности процессов и упоминания данного словосочетания где-либо в их текстах, нетрудно представить, ЧТО имели в виду аудиторы и почему рекомендовали использовать результаты такой оценки для определения приоритетных направлений изменений в СМК. Для этого следует вспомнить методику оценки результативности процессов СМК.

При выделении таких процессов организация перед каждым из них ставит соответствующие цели, степень достижения которых по истечении установленного периода времени и будет мерилом их результативности.

При этом не только не исключено, а довольно часто перед отдельными процессами ставят НЕСКОЛЬКО целей. Например, для процесса «Производство продукции» очевидно, что цели должны преследовать:

  • соблюдение сроков производства соответствующей продукции;

  • обеспечение соответствия объема произведенной продукции заказанному потребителем;

  • наличие в изготовленной продукции всех заданных потребителем характеристик.

По этой причине нередко, когда хотят оценить результативность подобных «многоцелевых» процессов в целом или «на круг», обобщенно, интегрально и т. п., организации вводят для себя некие сводные характеристики, которые могут в том числе называться как интегральная количественная оценка результативности процесса (назовем ее для сокращения ИКОРП).

Обычно расчет такой характеристики осуществляется следующим образом:

1. Для каждой i-й цели из совокупности N целей, установленных для какого-то процесса, определяют ее «весовую» характеристику Vi в долях единицы. Этот «вес» устанавливают экспертным путем для выражения условной значимости i-й цели в совокупности всех целей данного процесса. Сумма всех Vi равна единице.

2. Измеряют (если это возможно) или экспертно оценивают степень достижения каждой i-й цели в единообразной шкале (скажем, в 100-процентной), получая значение Si индивидуальной результативности процесса применительно к достижению i-й цели.

3. Рассчитывают ИКОРП процесса путем усреднения массива индивидуальных результативностей по достижению каждой i-й цели с учетом ее веса, а именно:

формула оценки ИКОРП

Но самое интересное и принципиально важное происходит потом, ибо определение для процесса ее ИКОРП — обычно далеко не конечная цель.

Для каждого процесса организация обычно устанавливает нижний предел приемлемости ИКОРП. Например, для процесса «Производство продукции» это может быть 95%. Это означает, что, когда ИКОРП этого процесса равна или более 95%, в организации считают, что данный процесс в целом (интегрально) результативен. Если менее 95% — процесс оценивается как нерезультативный, но опять же в целом (интегрально).

Очевидно, что, когда в результате оценки ИКОРП какие-то процессы получают свои ИКОРП ниже установленного порога приемлемости, такие процессы требуют отдельного рассмотрения на предмет повышения их ИКОРП. А действия по повышению ИКОРП таких нерезультативных в целом процессов вполне логично будет отнести к числу необходимых изменений в СМК. Ожидаемо также, что они будут квалифицированы организацией в качестве приоритетных, ибо современная СМК строится на процессном подходе и ее результативность напрямую определяется результативностью ее процессов.

Именно это, скорее всего, и имели в виду аудиторы.

ЗАКЛЮЧЕНИЕ

Первое. Аудиторы официально не отнесли сделанное ими заявление к категории несоответствий, поэтому вне зависимости от того, кто именно интерпретировал его как замечание, организации следовало рассматривать его лишь как рекомендацию и/или как одну из возможностей для улучшения процессов СМК и всей СМК в целом.

Второе. Использование интегральной количественной оценки результативности процессов является достаточно распространенной практикой в менеджменте процессов. В том числе этот показатель может быть использован для выявления приоритетных задач по внесению изменений в СМК, касающихся повышения результативности соответствующих процессов.

С этой точки зрения высказанная аудиторами рекомендация вполне рациональна и заслуживает рассмотрения.

НЕОБХОДИМОЕ ПОСЛЕСЛОВИЕ

Несмотря на несомненную пользу применения ИКОРП для анализа результативности процессов, автор считает необходимым обратить внимание на одну, с его точки зрения, весьма существенную особенность этого метода. Чтобы проиллюстрировать ее суть, он предлагает попробовать рассчитать ИКОРП для процесса «Покорение Эвереста». Очевидная цель такого процесса — обеспечить альпинистам восхождение на данную горную вершину, высота которой равна 8848 м над уровнем моря.

Так вот, допустим, что вы решили реализовать такой процесс, «ринулись в бой», но погода помешала, и последние 10 м вам «взять» не удалось. А именно победно установить флаг или встать хотя бы одной ногой на вершину Эвереста не получилось. И в итоге вам пришлось вернуться назад в базовый лагерь.

Как оценить результативность осуществленного процесса?

Если ее оценивать по ИКОРП, она составит:

(8848 – 10) м / 8848 м = 0,9989,

или, в 100-процентной шкале, 99,89%.

Организаторы экспедиции, ориентируясь на значение ИКОРП, в своем отчете вполне ожидаемо могут написать, что «процесс покорения Эвереста в целом был результативен», ведь до 100-процентного результата не хватило всего каких-то 0,11%, на что можно и не обращать внимания. Другими словами, организаторы восхождения, отталкиваясь от полученного значения ИКОРП, скорее всего, внесут предложение считать, что Эверест вами БЫЛ ПОКОРЕН.

Хотя НА САМОМ-ТО деле он ведь покорен НЕ БЫЛ!

Более того, Эверест НЕ МОЖЕТ считаться покоренным, даже если до вершины оставался всего ОДИН метр и ИКОРП была бы равна 0,9999, т. е. еще ближе к 100%. Процесс и в этом случае ФАКТИЧЕСКИ продемонстрировал себя как нерезультативный, хотя его организаторы с еще большей настойчивостью заявляли бы обратное.

Этот пример иллюстрирует следующее.

Если у процесса несколько целей, то ИКОРП, которая НИЖЕ 100%, ОДНОЗНАЧНО свидетельствует, что какие-то цели процесс достичь НЕ СМОГ. И неважно, на сколько процентов. ФАКТИЧЕСКИ эти установленные для процесса «вершины» ему «покорить» не удалось!

Если вернуться к приведенному выше примеру процесса «Изготовление продукции» и критерию приемлемости в 95%, то значение ИКОРП для этого процесса в 99,89% означало бы, что этот процесс результативен. Но НА САМОМ ДЕЛЕ то, что значение ИКОРП МЕНЬШЕ 100%, говорит нам, что какие-то цели В ПОЛНОМ ОБЪЕМЕ процессом достигнуты НЕ БЫЛИ. И, строго говоря, по этой причине считать его результативным НЕЛЬЗЯ, хотя методика ИКОРП позволяет заявлять обратное.

Так не лучше ли не заваривать кашу с весами и долями достигнутых целей, а характеризовать в подобных случаях результативность процесса прямым и недвусмысленным образом? Например, с помощью следующего выражения: «Из N поставленных целей данному процессу УДАЛОСЬ достичь столько-то, остальные цели в полном объеме достичь НЕ УДАЛОСЬ».

Тогда не надо будет собирать экспертов, «выбивать» из них «весовые коэффициенты», устанавливать уровень приемлемости ИКОРП и, наконец, никому не нужно будет ничего рассчитывать. Ибо при описанном выше подходе проблемные зоны в процессе, если они существуют, будут ОДНОЗНАЧНО выявлены. Притом на все 100%, поскольку они будут связаны с ОЧЕВИДНЫМ отсутствием результативности у механизмов достижения тех целей, которые процесс достичь НЕ СМОГ. А это и будет тем совершенно понятным потенциалом для улучшений, который следует рассматривать в качестве приоритетной задачи по внесению изменений в СМК, позволяющих повысить результативность данного процесса.

С учетом вышесказанного автор, поддерживая В ПРИНЦИПЕ рекомендацию аудиторов применять механизм интегральной количественной оценки результативности процессов, не может согласиться с их утверждением о том, что без нее трудно объективно оценить приоритеты «необходимых изменений» СМК. Во-первых, это МОЖНО сделать и БЕЗ предложенной ими ИКОРП, во-вторых, можно сделать проще, а в-третьих, — более ОБЪЕКТИВНО.

Насколько убедительны аргументы автора — решать организации.

--------------------------------

1 Цитата приведена в переводе автора.

СПИСОК ЛИТЕРАТУРЫ

1. ISO 19011:2018(Е). Guidelines for auditing management systems (Руководящие указания по проведению аудитов систем менеджмента).

2. ISO/IEC 17021-1:2015(E). Conformity assessment. Requirements for bodies providing audit and certification of management systems. Part 1: Requirements (Оценка соответствия. Требования к органам, осуществляющим аудит и сертификацию систем менеджмента. Часть 1. Требования).

3. ГОСТ Р 55568—2013. Оценка соответствия. Порядок сертификации систем менеджмента качества и систем экологического менеджмента.


Автор:  Качалов В.А.

Возврат к списку


Качалов В.А. О применении процедуры управления собственностью потребителей и поставщиков в соответствии с п. 8.5.3 ISO 9001:2015