V1: Качество, как фактор успеха предприятия в условиях рыночной экономики

V1:Рекомендации международных стандартов ИСО 9000 по обеспечению качества

Эксперт - специалист (профессионал), оценки и суждения которого ЛПР считает полезным учитывать при принятии решений.

Дадим некоторые пояснения. Естественно, что мнения начинающего терапевта и всемирно известного кардиолога несопоставимы по уровню оценки состояния больного и рекомендаций по его лечению в достаточно сложной ситуации. Однако если больному необходима экстренная помощь, а специалист высокого профессионального уровня по той или иной причине не может быть приглашен, то решение будет принимать тот, кто окажется рядом, даже если он и менее квалифицирован. В этой ситуации в роли эксперта оказывается именно он.

Таким образом, формирование состава экспертной комиссии зависит от:

· конкретной ситуации принятия решения;

· возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;

· возможностей специалистов принять участие в работе экспертной комиссии.

Необходимо также отметить, что в настоящее время не существует общепринятой единой методики оценки качеств эксперта, поэтому мнения о профессиональном уровне специалиста нередко существенно расходятся. В реальной практике ЛПР стремится либо сам составить мнение о профессиональном уровне кандидата в эксперты, либо доверяет это тем, кому поручена организация экспертизы. Поэтому при отсутствии возможностей и опыта организации и проведения экспертиз имеет смысл обращаться к услугам независимых центров экспертизы, информационно-аналитическим центров и т.п., основными задачами которых являются анализ ситуации, оценка объектов экспертизы, подготовка и оценка альтернативных вариантов решений.

При оценке качеств эксперта необходимо учитывать его профессиональные знания, опыт деятельности и эффективность работы в составе экспертных комиссий. Существует много способов оценки качеств эксперта, каждый из которых может быть удачно использован в том или ином конкретном случае. Они подразделяются на три основных группы:

· априорные;

· апостериорные;

· тестовые.

Априорными называются методы оценки качеств эксперта, при которых не используется информация о результатах его участия в предшествовавших экспертизах.

Апостериорными называются методы оценки качеств эксперта, основанные на информации о результатах его участия в предыдущих экспертизах.

Тестовыми являются методы оценки качеств эксперта, предполагающие проведение специального испытания.

Априорные методы оценки эксперта. К этой группе относятся, прежде всего, наиболее распространенные методы самооценивания, суть которых заключается в том, что эксперт сам дает оценку своим качествам. При этом могут использоваться следующие способы:

· самооценка по одной из балльных шкал (3-х, 5-ти, 10-ти или 100-балльной);

· самооценка с использованием вербально-числовых шкал, которые, наряду с численными значениями градаций, содержат их качественное описание;

· самооценка по вербальной шкале, при которой эксперт дает словесную оценку своим знаниям и опыту, используя для этого качественные градации заранее разработанной шкалы;

· самооценка при помощи дифференциального метода, при котором эксперт оценивает свои качества, используя два основных частных критерия: критерий, характеризующий его знакомство с основными источниками информации в данной области (например, специальные отечественные и зарубежные периодические издания, патентная информация, внутрифирменная информация и т.п.) и критерий, характеризующий знакомство с объектом экспертизы (например, знание отраслевой специфики, конкретного предприятия, знакомство с образцами продукции и т.д.).

В этом случае комплексная самооценка эксперта рассчитывается по формуле:

К к = (К и + ß К з) / 2,

где К к - комплексная самооценка эксперта, К и - коэффициент информированности (в долях единицы), К з - коэффициент знакомства с проблемой, ß - весовой коэффициент.

Более подробно вопросы измерения показателей и типы шкал будут рассмотрены в следующей теме.

Точность методов самооценки довольно спорна. С одной стороны, никто лучше самого эксперта не представляет всю совокупность знаний и опыта, которыми он обладает. С другой стороны, человек больше всего ошибается, оценивая свои собственные возможности.

К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использование которых предполагает, что эксперты оценивают друг друга. Наиболее распространенным из них является метод списка экспертов. Процедура его применения заключается в следующем. Каждый из экспертов составляет список специалистов, которых он считает компетентными в данной области. Затем на основе этих списков рассчитывают коэффициент компетентности эксперта - отношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков.

К числу априорных методов оценки качеств эксперта относится также наиболее распространенный документационный или анкетный метод. В нем для оценки определенных качеств специалиста предлагается пользоваться объективными характеристиками, имеющими документальное подтверждение, например, такими, как: стаж работы, ученая степень, ученое звание, занимаемая должность, количество публикаций, индекс цитирования и т.п. При этом следует иметь в виду, что основываясь только на этих объективных факторах невозможно адекватно оценить пригодность и полезность участия эксперта в работе конкретной экспертной группы.

Апостериорные методы оценки. Эти методы предполагают при оценке качеств эксперта использование результатов его участия в предшествовавших опросах. С их помощью в определенной степени могут быть выявлены такие качества как конформизм, конъюнктурность, компетентность эксперта. В частности, для оценки уровня компетентности специалиста может быть применен метод парных сравнений. Его суть заключается в том, что эксперту последовательно предъявляются пары сравниваемых объектов оценки и он выбирает из каждой пары наиболее предпочтительный с его точки зрения объект. После предъявления всех пар у аналитиков имеется информация о сравнительных предпочтениях эксперта в отношении оцениваемых объектов. При этом может возникнуть ситуация, когда при непосредственном сравнении первый объект предпочтительней второго, второй предпочтительней третьего, но, в то же время, третий объект оказывается предпочтительней первого, т.е. возникает очевидное противоречие. В реальной практике такие противоречия (конечно, в более длинных цепочках сравнения) случаются не так уж редко. Естественно, чем меньше противоречий в оценках эксперта, тем более обоснована его компетентность.

Апостериорный метод предполагает также оценку достоверности суждений эксперта. В качестве критерия, позволяющего оценить такую достоверность, используется коэффициент достоверности - относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям. При использовании данного метода рассчитывают также среднее значение коэффициента достоверности экспертной комиссии и сравнивают с ним индивидуальные коэффициенты экспертов.

Еще одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки.Этот метод основан на расчете коэффициента отклонения - Ко.

К oi = D oi / D max ,

где К oi - коэффициент отклонения суждений i-го эксперта, D oi - отклонение индивидуальной оценки i-го эксперта от результирующей оценки, D max - максимально возможное отклонение оценки эксперта от результирующей оценки.

Тестовые методы оценки качеств эксперта. Их суть - выполнение испытуемым экспертом некоторого заранее подготовленного задания. Эти методы достаточно хорошо известны, т.к. широко используются для определения профессиональной пригодности специалистов в различных областях деятельности. Достоинство этих способов состоит в том, что они позволяют не только установить наличие у эксперта определенного профессионального уровня, но и выявить навыки и опыт, необходимые для продуктивного участия в работе экспертной комиссии. Необходимо, однако, помнить, что проведение тестовых экспериментов требует соблюдения следующих важных правил:

· тест должен быть разработан специально под конкретные объекты экспертной оценки;

· истинные значения оцениваемых параметров (правильные ответы) должны быть известны аналитической группе, проводящей испытание, но неизвестны испытуемому эксперту;

· должна быть разработана шкала для определения точности оценок, даваемым экспертом;

· вероятность случайного угадывания истинной оценки должна быть очень мала.

Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Для этого проводят несколько тестовых экспериментов, приближенных к условиям реальной экспертизы. При этом интервал времени между ними должен быть достаточным для того, чтобы испытуемый успел забыть результаты предыдущего. После чего сравнивают между собой полученные оценки. Более стабильные (воспроизводимые) оценки эксперта свидетельствуют как о большей его профессиональной компетентности, так и о большей пригодности для участия в экспертной комиссии.

Страница 1 из 2

Качество есть качество" . Качество в отличие от количества не измеряют, а оценивают. Существуют две формы оценки качества: лингвистическая и количественная. В первом случае качество определяют словами: например, "качество высокое", "среднее", "низкое" и т.д. Во втором случае качество оценивают по некоторой условной шкале числом к (0 < к < м, где м - высший балл в числовой оценке качества). Например, 5 как в российской или 100 как в английской школах.

Для оценки качества привлекаются эксперты. Мы к такой оценке качества уже прибегали, когда пытались характеризовать параметры пожарного ведра (см. рис. 3.31 и 3.32). Экспертной оценке качества могут быть подвергнуты товары и услуги, проекты и законы, знания и квалификация, выступления фигуристов, гимнастов или вокалистов и многое другое. Как ни ругают качественные, а не количественные оценки в некоторых видах спорта, вспоминая при этом скандалы на соревнованиях, экспертные оценки жюри остаются единственным мерилом выступления многих спортсменов. Не говоря уже о людях искусства и о различных творческих конкурсах...

В повседневной жизни при принятии решения можно исходить из лингвистической оценки качества: мы, например, покупаем хороший чай или газонокосилку высокого качества и т. д. Однако есть такие задачи, в решении которых лучше руководствоваться количественной оценкой качества. Кроме того, обычно лингвистические оценки строятся на основе экспертных количественных оценок. Так, качество выпускника английского университета и достоинство диплома, который он получает, определяется по следующей шкале, представленной в табл. 4.11.

Таблица 4.11. Шкала оценки качества диплома

Независимо от объекта, качество которого подлежит экспертной оценке, методика ее получения в основе своей одинакова.

На рис. 4.29 показана оценка качеств некоторой рукописи книги по Mathcad, сделанная по пятибалльной шкале разными рецензентами (таблица Excel, внедренная в Mathcad-документ), проиллюстрированная двумя диаграммами, глядя на которые можно сделать лишь один вывод о том, что качества отдельных семи сторон рукописи более соответствуют друг другу, чем качества отдельных пяти рецензентов.

Но оценку качества можно делать не только качественно (прошу прощения за тавтологию), но и количественно, цифрами. Для этого рассмотрим задачу оценки деловых качеств руководителя (менеджера). Для оценки потребуются модель качества менеджера, эксперты и математическая обработка результатов работы экспертов.

Модель качества специалиста может быть представлена в виде некоторого набора важнейших качественных параметров (качеств), характеризующих его профессиональный уровень, личностные, деловые качества и предопределяющих успешную работу в рассматриваемой сфере деятельности.

Допустим, что этот набор включает следующие качества:

Уровень и качество образования, опыт практической работы;

Эрудицию, знания и умения в своей и смежных сферах деятельности;

Обучаемость и способность обучать;

Культурный уровень, моральные стандарты;

Физическое и психологическое здоровье, возраст;

Характер, отношение к окружающим;

Умение руководить;

Амбициозность, стремление к лидерству; - способность к риску;

Динамизм, способность оценивать и принимать изменения внутренней и внешней среды.

Рис. 4.29. Графическое сопоставление качеств рукописи и рецензентов

Пред. -

На основном этапе, предназначенном для получения результатов экспертных оценок, применяются две подгруппы методов: 1) экс­пертной оценки характеристик товаров и 2) опроса экспертов для вы­явления их суждений и мнений.

Методы экспертной оценки характеристик товаров. Поскольку одним из оснований для проведения экспертизы является невозможность или неэкономичность применения объективных методов оценки (изме-

рительного, регистрационного, расчетного), результаты экспертных оце­нок, отражающих суждения и мнения экспертов, обычно выражаются в форме описаний или условных единиц (баллов, рангов и т. п.). В связи с этим наиболее распространенной сферой применения методов эксперт­ной оценки товаров являются такие подвиды товароведной экспертизы, как идентификационная экспертиза и экспертиза по качеству. Количест­венная и документальная экспертизы могут быть проведены и объектив­ными методами путем использования средств измерений или пересчета, а также методом сравнительного анализа документов.

Идентификационная экспертиза и экспертиза по качеству осуществ­ляются путем определения показателей качества. Определение экспер­тами количественной характеристики показателей без применения объ­ективных методов основывается на мыслительном исследовании этих показателей с использованием шкал порядка или наименований, а в не­которых случаях - шкал разницы и отношений. При этом эксперты мо­гут оценивать единичные и/или комплексные показатели качества, при­меняя дифференцированный и комплексный методы.

Методы экспертной оценки показателей качества товаров - это методы определения действительных значений единичных и ком­плексных показателей качества.

Данные методы предназначены для определения значений показа­телей качества расчетным или эвристическим путем в случаях, когда применение измерительных методов невозможно или неэкономично из-за чрезмерных расходов или длительного времени испытаний. На­пример, при определении вкуса и запаха пищевых продуктов исполь­зуются только органолептические методы. Измерительные методы не дают точной и надежной оценки, несмотря на повышенные затраты.

Для дифференциальной и комплексной оценки образцов, значи­тельно отличающихся по качеству, рекомендуется определять значе­ние единичного показателя Р дифференциальным методом.

Дифференциальный метод оценки показателей качества - метод, основанный на сравнении действительных значений единич­ных показателей с базовыми значениями тех же показателей:

§ 5. Экспертные методы

При дифференциальном методе фактически определяется уровень качества, если за базовое значение выбрано регламентированное нор­мативным документом значение показателя качества или базовый об­разец. При этом эксперт должен дать ответ: уровень качества по ис­следуемому показателю выше или ниже либо равен базовому образцу.

Сфера применения дифференциального метода выходит далеко за рамки только экспертной оценки. Он находит широкое применение и в научных исследованиях, и при оценке специалистами конкуренто­способности товаров. Действительные значения единичных показате­лей могут быть получены измерительным методом, а затем рассчита­ны и проанализированы специалистами или экспертами.

Вместе с тем использование данного метода при экспертной оценке имеет определенные особенности.

Оценка единичных показателей качества экспертами начинается с определения допустимых интервалов их измерения (р. макс: /> f MHH) р. макс - наилучшее значение показателя, превышение которого нецелесообразно или невозможно. Принципы назначения максимально допустимого зна­чения показателя (р. макс) зависят от целей оценки качества. При этом не­обходимо, чтобы для всех показателей этот принцип был единым.

Повышение надежности экспертных оценок достигается путем членения сложных операций на простые, которые составляют много­ступенчатую процедуру оценки допустимых значений показателя. Переход к каждой последующей ступени совершается после выработ­ки согласованных решений на предыдущей ступени.

Экспертная процедура определения допустимых значений показа­телей качества состоит из следующих операций:

Выдача экспертам анкет пояснительной записки, в которой пере­
числены показатели качества и описаны принципы выбора допус­
тимых значений показателей;

Заполнение экспертами анкет и указание конкретных моделей про­
дукции, значения которых они считают предельно допустимыми;

Ознакомление каждого эксперта с оценками, назначенными дру­
гими экспертами, и их обсуждение;

Проведение второго (иногда третьего и четвертого) тура анкети­
рования;

» усреднение результатов оценки.

При значительном разбросе мнений проводится дополнительный тур голосования. Значение показателя принимается за максимальное, если за него подано не менее 70% голосов. При невыполнении этого условия за максимально допустимое значение принимается среднее из 50% наибольших значений р. макс, за минимальное допустимое значе­ние - среднее из 50% наименьших значений Р г мин. Полученные зна­чения используются экспертами при определении оценок показателей качества К.

Для установления экспертами вида зависимостей (/) между зна­чениями показателей P t и их оценками К,- нередко используется ме­тод главных точек. Необходимость его применения обусловлена тем, что разделение процедуры оценки на несколько этапов упро­щает работу эксперта и позволяет ему дать оценки некоторым ха­рактерным точкам, исходя из которых можно построить модель искомой величины.

Комплексный метод оценки показателей качества - метод, основанный на установлении наиболее значимых для оценки качества единичных показателей, определении их действительного и средне­взвешенного значений комплексного показателя с учетом коэффици­ентов весомости.

Расчет комплексного показателя качества (Q) осуществляется по формуле

где Р\,Рг, ■■■iPn - действительные значения показателей качества;

К в ь К„2, ..., К в „ - коэффициенты весомости этих показателей.

Применение комплексного метода требует обоснованного выбора номенклатуры показателей качества товаров.

Глава 4. Методы товарной экспертизы]

§ 5. Экспертные методы

Эти показатели подразделяются на оценочные, идентификацион­ные и ограничительные.

Оценочные показатели - показатели потребительских свойств, обладающие способностью удовлетворять основные потребности.

Данные показатели используют при необходимости оценки уров­ня качества и конкурентоспособности товаров, а также для позицио­нирования их на определенном сегменте рынка и проведении товаро­ведной экспертизы по качеству.

Идентификационные показатели - показатели потребитель­ских свойств, предназначенные для систематизации товаров и отнесе­ния их к определенным классификационным группировкам.

Такие показатели чаще применяются при проведении идентифи­кационной экспертизы.

Ограничительные показатели - показатели, предназначенные для ограничения установленных требований.

Выбор этих показателей определяется целями товарной эксперти­зы, а ограничения устанавливаются соответствующими нормативны­ми методами. Достаточно часто действительные значения ограничи­тельных показателей качества получают измерительными методами, а в задачи экспертов входит лишь сравнение результатов испытаний с установленными требованиями. При этом коэффициенты весомости комплекса испытуемых показателей не учитываются.

Ограничительные показатели находят широкое применение при обязательной сертификации по показателям безопасности, а также при санитарно-эпидемиологической, ветеринарной, фитосанитарной и экологической экспертизах. В ряде случаев они могут применяться и з таких разновидностях товароведной экспертизы, как идентификаци-энная и по качеству. Например, при установлении принадлежности шкогольного напитка к водке используют следующие ограничитель­ные показатели: минимально допустимое содержание этилового спирта и максимально допустимое содержание сивушных масел и ме-гилового спирта.

Выбор номенклатуры показателей качества товаров и их эксперт-гая оценка могут осуществляться двумя методами: экспресс-методом i методом движения по уровням без подготовки и с подготовкой.

Экспресс-методы комплексной оценки качества образцов това->ов основаны на определении комплексного показателя качества путем

анализа значений отдельных единичных показателей и внешнего вида без предварительной их оценки и с учетом коэффициентов весомости.

При использовании этих методов необходимо учесть, что предель­ным количеством оцениваемых показателей даже для высококвалифи­цированного эксперта является 7-9 показателей, расположенных на од­ном уровне иерархии и составляющих достаточно однородную группу. Кроме того, эксперты должны учитывать важность отдельных показа­телей с помощью коэффициентов весомости, взаимосвязь между ними, а также рассматривать качество товара как систему.

Метод движения по уровням без подготовки представляет со­бой комплекс операций, осуществляемых последовательно, с посте­пенным повышением уровня. При этом анализ начинается от нижне­го уровня дерева показателей. С учетом значения показателей нижнего уровня эксперт дает оценку показателям вышележащего уровня. Эти операции повторяются с повышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.

Метод движения по уровням с подготовкой основан на предва­рительном определении экспертами коэффициентов весомости пока­зателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения коэффициентов весомости и оценки единичных показателей. Процедура определения комплекс­ных показателей аналогична процедуре по методу движения по уров­ням без подготовки.

Метод главных точек в зависимости от их числа имеет несколь­ко разновидностей.

Метод трех главных точек - метод, основанный на разделении значений показателей Р, на максимальное, минимальное и среднее значения и определении значений оценок К,- в этих точках. Интервал шкалы между максимальной и минимальной точками задается заранее (шкалы 0-1 или 0-10). В задачу эксперта входит также определение тенденции зависимости в интервале между главными точками и по­строение графика. После этого от графической зависимости можно перейти к аналитической формуле для расчета оценок показателя ка­чества К,. Данный метод позволяет разработать лишь приближенную модель оценки К,.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Метод семи главных точек - метод оценки по семибалльной шка­ле определения показателей, значения которых установлены экспери­ментальным или расчетным путем, а также органолептическим методом.

Семибалльная шкала является равномерной, т. е. при переходе от одного класса качества к другому оценка меняется на один балл. Такие шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.

Для облегчения работы эксперта в пояснительной записке к анке­те приводят пять графиков. Эксперт выбирает кривую (или комбина­цию кривых), которая наилучшим образом, по его мнению, отражает характер зависимости/ Затем каждому классу качества назначается оценка в соответствии с характером зависимости и значениями пока­зателей качества. При этом целесообразно пользоваться числами в интервале 0-10, кратными 0,5, причем класс «наивысшее качество» получает оценку 10.

Таким образом, график, построенный экспертом, характеризует зависимость между абсолютными значениями показателей Р, и их оценками К,-, а для показателей, оцениваемых органолептическими методами, - между классами качества и их оценками.

В заключение проводятся обсуждение полученных результатов, их обработка и анализ. Для показателей, определяемых измерительным и расчетным методами, желательно дать аналитическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.

Применение метода главных точек дает возможность осуществлять группировку и классификацию показателей по видам зависимости.

Методы опроса

Методы опроса - методы, основанные на проведении анкетного эпроса группы экспертов с последующим анализом и обработкой по-тученной от них информации.

Целью этих методов является определение индивидуальной и групповой экспертной оценки для принятия окончательных решений.

Основанием для выбора этих методов служит необходимость тринятия сложных решений в ситуации неопределенности или со-

ставление научно обоснованного прогноза, требующего участия группы независимых и компетентных специалистов в узкой области или многих областях знаний (например, знаний однородной группы товаров или всех продовольственных либо непродовольственных то­варов). Важнейшими инструментами методов опроса служат его про­цедура и анкеты.

Разработка процедуры опроса проводится после формулирова­ния целей и задач, формирования группы аналитиков. Для этого со­ставляются анкеты (открытые и закрытые) и определяются методы опроса (индивидуальные и групповые, очные и заочные). Существуют определенные методики составления анкет, которые целесообразно учитывать при их разработке.

При разработке анкет группа аналитиков должна предусмотреть уровень детализации проблемы, который определяется спецификой и целями экспертизы. От уровня детализации зависит достоверность ре­зультатов экспертизы, причем с ростом степени детализации согласо­ванность экспертных оценок, как правило, увеличивается. Однако из­лишняя детализация проблемы может привести и к снижению надежности информации, полученной от экспертов.

Детализация проблемы осуществляется путем включения в анкету тестов (закрытых вопросов) с элементами готовых ответов или без от­ветов (открытых вопросов). Элементы готовых ответов в дальнейшем позволяют облегчить обобщение и формализацию ответов экспертов, но и ограничивают информативность оценки одним или несколькими альтернативными ответами, при этом возникает опасность навязывания эксперту ответов. При включении в анкету открытых вопросов эксперт может дать ответ в любой форме и с любым объемом информации. В этом случае появляется возможность обнаружения с помощью экс­пертов новых, порой неожиданных для аналитиков аспектов проблемы. Конкретный вопрос с определенным набором готовых альтернатив­ных ответов называется признаком анкеты. Набор ответов может быть качественного и количественного характера. При качественном характе­ре набора ответов задача эксперта заключается в выборе из предлагае­мых элементов ответов, которые, по его мнению, наиболее полно отра­жают суть проблемы по данному вопросу. При количественном характере набора ответам на вопросы присваивают числовые значения.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

При подборе признаков, которые желательно включить в анкету, нельзя допускать возможность двойного толкования вопросов. Поэтому полезно проверить анкету самими аналитиками. Если распределение су­ждений по некоторому признаку имеет значительное стандартное откло­нение, можно предположить, что данный признак двусмыслен.

Все вопросы в анкете можно разделить в зависимости от их со­держания на три группы:

Объективные анкетные данные об эксперте - возраст, образование,
профессия, стаж работы, научное звание, узкая специализация;

Характеристики, позволяющие оценить мотивы, которыми руко­
водствовался эксперт при оценке исследуемой проблемы;

Основные вопросы, касающиеся существа исследуемой проблемы.
В зависимости от широты охвата методы опроса экспертов подраз­
деляются на индивидуальные и групповые, а от наличия или отсутст­
вия обсуждения результатов оценки в экспертной группе, его характе­
ра, обоснования оценок, личных контактов и опрашиваемых субъектов
различаются несколько способов экспертного опроса (рис. 17).

Выбор того или иного способа проведения экспертного опроса определяется целями экспертизы, затратами на ее проведение и ожи­даемыми результатами, а критериями выбора служат объективность, информированность и трудоемкость.

Критерий объективности. Хотя требование объективности эксперта является одним из основных, однако на практике на экспертов может быть оказано определенное влияние. Оно может носить конформный или авторитарный характер и играет отрицательную роль, так как мнение и оценка эксперта формируются под влиянием факторов, не относящихся к свойствам товаров или других объектов экспертизы.

В связи с этим при выборе способов проведения опросов экспертов предпочтение следует отдавать тем из них, при которых конформное или авторитарное влияние проявляется в меньшей степени. К таким спосо­бам относятся, например, анонимное обоснование оценок, отсутствие контактов между экспертами, закрытое голосование. При вынесении коллективной экспертной оценки обычно не происходит беспристраст­ного и последовательного анализа проблем. Оценка основана на ком­промиссе между суждениями отдельных экспертов, поэтому способ кол-пективной экспертной оценки редко применяется при опросе экспертов.

Рис. 17. Классификация способов экспертного опроса

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Критерий информированности относится к важнейшим факто­рам, влияющим на качество эксперта, а также на надежность прини­маемых им оценок. Повышению информированности экспертов спо­собствует их взаимное обогащение в ходе обсуждения оценок. Логические доводы других экспертов, сообщаемая при этом дополни­тельная информация, ранее неизвестная другим экспертам, позволяют повысить уровень информированности, за счет чего эксперт может скорректировать свою оценку.

Исходя из этого, наиболее удачными по критерию информирован­ности являются способы, содержащие информацию об оценках других экспертов. Существуют также личные контакты между экспертами, происходит дискуссионное обсуждение оценок и персональное обосно­вание их. Поэтому при организации работы постоянных экспертных групп целесообразен обмен информацией, поскольку он способствует слаженной работе экспертов. При создании временных экспертных групп обмен информацией и коллективное обсуждение рекомендуются только в тех случаях, когда проведены оценка и отбор экспертов на объективность корректирования своих суждений (отсутствие конфор­мизма). Во всех случаях при учете критерия информированности экс­пертов не следует забывать о создании условий для их объективности и исключения конформного или авторитарного влияния.

Критерий трудоемкости зависит от количества проводимых опе­раций, их продолжительности и характера. Так, при письменном обос­новании оценок эксперт затрачивает больше времени, чем при устной дискуссии. Эффективность экспертного опроса в значительной степени зависит от способов и техники выявления суждений экспертов.

Способы и техника опроса экспертов. При индивидуальном оп­росе технический работник проводит опрос каждого эксперта, а при групповом - сразу всей группы. Результаты индивидуального опроса после обобщения и соответствующих расчетов могут быть использо­ваны для установления групповых оценок. Однако групповая оценка может быть получена и в результате индивидуального опроса лидера и сублидера экспертной группы.

Индивидуальный опрос каждого эксперта в группе связан с по­вышенной трудоемкостью, значительными затратами времени и раз­бросом суждений, что затрудняет выявление объективной и досто­верной экспертной оценки.

При индивидуальном опросе лидеров и сублидеров экспертной группы и особенно отдельных экспертов затраты времени на опрос меньше, однако вероятность конформизма среди членов группы и проявления авторитарных мнений лидера и сублидера больше.

В зависимости от технических приемов анкетирования индивиду­альный опрос делится на следующие разновидности: интервью, ин­тервью-анкеты, анкетирование и смешанное анкетирование.

Достоинства и недостатки этих способов указаны в табл. 5. Инди­видуальный способ опроса делится на разновидности в зависимости от применяемых технических приемов.

Таблица 5 Достоинства и недостатки разных способов опроса экспертов

Способы и разновид-	Достоинства	Недостатки
ности опроса
Индивидуальный	Возможность выявить	Высокие затраты вре-
способ	все или большинство	мени и критерий трудо-
разновидности по тех-	неясных вопросов,	емкости. При первич-
ническим приемам:	уточнить недостаточно	ном опросе эксперт
интервью	сформулированные;	может задавать нечетко
интервью-анкеты	использовать техниче-	сформулированные во-
смешанное анкетирова-	ские приемы	просы, увеличивающие
ние		трудозатраты.
анкетирование		Возможно снижение
		объективности
Групповой способ	Сокращение затрат вре-	Невозможность ис-
	мени экспертов и рабо-	пользования техниче-
	чей группы, снижение	ских приемов
	критерия трудоемкости

Интервью - разновидность опроса эксперта для выявления его оценки в ходе свободной, но.проводимой по определенной программе беседы с экспертом.

Интервью-анкета - разновидность опроса эксперта путем по­становки перед ним конкретных вопросов в определенной последова­тельности, задаваемых в форме анкеты.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Анкетирование - разновидность опроса экспертов с помощью вопросов анкеты, на которые эксперт дает письменные ответы. Чаще всего анкетирование проводится заочным методом без контакта с ра­бочей группой. Для повышения степени информированности эксперта к анкете прилагается пояснительная записка.

Смешанное анкетирование - разновидность опроса эксперта с помощью анкет и дополнительного инструктажа членом рабочей группы. Целью инструктажа являются уточнение деталей, постановка дополнительных вопросов (при необходимости).

По информативности наибольшими возможностями обладают та­кие методы, как интервью, интервью-анкета и смешанное анкетиро­вание, а по объективности - анкетирование. Минимальная объектив­ность свойственна интервью. Однако исходя из разных целей экспертизы, на практике может применяться любой из указанных способов. При этом предпочтение одной из указанных разновидно­стей отдается в следующих случаях:

При отсутствии ограничений времени проведения опроса целесооб­
разно проводить интервью-анкету или смешанное анкетирование;

При значительном числе экспертов и возможности собрать их всех
вместе применяют анкетирование;

При невозможности задать четко сформулированные вопросы,
которые будут поняты всеми экспертами однозначно, а также
при затруднениях эксперта выразить ответы на задаваемые во­
просы в виде числовых оценок применяют смешанное анкети­
рование.

При проведении опроса экспертов необходимо соблюдать общие и специфические требования к условиям опроса. Общие требования к условиям опроса:

Благоприятная психологическая обстановка опроса, способствую­
щая заинтересованности эксперта путем установления благожела­
тельного контакта между опрашиваемым и проводящим опрос;

Исключение возможности сознательного или бессознательного
навязывания эксперту мнения членов рабочей группы или других
экспертов;

Обеспечение уверенности эксперта в том, что выносимые оценки
не будут использованы в неблагоприятных для него целях; в от-

дельных случаях может быть поставлено условие о конфиденци­альности информации об оценках эксперта;

Создание и поддержание оптимальной трудоемкости опроса путем
выполнения экспертами только творческих, наиболее сложных
оценочных операций и передачи вспомогательных расчетных,
графических, других операций техническому персоналу рабочей
группы;

Понимание экспертом задаваемых ему вопросов с помощью необ­
ходимого инструктажа, а в отдельных случаях и предварительно­
го, тренировочного опроса;

Постановка четко сформулированных вопросов, не имеющих дву­
смысленного характера и не требующих больших дополнитель­
ных пояснений;

Использование общепринятых терминов, по мере возможности
стандартизированных, а при их отсутствии разъяснение новых
или неоднозначно применяемых терминов.
Специфические требования:

а) к технике интервьюирования

Предпочтительное использование стандартизированного интервью,

Доверительность начала интервью, располагающая к откровенности,

Быстрота и экономичность при кодировании ответов эксперта
членами рабочей группы;

Провоцирование экспертов на аргументацию своих оценок путем
оспаривания его ответа;

б) к технике анкетирования

обеспечение четкого и однозначного понимания экспертами ха­
рактера выполнения операций путем приложения к каждой анкете
пояснительной записки с определением целей и задач экспертизы,
методов и последовательности выполнения операций;

Единообразие в составлении анкет и пояснительных записок для
облегчения работы с ними;

Случайный характер перечисления свойств, которым эксперт
должен дать числовые оценки, причем эксперты должны быть
предупреждены об этом, в противном случае может иметь место
бессознательное завышение оценок свойств, стоящих в списке
первыми.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Комбинирование операций по подготовке и проведению опросов экспертов, а также технических операций позволило создать несколь­ко экспертных методов, получивших наибольшее признание и рас­пространение. К ним относятся методы Дельфы, ПАТТЕРН и комби­нированный.

Метод Дельфы (в некоторых источниках - Дельфи) - метод опроса экспертов, основанный на последовательно осуществляемых процедурах, которые направлены на формирование группового мне­ния по процедурам с недостаточной информацией.

Название метода произошло от древнегреческого города Дельфы, где жили оракулы, предсказывающие будущее.

Особенностями метода Дельфы являются отказ от совместной ра­боты экспертов; анонимность оценок; регулирование обратной связи; групповой ответ.

Отказ от совместной работы экспертов и анонимность достигают­ся тем, что каждый эксперт высказывает свое мнение в анкете, без группового обсуждения. Применяются и другие технические приемы индивидуального опроса, например, ответы на вопросы вводятся экс­пертами в компьютер. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каж­дого тура обрабатываются статистическими методами и доводятся до сведения экспертов. Это позволяет уменьшить разброс индивидуаль­ных оценок и получить групповой ответ, правильно отражающий мнение каждого эксперта.

Количество туров (до четырех) зависит от того, насколько быстро удается добиться сближения оценок экспертов в группе.

Анонимность опроса позволяет уменьшить конформное и автори-гарное влияние отдельных доминирующих экспертов, а регулируемая обратная связь уменьшает влияние индивидуальных и групповых ин-гересов. Введение обратной связи также повышает критерий объек-гивности и надежность оценок.

Проведение опроса в несколько туров с информированием экс-дертов о результатах предыдущих этапов работы, после которых каж­дый эксперт должен обосновать свое мнение, позволяет уменьшить солебания в индивидуальных и групповых ответах. Это дает неоспо-жмые преимущества по сравнению с обычным усреднением индиви­дуальных оценок.

При использовании метода Дельфы к процедурам опроса предъ­являются следующие требования:

Поставленные вопросы должны допускать возможность выраже­
ния ответа в виде чисел;

Достаточная информированность экспертов для выставления
оценок;

Наличие обоснований эксперта на каждый из заданных вопросов.
Достоинством рассматриваемого метода является повышение

критерия объективности за счет анонимности ответов экспертов, бла­годаря чему мнение эксперта не искажается вследствие внушения или приспособления к мнениям других экспертов. Кроме того, возрастает и информированность экспертов за счет ознакомления с оценками других экспертов после Окончания очередного тура, а также обосно­вания собственных оценок. Выявление преобладающих мнений по­зволяет сблизить точки зрения разных экспертов, сформировать груп­повое, но не единое, мнение.

Недостатки метода, проявляющиеся на начальном этапе его при­менения, - нестабильность состава экспертных групп, значительные разрывы во времени между турами, нечеткие формулировки вопро­сов, недоучет разной компетентности экспертов, необоснованность выбранного метода усреднения экспертных оценок - были частично устранены путем разработки модификаций этого метода (метод СИИР, Дельфы - Перт и др.). В результате этого метод Дельфы в на­стоящее время стал одним из наиболее применяемых, особенно для целей прогнозирования, а также при изучении ряда экономических и социальных проблем.

При использовании данного метода для целей экспертной оценки качества потребительских товаров проявляются следующие его не­достатки: сложность опроса экспертов и заполнения анкет, трудоем­кость оценки в связи с большим количеством показателей качества (иногда до 20-40) и заполнением нескольких анкет (3-10), громозд­кость пояснительных записок из-за отсутствия прямого контакта ор­ганизатора с экспертами.

Из-за указанных недостатков использование метода Дельфы при экспертной оценке качества товаров затруднено, а в некоторых случа­ях и нецелесообразно. Однако он перспективен для получения груп-

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Повой экспертной оценки и углубленного анализа событий в ситуаци­ях неопределенности.

Метод ПАТТЕРН - метод опроса экспертов, основанный на по­строении иерархической структуры - дерева целей и вынесении ре­шения этих целей после открытого обсуждения.

Название метода складывается из первых букв английских слов, означающих «Помощь планированию посредством количественной оценки технических данных». Метод был разработан в 1962-1964 гт. в американской фирме «Хоннуел» для оценки проектов новых систем вооружения.

Данный метод предусматривает несколько этапов.

/ этап - постановка основной проблемы, требующей решения, и разделение ее на ряд вторичных проблем первого, второго и так далее порядка, которые затем делятся на более узкие задачи. Деление про­должается до тех пор, пока не будут получены простые элементы, ко­торые могут быть оценены экспертами.

В результате такого деления получается иерархическая структура связанных друг с другом основных, вторичных проблем и задач, на­зываемая деревом целей.

II этап - определение с помощью экспертов коэффициентов ве­сомости (или значимости) каждой задачи относительно основной це­ли, при этом эксперты выносят решения после открытого обсуждения в экспертной группе.

Такое открытое обсуждение наряду с достоинством (взаимодейст­вие экспертов, стремящихся к принятию положительного решения) имеет и недостаток из-за конформизма, т. е. искажения действитель­ного мнения экспертов за счет внушения или приспособления к мне­нию большинства.

/// этап - применение компьютеров для обработки полученных данных и их анализа.

Достоинством метода ПАТТЕРН по сравнению с методом Дельфы является упрощение процедуры экспертного опроса. Однако метод имеет и ряд недостатков: отсутствие обоснований оптимального чис­ла членов экспертной группы, а также методики отбора в экспертную группу компетентных специалистов; обработка результатов опроса без учета различий в качестве отдельных экспертов; отсутствие барь-

еров для проявления конформизма экспертов; недостаточная разра­ботка и неопределенность принципов построения дерева целей.

Поскольку методы Дельфы и ПАТТЕРН имеют существенные не­достатки и не отвечают полностью целям экспертной оценки, Э.Л. Райх-ман и Г.Г. Азгальдов предложили комбинированный метод, в котором были использованы положительные особенности других экспертных методов и исключены их недостатки .

Комбинированный метод - метод, основанный на сочетании индивидуальных и коллективных экспертных оценок.

Лекция 7. Особенности технологии экспертной оценки качества.

Сущность экспертных методов и организация работ по использованию

при управлении качеством

Как научный способ экспертный метод разработан сравнительно недавно и назывался «Дельфи». В дальнейшем были разработаны дру­гие аналогичные методы, имеющие в своей основе экспертные оцен­ки. Сначала экспертные методы использовались в основном для решения задач, связанных с прогнозированием в области науки и техники, а затем стали применяться в других областях, в том числе в управлении.

Сущность экспертных методов заключается в усреднении полученных различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам. Усредненная оценка (К) определяет­ся по формуле

где n - количество экспертов,

K i - оценка, данная i -м экспертом.

Наиболее распространенными экспертными методами прикласси­фикации по признаку оценки предпочтений являются метод рангов, метод непосредственного оценивания и метод сопоставлений . Последний вклю­чает две разновидности - парного сравнения и последовательного сопоставления .

К разновидностям эк­спертных методов с определенной долей условности можно отнести органолептический и социологический. Органолептический метод основан на использовании чувств (вкуса, слуха, зрения, обоняния тактильности) эксперта. Он применяется при оценивании, например продукции пищевой промышленно­сти. Социологический метод базируется на опросе, сборе и анализе мнений респондентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится в письмен­ной форме (с помощью анкет) или устно (на конференциях, аукцио­нах, выставках и т.п.). При его использовании следует применять научно обоснованные способы опроса, математические принципы сбора и обработки информации. Общность экспертных методов заключается в последовательности проведения процедур их использования. К ним следует отнести орга­низацию экспертного оценивания, проведение сбора мнений экспер­тов и обработку полученных результатов.

Уменьшение субъективности результатов использования экс­пертных методов существенно зависит отсоблюдения правил органи­зации, подготовки и проведения экспертных работ. Особенно это за­висит от организации экспертного оценивания, назначения ответ­ственного за организацию и проведение работ по экспертной оценке, а также формирования экспертных комиссий.

Для общего руководства экспертными работами назначается пред­седательэкспертной комиссии. В составе комиссии организуют две группы - рабочую и экспертную (рис.1).

В подчинении руководителя рабочей группы находятся техничес­кие работники, осуществляющие техническую сторону подготовки материалов к работе экспертов, обработку полученных результатов и т. п., а также специалисты по решаемым проблемам.

Формирование экспертной группы проводитруководитель рабочей группы, который, осуществляет постановку пробле­мы и определяет область деятельности группы; составляет предвари­тельный список экспертов-специалистов; выполняет анализ каче­ственного состава предварительного списка экспертов и уточняет список; получает согласие эксперта для участия в работе; составляет окончательный список экспертной группы.

Число экспертов в группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, имеющих­ся возможностей и т. п. Подбор специалистов проводится на осно­ве анализа качеств каждого возможного кандидата. При этом ис­пользуются разнообразные способы: оценка кандидатов на основе статистического анализа результатов прошлой деятельности в каче­стве; коллективная оценка кандидата как специалиста в данной области; самооценка кандидата в эксперты; аналитическое определение компетентности кандидатов.

Часто применяют одновременно несколько способов, на­пример самооценки и коллективной оценки качеств, предлагаемого эксперта. Такой подход позволяет обоснованно подобрать экспертов с необходимыми качествами. Однако следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки. Во всех случаях кандидаты в эксперты должны обладать следующими качествами: профессиональной ком­петентностью; креативностью (умением решать творческие задачи); научной интуицией; заинтересованностью в объективных результатах экспертной работы; деловитостью (собранностью, умением пе­реключаться с одного вида деятельности на другой, коммуникатив­ностью, независимостью суждений, мотивированностью действий); объективностью.

Проведение сбора мнений экспертов предполагает предваритель­ное определение: места и времени; формы и методики; количества туров сбора мнений, состава и содержательной части документации, порядка занесения мнений экспертов в документы. Важным являет­ся выбор формы сбора мнений экспертов.

Среди всех известных форм сбора мнений можно отметить инди­видуальные, коллективные и смешанные. Каждая из этих форм име­етразновидности: анкетирование, интервьюирование, дискуссия, моз­говой штурм, совещание, деловая игра. Во многих они используются совместно, что дает боль­ший эффект и объективность. Такой подход к сбору мнений экспер­тов, когда используется смешанная форма, применяется в случаях не­ясности проблемы, расхождения индивидуальных мнений или разно­гласия экспертов при коллективном обсуждении.

На практике чаще применяется анкетирование, которое позволяет с меньшими трудозатратами собрать мнения экс­пертов. Обычнопроцесс разработки анкеты включает:

Определение формы и содержания обращения к эксперту;

Выбор типа вопросов;

Формулировку вопросов;

Изложение необходимой для эксперта ин­формации;

Разработку формы анкеты.

В последние годы среди типов вопросов наиболее употребляемы­ми стали так называемые веерный (предполагает один ответ из ряда ответов), закрытый (ответы «да», «нет», «не знаю») и открытый (ответ на вопрос может быть дан в произвольной форме).

Очень важно при анкетировании экспертов правильно, просто и однозначно, кратко и в то же время с необходимой полнотой сформулировать вопросы в анкетах, а в тексте пояснительной за­писки указать, что конкретно требуется от эксперта. Для ответов на вопросы, т. е. для принятия решения каждым экспертом, проводятся объективные и (или) субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъективном измерении эксперты, как правило, применяют один из указанных ранее методов (рангов, непосредственного оценивания, сопоставлений).

Метод рангов и непосредственного оценивания.

По методу рангов эксперт осуществляет ранжирование (упорядоче­ние) исследуемых объектов в зависимости от их относительной значимости (предпочтительности). При этом наиболее предпочтительному объекту обычно присваивается первый ранг, а наименее предпочтительному - последний, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования, и наоборот.

П

Таблица 1.9.2 Определение результирующего ранга объектов ранжирования

Объект ранжиро- вания №	Эксперт №							Сумма рангов объектов

ри предпочтительной (по рангам) расстановке объектов экспер­тизы одним экспертом сумма рангов должна равняться сумме чисел всего натурального ряда количества объектовН, начиная с единицы [H x (Н+ 1):2]. Результирующие ранги объектов ранжирования по данным опросов определяются как сумма рангов для каждого объек­та. При этом в итоге первый ранг присваивается тому объекту, кото­рый получил наименьшую сумму рангов, а последний - тому, у кото­рого оказалась наибольшая сумма рангов, т. е. наименее значимому объекту (пример определения результирующего ранга трех объектов семью экспертами приведен в табл. 2).

Метод непосредственного оценивания (балльный) представляет со­бой упорядочение исследуемых объектов в зависимости от их важности путем при­писывания баллов каждому из них. Наиболее значимому объекту да­ется наибольшее количество баллов по принятой шкале, диапазон шкалы оценок обычно принимается от 0 до 1, до 5, до 10 или до 100. В простейшем случае оценка может равняться 0 или 1. Иногда оцени­вание осуществляется в словесной форме, например «очень важный», «важный», «маловажный». Для большего удобства обработки резуль­татов опроса такие оценки могут переводиться в балльную шкалу (на­пример, соответственно 3, 2, 1).

Н

Таблица 3. Определение результатов непосредственного оценивания объектов

Объект оценива- ния №	Эксперт №							Сумма баллов объекта	Результи- рующий ранг объекта	Весомость объекта

епосредственное оценивание следует применять при уверенно­сти полной профессиональной информированности экспертов о свойствах исследуемых объектов. По результатм оценок определя­ются ранг и весомость (значимость) каждого исследуемого объекта (пример оценивания трех объектов по 10-балльной шкале приведен в табл. 3).

ПО результатам оценок экспертов место любого объекта можно пределить по формуле:

(2)

Где В i - значимость i -го объекта (i = 1, 2,.., п), рассчитанная на основании

оценок экспертов (j = 1,2,.., k ),

А ij - оценка (в баллах), данная i -у объекту j -м экспертом.

Метод сопоставления .

Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 - объект 2, объект 2 - объект 3 и т. д.) или в форме матрицы. Общее количество пар сравнения равно

, (3)

где Н - количество исследуемых объектов экспертизы.

В

Таблица 4 Матрица оценки объектов методом парного сравнения

Наименование объекта	№ объекта						Общее кол-во предпочтений

результате сравнения эксперт высказывает мнение о важности того или иного объекта, т. е. отдает одному из них предпочтение. Иног­да эксперты приходят к выводу об эквивалентности каждого из объек­тов пары. Для упорядочения всех рассматриваемых объектов необходи­ма последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструментаматрицы (табл. 4). В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, т. е. предпочтение по­рой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или нахо­дится по расположению в матрице выше сравниваемого, поэтому иног­да для исключения психологического влияния проводят двойное пар­ное сравнение, т. е. еще раз осуществляют парное сравнение, но толь­ко при обратном расположении объектов и объектов в каждой паре. Количество пар при двойном парном сравнении соответственно в два раза больше, чем при одинарном парном сравнении.

При записи каждой комбинации эксперт подчеркивает в каждой паре сравниваемых объектов наиболее важный. На пересечении вер­тикальных и горизонтальных строк матрицы для каждой пары объек­тов он ставит 1 или 0 (либо плюс или минус) в зависимости от опре­деленной им значимости того или иного объекта.

Весомость каждого объекта сравнения рассчитывается по формуле:

(4)

где А i/i,j - количество предпочтений (единиц, или плюсов, подчеркиваний)

i -го объекта над i -м объектом, указанное j -м экспертом;

А - общее количество пар объектов.

Р

Таблица 5. Сводная матрица результатов парного сравнения объектов

Наименование объекта	№ объекта	Кол-во предпочтений i- го объекта, данных экспертами					Сумма предпоч- тений	Весомость объекта

езультаты заполнения матриц всеми экспертами и расчетные дан­ные можно свести в матрицу (табл. 5).

Расчеты при двойном парном сравнении проводятся по тем же формулам, что и при обычном парном сравнении, однако количество пар при этом увеличивается вдвое.

Сущность метода последовательного сопоставления состоит в сле­дующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому объекту присваивается определенное количество баллов, например по шка­ле от 0 до 1 (как метод оценивания). Причем самому важному объекту дается балл, равный 1, а всем остальным - в порядке уменьшения их значимости от 1 до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг 1, больше суммы балль­ных оценок всех остальных объектов. Если будет, то величина балль­ной оценки первого объекта увеличивается до этого уровня, а если нет, то эксперт уменьшает эту величину до такого числового значе­ния, чтобы она стала меньше суммы оценок всех остальных объек­тов. Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке перво­го наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок, особенно это ощущается при количестве, превышающем шесть-семь исследуемых объектов.

Обработка и оценка согласованности экспертных данных.

Обработка собранных мнений экспертов проводится как количественно (численные данные), так и качественно (содержатель­ная информация). При обработке используются различные способы. При наличии численных данных для решения вопросов, имеющих достаточный информационный материал, применяются методы усред­нения экспертных суждений. Однако даже при имеющихся числен­ных данных, но при недостаточности информации по решаемому вопросу, наряду с ко­личественными методами обработки экспертных данных используют­ся методы качественного анализа и синтеза.

При использовании рассмотренных экспертных методов (рангов и др.) мнения экспертов часто не совпадают, поэтому необходимоко­личественно оценивать меру согласованности мнений экспертов и опре­делять причины несовпадения суждений. Мера согласованности, ес­тественно, определяется на основе статистических данных всей груп­пы экспертов. Для оценки меры согласованности мнений экспертов используются, как правило, коэффициенты конкордации.

Мера согласованности определяется математико-статистической обработкой всех имеющихся результатов экспертизы. Так, согласо­ванность мнений компетентных экспертов при использовании всех указанных экспертных методов, где определяются ранги объектов, можно определить с помощью коэффициента конкордации (согла­сия) по формуле:

(5)

где С - сумма квадратов отклонений сумм рангов по каждому объекту от сред­ней суммы рангов по всем объектам и экспертам, т. е.

(6)

где
- средняя сумма рангов.

Коэффициент конкордации может быть в диапазоне
. ПриW =0 согласованность мнений экспертов отсутствует, а при W= 1 - согласованность полная. Обычно считается, что согласованность впол­не достаточна, если W >= 0,5.

Допустим, по результатам работы компетентных экспертов полу­чены определенные данные ранжирования и по ним требуется рас­считать коэффициент конкордации (табл. 6)

Кэффициент конкордации равен

, (7)

т

Таблица 6. Данные для расчета коэффициента конкордации

Эксперт №	Ранги, поставленные экспертами Пяти объектам ранжирования (Н=5)

.е. мнения экспертов можно признать согласованными, так как по­лученная величина коэффициента конкордации удовлетворяет условию W>= 0,5.

При использовании экспертных методов, в которых ранги не определяются, для нахождения конкордации рассчитанные значи­мости объектов следует переводить в ранги. Ранг 1 приписывается объекту, у которого значимость наибольшая и т. д., в противном слу­чае оценку согласованности мнений проводят по другим критериям согласия.

Рассчитанную величину коэффициента конкордации следует взве­шивать по критерию Пирсона (X 2 ) с определенным уровнем значимо­сти (В), т. е. максимальной вероятностью неправильного результата |работы экспертов. Обычно задавать значимость достаточно в преде­лах 0,005 - 0,05.

В случае получения расчетной величины X 2 расч > табличной Х 2 табл (с избранным уровнем значимости) мнения экспертов окончательно признаются согласованными.

Табличные величины Х 2 табл (табл. 7) зависят от принимаемого уровня значимости и числа степеней свободы (S ), которое определя­ется по формуле

, (8)

Расчетная величина Х 2 расч определяется по формуле

Таким образом, для данных, приведенного ранее примера

. (10)

При уровне значимости 0,05 табличная величина Х 2 табл равна при­мерно 9, т. е. мнения экспертов можно окончательно признать с веро­ятностью 0,95 согласованными, так как Х 2 расч > Х 2 табл .

Высокое качество работы экспертов, участвующих в опросе, оказывает решающие влияние на получение точных и надежных результатов.

Качество экспертов определяется следующими группами свойств: компетентностью, заинтересованностью в результатах экспертизы, деловитостью и объективностью (беспристрастностью).

Компетентность эксперта должна распространяться на объект экспертизы (профессиональная компетентность) и методологию оценки (квалиметрическая компетентность).

Профессиональная компетентность включает знание технологических этапов производства продукции, значения показателей качества различных ее видов, перспектив развития продукции. требований потребителей, условий и характера потребления.

Квалиметрическая компетентность обеспечивает четкое понимание экспертом подхода к оценке качества продукции как к мере удовлетворения ею потребностей потребителей; знание методов оценки качества, особенно экспертных методов; умение пользоваться различными квалиметрическими шкалами, отличающихся большим числом градаций.

Заинтересованность эксперта в результатах экспертизы зависит от многих факторов: степени загруженности основной работой, с которой, как правило, совмещается экспертиза; возможности использования полученных результатов; целей экспертизы; характера выводов, которые могут быть сделаны по результатам экспертизы; индивидуальных особенностей эксперта.

Деловитость эксперта включает собранность, подвижность и эластичность внимания, позволяющие быстро переключаться с оценки одного показателя качества на оценку другого; контактность, т.е. умение работать с людьми при решении задач в конфликтной ситуации; мотивированность выносимых оценок.

Объективность (беспристрасность) -- способность учитывать только ту информацию, которая определяет удовлетворение потребности данной продукции. Необъективность эксперта заключается в завышении или занижении оценок объекта экспертизы по причинам, не имеющим отношения к качеству, например, из-за неспособности противостоять мнению большинства других экспертов вследствие неуверенности в своей правоте (проявление конформизма).

Методы оценки качества экспертов подразделяются на пять групп:

· эвристические (субъективные);

· статистические;

· тестовые;

· документальные;

· комбинированные.

Каждая из указанных групп делится на виды (частные оценки) и методы их получения.

Эвристические (субъективные) оценки – оценки, назначаемые человеком и основанные на предположении правильности отражения качества эксперта через оценку окружающих или самооценку.

Различают следующие виды эвристических оценок:

· самооценка;

· взаимооценка;

· оценка аргументированности и знакомства с объектом экспертизы;

· оценка эксперта рабочей группой.

Самооценка – вид и метод эвристической оценки компетентности самим экспертом. Установлено, что достоверность усредненной экспертной оценки тем выше, чем больше среднее значение самооценки членов группы. В то же время следует иметь в виду, что самооценка отличается значительной субъективностью, а это влечет за собой определенные недостатки ее. Самооценка зависит от психологических особенностей экспертов (наличия высокой или заниженной самооценки, иногда и необоснованно), степени удовлетворенности собой, понимания оценочной шкалы. Этим объясняется несовпадение результатов самооценки и взаимооценки.

Для снижения субъективности самооценку проводят дифференцированно, что повышает точность результатов. Для этого показатель самооценки определяется как функция двух коэффициентов: знакомства и аргументированности. Для экспертной оценки товаров самооценку эксперта рекомендуется определять с учетом его информированности и знакомства с оцениваемой продукцией путем заполнения «Анкеты самооценки». Эксперт отмечает регулярность чтения перечисленных в анкете источников информации и степень знакомства с оцениваемой продукцией.

Самооценка (K ca м j ) рассчитывается по формуле

K ca м j = Σ M i · K ij ,

где M i – весомость показателей информированности и знакомства; K ij – оценка, зависящая от степени информированности и знакомства.

Поскольку Σ M i = 1,00, а 0 ≤ K ij ≤ 10, то 0 ≤ K ca м j ≤ 10.

С учетом специфики оцениваемой продукции весомость отдельных показателей (M i ) может корректироваться экспертной группой.

Взаимооценка - вид и метод эвристической оценки, определяемой как средняя из оценок, назначаемых другими экспертами. Данная оценка предназначена для уменьшения субъективности оценки компетентности каждого эксперта. Установлено, что существует тесная связь между компетентностью эксперта и его усредненной оценкой, полученной от коллег. Сущность этого вида оценки заключается в том, что каждый эксперт дает оценку всем остальным экспертам, а затем рассчитывается усредненный результат.

В зависимости от количества экспертов в группе применяются две разные процедуры:

· при численности экспертов в группе менее 15 человек каждый эксперт оценивает всех остальных;

· при численности экспертов 15 человек и выше заполняется специальная анкета, в которой эксперты по квалификации поделены на три группы – выше средней, средней и ниже средней квалификации, а также по рангам внутри подгрупп (по 6– 8 человек в каждой). Затем ранжируют экспертов каждой подгруппы. Ранг 1 – самый квалифицированный эксперт, 2 – следующий по квалификации и т. д. Каждому оцениваемому эксперту присваивается числовая оценка от 10 баллов (самый квалифицированный) до 0 (совершенно неквалифицированный) с точностью до 0,5 балла.

Недостатки взаимооценки заключаются в следующем:

· эксперты могут недостаточно знать друг друга;

· на результаты оценки могут влиять взаимные симпатии или антипатии;

· эксперты, как правило, стремятся избегать сверхвысоких и сверхнизких оценок;

· неоднозначность восприятия понятия «качество эксперта».

· применять взаимооценку только в тех группах, в которых большинство экспертов хорошо знают друг друга. Если некоторые из оцениваемых экспертов незнакомы, то рекомендуется ставить прочерк в соответствующей графе;

· проводить анонимное анкетирование;

· разъяснять, что результаты анкеты будут использованы только для корректировки оценок товара;

· знакомить экспертов со структурной схемой свойств и их частных оценок.

Оценка аргументированности и знакомства с объектом экспертизы – вид и метод эвристической оценки степени специализации эксперта и факторов, влияющих на его компетентность. Эвристическая оценка компетентности, основанная на учете степени специализации и знакомства, обладает высокой эффективностью и достоверностью при условии тщательной проработки методов количественной оценки каждого из этих факторов в виде оценочных анкет. В данном случае оцениваются только те факторы, которые могут характеризоваться лишь субъективно в форме самооценки; эксперт количественно оценивает степень своей специализации по данному виду продукции и форму знакомства с ней. Затем с помощью специальной анкеты (похожей на анкету самооценки) определяет коэффициент аргументированности своих знаний и дает оценку степени своего знакомства с исследуемой проблемой. Коэффициент компетентности вычисляется как среднее арифметическое из коэффициентов аргументированности и знакомства.

Оценка эксперта рабочей группой – вид и метод эвристической оценки, предназначенной для количественной характеристики заинтересованности эксперта в экспертной оценке и его внимательности в ходе опроса. Оценка дается специалистами-аналитиками, проводящими опрос экспертов. При этом они оценивают отношение экспертов к проводимой экспертизе и их активность при обсуждении оценок. Оценки рабочей группы целесообразно выносить по 10-балльной шкале.

Статистические оценки – оценки, полученные в результате обработки суждений экспертов об объекте оценки.

Эти оценки применяются с целью уменьшения по мере возможности погрешностей, возникающих при экспертных оценках. Необходимость их обусловлена тем, что в отличие от измерений с помощью технических устройств, основанных на сравнении неизвестных величин с известными, при экспертных методах часто отсутствует известная величина (или образец, или эталон товара), значение которой принимается за действительное, т. е. максимально приближенное к истинному.

На точность результата могут оказать влияние организация и методика проведения оценки; качество построения структурной схемы показателей качества, число показателей качества, способы определения оценок, характер взаимоотношений между экспертами и т.д.

Таким образом, на точность экспертной оценки влияет множество объективных (зависящих от методики оценки) и субъективных (зависящих от эксперта) факторов, вследствие чего возникают погрешности оценки, имеющие систематическую и случайную составляющие.

Систематическая погрешность – постоянно повторяемая часть погрешности. Основной причиной возникновения ее является недостаточная или неправильная информированность экспертов. Снизить ее можно путем ознакомления эксперта с необходимой информацией перед началом экспертизы или путем проведения инструктажа, а также обсуждения, в ходе которого эксперт получает дополнительную информацию от специалистов-аналитиков или других экспертов. Кроме того, поскольку систематическая погрешность эксперта является случайной для группы экспертов, то усреднение оценок группы позволяет повысить точность оценки качества. Систематическую погрешность можно оценивать степенью отклонения от среднего мнения экспертной группы.

Случайная погрешность зависит от психолого-физиологических особенностей эксперта (собранности, уверенности в правоте, внимательности, других личных качеств) и снижается при многократных повторениях оценок. Установить ее величину можно по воспроизводимости результатов.

Различают следующие виды статистических оценок:

· оценка по отклонению от среднего мнения экспертной группы;

· оценка объективности эксперта.

Оценка по отклонению от среднего мнения экспертной группы – оценка, основанная на предпосылке, что действительным значением групповой экспертной оценки является средняя оценка экспертной группы. Поэтому чем меньше отклонение индивидуальной экспертной оценки от групповой, тем более высоким признается качество эксперта давшего эту оценку.

Индивидуальные экспертные оценки могут быть двух типов:

· ранжирование экспертом оцениваемых величин (в порядке убывания или возрастания);

· определение экспертом числовых значений оцениваемых величин (например, при определении коэффициентов весомости показателей качества каждому коэффициенту эксперты присваивают определенные числовые значения).

Оценка по отклонению от среднего мнения экспертной группы может быть выражена через совокупность абсолютных отклонений (Д і) , рассчитываемых как разница между средней групповой оценкой (Х с.г) и индивидуальной оценкой (Х і ):

Д і = Х c .г – Х і . .

Чем больше Д і , тем выше отклонение индивидуального мнения эксперта от среднего мнения экспертной группы.

Оценка объективности (беспристрастности) эксперта – оценка соблюдения экспертом принципа объективности, его способности к беспристрастной оценке конкретных образцов товаров. Эта очень важная характеристика качества эксперта существенно влияет на точность результатов групповой экспертной оценки. Статистические методы непосредственной оценки объективности экспертов не разработаны, поэтому на практике довольствуются косвенной оценкой по отклонению от среднего мнения экспертов.

Тестовые оценки – оценки с помощью тестирования психолого-физиологических особенностей экспертов. Данные оценки предназначены для оценивания объективности, квалиметрической и профессиональной компетентности эксперта. Достоинством этих оценок является возможность оценить личные качества эксперта, для чего другие методы и виды оценок неприемлемы. Недостаток их заключается в том, что полученные при тестировании результаты невозможно сравнить с данными, полученными каким-либо объективным методом.

При проведении тестовых оценок к тестам предъявляются следующие требования:

· понимание испытуемым экспертом постановки тестовой задачи и условий, которым должно отвечать ее решение;

· вероятность случайного угадывания решения задачи должна быть близка к нулю;

· тестовая задача должна иметь точное решение;

· обоснование близости тестовой задачи и тех реальных задач, которые приходится решать эксперту при оценке качества продукции.

Разновидностями тестовых оценок являются:

· оценка воспроизводимости результатов;

· квалиметрической компетентности эксперта;

· объективности корректирования своих оценок.

Оценка воспроизводимости результата – оценка степени близости индивидуальных оценок эксперта, проведенных через определенные промежутки времени. Обычно применяется в случаях, когда качество экспертов оценивается в несколько туров, при этом сравниваются оценки одного и того же автора в разных турах. Наиболее часто оценка воспроизводимости результатов применяется при органолептическом анализе пищевых продуктов.

Следует учесть, что промежуток времени между турами должен быть невелик, чтобы исключить влияние возможной новой информации, изменяющей его суждения, но в то же время достаточен, чтобы эксперт забыл данные оценки в предыдущем туре.

Если проводится ранжировка показателей качества, то оценка воспроизводимости результатов рассчитывается по формуле

где – j -го эксперта; R j – коэффициентов ранговой корреляции для j -го эксперта, определяется по формуле

где d ij – разность между рангами, присвоенными i- му показателю качества j -м экспертом в первом и втором турах опроса; n – количество объектов ранжирования.

Если же эксперты вычисляют численные значения коэффициентов весомости, то оценка воспроизводимости результатов рассчитывается по формуле

где – коэффициент воспроизводимости результатов j -го эксперта; ρ j – расстояние от среднего мнения группы для j -го эксперта, рассчитывается по формуле

где M ij * и M ij ** – значения i -го коэффициента весомости назначенные j -м экспертом соответственно в первом и втором турах.

Коэффициент воспроизводимости результатов эксперта может изменяться в интервале от 0 до 10. К экспертизе качества продукции рекомендуется допускать экспертов с воспроизводимостью результатов 6 и выше.

Оценка квалиметрической компетентности эксперта – оценка теоретических знаний методов оценки качества и умения их применять. Оценка теоретической подготовки эксперта может проводиться путем устного или письменного контроля знаний с использованием тестов в определенной области знаний. Несколько сложнее обстоит дело с проверкой умения, которое подразделяют на три типа:

· умение использовать разные типы оценочных шкал;

· умение определять субъективные вероятности;

· умение различать достаточное число градаций оцениваемого свойства.

Умение использовать разные типы оценочных шкал. Шкала – это упорядоченный ряд отметок, соответствующий соотношению последовательных значений измеряемых величин. В квалиметрии шкала является средством адекватного сопоставления и определения численных значений отдельных свойств и качеств различных объектов. Практически используют следующие виды квалиметрических шкал: шкалу наименований, шкалу порядка, шкалу интервалов, шкалу отношений и шкалу абсолютных значений.

Шкала наименований используется в случаях, когда несколько неизвестных размеров необходимо сопоставить с одним и определить, какие из них равны размеру, выбранному за базу для сравнения, а какие нет. По шкале наименований классифицируют размеры по признаку эквивалентности, тождества, равенства. Такое измерение является наиболее простым, но наименее информативным. При этом не определяется, какой из неодинаковых размеров больше или меньше размера, принятого за базовый, т.е. порядок возрастания или уменьшения размеров не устанавливается. Измерение заключается только в определении одинаковости (равенства) или отличия (неравенства) того или иного размера от заранее определенного значения. Следовательно, определяющие отношения между измеряемыми размерами таковы: равны или не равны, т.е. в символах = или ≠.

Математическое выражение сущности измерений по шкале наименований можно записать так:

Р i = Р j или Р i ≠ Р j ,

где Р i – размер, с которым сравнивают (базовый размер); Р j – j -й размер из сравниваемых размеров (j = 1,2,3, … , n ); n – число сравниваемых размеров.

При сопоставлении и измерении размеров по шкале наименований осуществляется, например, контроль и оценка качества чего-либо по альтернативному принципу: годен – не годен; подходит – не подходит; соответствует – не соответствует и т.п.

Шкала порядка – это последовательный ряд значений, дающий систематизированное представление о простейших соотношениях величин сопоставляемых размеров свойств, признаков или качеств в целом оцениваемых объектов.

При попарном сопоставлении всех измеряемых размеров устанавливают, какой размер больше или меньше другого, какой лучше или хуже другого. Если имеются одинаковые размеры, то это соотношение также определяется. Далее установленные соотношения размеров ранжируются в порядке возрастания и/или убывания (уменьшения) их величин. Сами величины при этом остаются неопределенными. Полученный в результате ранжирования ряд значений является шкалой порядка возрастающей или убывающей последовательности.

По шкалам порядка значения размеров могут быть классифицированы (оценены) не только по критерию «одинаковы или нет», но и по соотношению, что «больше или меньше» другого или «что лучше, а что хуже» другого.

Математическим выражением соотношений попарно сопоставляемых размеров является:

Р i = Р j или Р i ≠ Р j или Р i > Р j или Р i < Р j.

В результате сопоставления размеров Р i и Р j определяют, какой размер больше или меньше другого, а также какие размеры имеют одинаковые значения, т.е. по шкале порядка определяют следующие соотношения: равно (=), не равно (≠), больше (>), меньше (<).

Недостатком измерений по шкалам порядка можно считать то, что получаемые результаты в виде ранжированного ряда наименее информативны. В частности, при таком измерении нет возможности определить, на сколько один размер больше или меньше другого, лучше или хуже другого. Однако главным преимуществом измерений с использованием шкал порядка является то, что и их помощью инструментально неизмеряемые величины все же можно оценить (измерить) количественно. К измеряемым по шкалам порядка относятся такие свойства объектов, как вкус, запах, привлекательность, эстетичность, комфортабельность и др. По шкале порядка часто производят и общие экспертные оценки качества нескольких сопоставляемых объектов.

Шкала интервалов используется в случаях, когда нет возможности измерить сами размеры наблюдаемых величин, но возможно (или имеется необходимость) измерить только отличия (разницы) между познаваемыми сопоставлением размерами.

На измерительной шкале интервалов фиксируются отличия сопоставляемых размеров. Эта форма отображения величин измеряемого является более совершенной, так как на шкале интервалов имеются условные, но вполне определенные единицы измерений, что позволяет количественно (численно) охарактеризовать соотношение исследуемых размеров.

Математическая запись сравнения между собой двух однородных размеров по их разнице имеет вид:

ΔР i,j = Р i – Р j .

По шкале интервалов определяют такие соотношения размеров, как равно (=), не равно (≠), больше (>), меньше (<), сумма (+), разница (– ).

Классическим примером измерений по шкале интервалов является измерение температур по шкале Цельсия. По шкале интервалов невозможно определить, во сколько раз один размер больше или меньше другого.

Шкала отношений – это измерительная шкала, на которой отсчитывается (определяется) численное значение величины q i как математического отношения измеряемого размера Р i к другому известному размеру, принимаемому за единицу измерений [Р].

Любое измерение по шкале отношений предполагает сравнение неизвестного размера с известным и выражение первого через второй в кратном или дольном отношении.

Математическая запись измерения по шкале отношений имеет вид:

где i = 1, 2, 3, … , n – это номер измеряемого размера.

Шкала отношений – это шкала интервалов, в которой определен нулевой элемент – начало отсчета, а также размер (масштаб) единицы измерений [Р].

По шкале отношений определяются такие значения измеряемых размеров, как: равно (=), не равно (≠), больше (>), меньше (<), сумма (+), разница (– ), умножение (×), деление (:). Следовательно, с относительными величинами измеряемых размеров можно проводить многие логические и все арифметические действия.

Шкала отношений наиболее приемлема для измерений большинства показателей качества, особенно для таких численных характеристик, как геометрические размеры объектов, их плотность, сила, напряжение и прочих.

Шкала абсолютных величин используется в случаях, когда величина измеряется напрямую. Например, непосредственно подсчитывается число дефектов в изделии. Количество единиц производственной продукции и т.п. При таких измерениях на измерительной шкале отмечаются абсолютные количественные значения измеряемого. Такая шкала абсолютных значений обладает теми же свойствами, что и шкала отношений, с той лишь разницей, что величины, обозначенные на этой шкале, имеют абсолютные, а не относительные значения.

Результаты измерений по шкале абсолютных величин имеют наибольшую достоверность, информативность и чувствительность к неточным измерениям.

Шкалы интервалов, отношений и абсолютных величин называются метрическими, так как при их построении используются меры, т.е. размеры, принятые в качестве единиц измерений.

Характеристики, параметры или характеристики свойств объектов, измеряемые по шкале наименований или по шкале порядка, являются не количественными, а качественными , т.е. неопределенными по их истинной величине и по величине различий между ними. Размер, определенный по любой из метрических шкал, является количественной величиной, и сами эти шкалы являются количественными .

Квалиметрические шкалы, их определяющие отношения, измеряемые ими типы характеристик качества, а также некоторые примеры измеряемого приведены в табл. 4.1.

Каждая из квалиметрических шкал имеет свое значение и свою область применения, и поэтому они чаще всего не взаимозаменяемы при решении той или иной экспертной задачи. Умение определять субъективные вероятности – способность эксперта оценивать вероятность наступления определенных событий. Эксперты, которые не обладают такой способностью, не должны привлекаться к экспертизам, связанным с прогнозированием.

Умение определять субъективные вероятности при вынесении некоторых видов оценок. Например, при определении коэффициентов весомости некоторых событий эксперту иногда приходится использовать понятие субъективности вероятности их наступления. Зачастую прибегают к специальным тестам, с помощью которых можно оценить умение кандидата в эксперты точно определять субъективные вероятности.

Умение различать достаточное число градаций оцениваемого свойства – способность эксперта улавливать различия в интенсивности проявления каждого свойства. Эта способность в значительной мере обусловлена чувствительностью эксперта к самым незначительным изменениям свойств и показателей объектов экспертизы. Например, при органолептическом анализе испытателей проверяют на умение выявлять разницу во вкусах, запахах, оттенка цвета и др. От способности эксперта различать градации оцениваемого свойства зависит также точность индивидуальных и групповой экспертных оценок, поэтому тестовые испытания по выявлению указанной способности должны помочь отобрать в экспертную группу специалистов высокого качества.

Таблица 4.1 . Виды квалиметрических шкал