Потребности экономической и социальной практики требуют разработки методов количественного описания процессов, позволяющих точно регистрировать не только количественные, но и качественные факторы. При условии, что значения качественных признаков могут быть упорядочены, или проранжированы по степени убывания (возрастания) признака, возможно оценить тесноту связи между качественными признаками. Под качественным подразумевается признак, который невозможно измерить точно, но он позволяет сравнивать объекты между собой и, следовательно, расположить их в порядке убывания или возрастания качества. И реальным содержанием измерений в ранговых шкалах является тот порядок, в котором выстраиваются объекты по степени выраженности измеряемого признака.

В практических целях использование ранговой корреляции весьма полезно. Например, если установлена высокая ранговая корреляция между двумя качественными признаками изделий, то достаточно контролировать изделия только по одному из признаков, что удешевляет и ускоряет контроль.

В качестве примера можно рассмотреть наличие связи между обеспеченностью товарной продукцией ряда предприятий и накладными расходами по реализации. В ходе 10 наблюдений получена следующая таблица:

Упорядочим значения X по возрастанию, при этом каждому значению поставим в соответствие его порядковый номер (ранг):

Таким образом,

Построим следующую таблицу, куда записываются пары X и Y, полученные в результате наблюдения со своими рангами:

Обозначая разность рангов как, запишем формулу вычисления выборочного коэффициента корреляции Спирмена:

где n - число наблюдений, оно же число пар рангов.

Коэффициент Спирмена обладает следующими свойствами:

Если между качественными признаками X и Y имеется полная прямая зависимость в том смысле, что ранги объектов совпадают при всех значениях i, то выборочный коэффициент корреляции Спирмена равен 1. Действительно, подставив в формулу, получим 1.

Если между качественными признаками X и Y имеется полная обратная зависимость в том смысле, что рангу соответствует ранг, то выборочный коэффициент корреляции Спирмена равен -1.

Действительно, если

Подставив значение в формулу коэффициента корреляции Спирмена, получим -1.

Если между качественными признаками нет ни полной прямой, ни полной обратной связи, то выборочный коэффициент корреляции Спирмена заключен между -1 и 1, причем чем ближе к 0 его значение, тем связь между признаками меньше.

По данным вышеприведенного примера найдем значение P, для этого достроим таблицу значениями и:

Выборочный коэффициент корреляции Кендалла. Можно оценивать связь между двумя качественными признаками, используя коэффициент ранговой корреляции Кендалла.

Пусть ранги объектов выборки объема n равны:

по признаку X:

по признаку Y: . Допустим, что правее имеется рангов, больших, правее имеется рангов, больших, правее имеется рангов, больших. Введем обозначение суммы рангов

Аналогично введем обозначение как сумму количества рангов, лежащих правее, но меньших.

Выборочный коэффициент корреляции Кендалла записывается формулой:

Где n - объем выборки.

Коэффициент Кендалла обладает теми же свойствами, что и коэффициент Спирмена:

Если между качественными признаками X и Y имеется полная прямая зависимость в том смысле, что ранги объектов совпадают при всех значениях i, то выборочный коэффициент корреляции Кендалла равен 1. Действительно, правее имеется n-1 рангов, больших, поэтому, таким же образом устанавливаем, что. Тогда. И коэффициент Кендалла равен: .

Если между качественными признаками X и Y имеется полная обратная зависимость в том смысле, что рангу соответствует ранг, то выборочный коэффициент корреляции Кендалла равен -1. Правее нет рангов, больших, поэтому. Аналогично. Подставляя значение R+=0 в формулу коэффициента Кендалла, получим -1.

При достаточно большом объме выборки и при значениях коэффициентов ранговой корреляции, не близких к 1, имеет место приближенное равенство:

Коэффициент Кендалла дает более осторожную оценку корреляции, чем коэффициент Спирмена? (числовое значение? всегда меньше, чем). Хотя вычисление коэффициента? менее трудоемко, чем вычисление коэффициента, последний легче пересчитать, если к ряду добавляется новый член.

Важное достоинство коэффициента состоит в том, что с его помощью можно определить коэффициент частной ранговой корреляции, позволяющий оценить степень "чистой" взаимосвязи двух ранговых признаков, устранив влияние третьего:

Значимость коэффициентов ранговой корреляции. При определении силы ранговой корреляции на основе выборочных данных необходимо рассмотреть следующий вопрос: с какой степенью надежности можно полагаться на заключение о том, что в генеральной совокупности существует корреляция, если получен некоторый выборочный коэффициент ранговой корреляции. Другими словами, следует проверить значимость наблюдавшихся корреляций рангов исходя из гипотезы о статистической независимости двух рассматриваемых ранжировок.

При сравнительно большом объеме n выборки проверка значимости коэффициентов ранговой корреляции может осуществляться с помощью таблицы нормального распределения (табл. 1 приложения). Для проверки значимости коэффициента Спирмена? (при n>20) вычисляют значение

а для проверки значимости коэффициента Кендалла? (при n>10) вычисляют значение

где S=R+- R-, n - объем выборки.

Далее задаются уровнем значимости?, определяют по таблице критических точек распределения Стьюдента критическое значение tкр(?,k) и сравнивают с ним вычисленное значение или. Число степеней свободы принимается k = n-2. Если или > tкр, то значения или признаются значимыми.

Коэффициент корреляции Фехнера.

Наконец, следует упомянуть коэффициент Фехнера, характеризующий элементарную степень тесноты связи, который целесообразно использовать для установления факта наличия связи, когда существует небольшой объем исходной информации. Основой его вычисления является учет направления отклонений от средней арифметической варианты каждого вариационного ряда и определение согласованности знаков этих отклонений для двух рядов, связь между которыми измеряется.

Данный коэффициент определяется по формуле:

где na - количество совпадений знаков отклонений индивидуальных величин от их средней арифметической; nb - соответственно количество несовпадений.

Коэффициент Фехнера может изменяться в пределах -1,0<= Кф<= +1,0.

Прикладные аспекты ранговой корреляции. Как уже отмечалось, коэффициенты ранговой корреляции могут использоваться не только для качественного анализа взаимосвязи двух ранговых признаков, но и при определении силы связи между ранговым и количественным признаками. В этом случае значения количественного признака упорядочиваются и им приписываются соответствующие ранги.

Существует ряд ситуации, когда вычисление коэффициентов ранговой корреляции целесообразно и при определении силы связи двух количественных признаков. Так, при существенном отклонении распределения одного из них (или обоих) от нормального распределения определение уровня значимости выборочного коэффициента корреляции r становится некорректным, в то время как ранговые коэффициенты? и? не сопряжены с такими ограничениями при определении уровня значимости.

Другая ситуация такого рода возникает, когда связь двух количественных признаков имеет нелинейный (но монотонный) характер. Если количество объектов в выборке невелико или если для исследователя существенен знак связи, то использование корреляционного отношения? может оказаться здесь неадекватным. Вычисление же коэффициента ранговой корреляции позволяет обойти указанные трудности.

Практическая часть

Задача 1. Корреляционно-регрессионный анализ

Постановка и формализация задачи:

Дана эмпирическая выборка, составленная на основе ряда наблюдений за состоянием оборудования (на предмет отказа) и количеством изготовленных изделий. Выборка неявно характеризует взаимосвязь между объемом отказавшего оборудования и количеством изготовленных изделий. По смыслу выборки видно, что изготовленные изделия производятся на оставшемся в строю оборудовании так как чем больше % отказавшего оборудования, тем меньше изготовленных изделий. Требуется провести исследование выборки на корреляционно-регрессионную зависимость, то есть установить форму зависимости, оценить функцию регрессии (регрессионный анализ), а также выявить связь между случайными переменными и оценить ее тесноту (корреляционный анализ). Дополнительной задачей корреляционного анализа является оценка уравнения регрессии одной переменной по другой. Кроме того, необходимо спрогнозировать количество выпущенных изделий при 30%-ном отказе оборудования.

Формализуем приведенную выборку в таблице, обозначив данные «Отказ оборудования, %» как X, данные «Количество изделий» как Y:

Исходные данные. Таблица 1

По физическому смыслу задачи видно, что количество выпущенных изделий Y напрямую зависит от % отказа оборудования, то есть налицо зависимость Y от X. При проведении регрессионного анализа требуется найти математическую зависимость (регрессию), связывающую величины X и Y. При этом регрессионный анализ, в отличие от корреляционного, предполагает, что величина X выступает как независимая переменная, или фактор, величина Y - как зависимая от нее, или результативный признак. Таким образом, требуется произвести синтезирование адекватной экономико-математической модели, т.е. определить (найти, подобрать) функцию Y = f(X), характеризующую зависимость между величинами X и Y, используя которую можно будет спрогнозировать значение Y при X = 30. Решение данной задачи может быть выполнено с помощью корреляционно-регрессионного анализа.

Краткий обзор методов решения корреляционно-регрессионных задач и обоснование выбираемого метода решения.

Методы регрессионного анализа по числу факторов, влияющих на результативный признак, подразделяются на одно- и многофакторные. Однофакторные - число независимых факторов = 1, т.е. Y = F(X)

многофакторный - число факторов > 1, т.е.

По числу исследуемых зависимых переменных (результативных признаков) регрессионные задачи также можно разделить на задачи с одним и многими результативными признаками. В общем виде задача с многими результативными признаками может быть записана:

Метод корреляционно-регрессионного анализа заключается в нахождении параметров аппроксимирующей(приближающей) зависимости вида

Поскольку в приведенной задаче фигурирует только одна независимая переменная, т. е. исследуется зависимость только от одного фактора, влияющего на результат, следует применить исследование на однофакторную зависимость, или парную регрессию.

При наличии только одного фактора зависимость определяется в виде:

Форма записи конкретного уравнения регрессии зависит от выбора функции, отображающей статистическую связь между фактором и результативным признаком и включает следующие:

линейная регрессия, уравнение вида,

параболическая, уравнение вида

кубическая, уравнение вида

гиперболическая, уравнение вида

полулогарифмическая, уравнение вида

показательная, уравнение вида

степенная, уравнение вида.

Нахождение функции сводится к определению параметров регрессионного уравнения и оценке достоверности самого уравнения. Для определения параметров можно использовать как метод наименьших квадратов, так и метод наименьших модулей.

Первый из них заключается в том, чтобы сумма квадратов отклонений эмпирических значений Yi от рассчитанных средних Yi, была минимальной.

Метод наименьших модулей заключается в минимизации суммы модулей разности эмпирических значений Yi и рассчитанных средних Yi.

Для решения задачи выберем метод наименьших квадратов, как наиболее простой и дающий хорошие по статистическим свойствам оценки.

Технология решения задачи регрессионного анализа с помощью метода наименьших квадратов.

Определить вид зависимости (линейная, квадратичная, кубическая и т.д.) между переменными можно с помощью оценки величины отклонения фактического значения y от расчетного:

где - эмпирические значения, - расчетные значения по аппроксимирующей функции. Оценивая значения Si для различных функций и выбирая наименьшее из них, подбираем аппроксимирующую функцию.

Вид той или иной функции определяется с помощью нахождения коэффициентов, которые находятся для каждой функции как решения определенной системы уравнений:

линейная регрессия, уравнение вида, система -

параболическая, уравнение вида, система -

кубическая, уравнение вида, система -

Решив систему, находим, с помощью которых приходим к конкретному выражению аналитической функции, имея которую, находим расчетные значения. Далее есть все данные для нахождения оценки величины отклонения S и анализа на минимум.

Для линейной зависимости оцениваем тесноту связи между фактором X и результативным признаком Y в виде коэффициента корреляции r:

Среднее значение показателя;

Среднее значение фактора;

y - экспериментальное значение показателя;

x - экспериментальное значение фактора;

Среднеквадратическое отклонение по х;

Среднеквадратическое отклонение по y.

Если коэффициент корреляции r = 0, то считают, что связь между признаками незначительна либо отсутствует, если r = 1, то между признаками существует весьма высокая функциональная связь.

Используя таблицу Чеддока, можно провести качественную оценку тесноты корреляционной связи между признаками:

Таблица Чеддока Таблица 2.

Для нелинейной зависимости определяется корреляционное отношение (0 1) и индекс корреляции R, которые вычисляются по следующим зависимостям.

где значение - значение показателя, вычисленное по регрессионной зависимости.

В качестве оценки точности вычислений используем величину средней относительной ошибки аппроксимации

При высокой точности лежит в пределах 0-12%.

Для оценки подбора функциональной зависимости используем коэффициент детерминации

Коэффициент детерминации используется как «обобщенная» мера качества подбора функциональной модели, поскольку он выражает соотношение между факторной и общей дисперсией, точнее долю факторной дисперсии в общей.

Для оценки значимости индекса корреляции R применяется F-критерий Фишера. Фактическое значение критерия определяется по формуле:

где m - число параметров уравнения регрессии, n - число наблюдений. Величина сравнивается с критическим значением, которое определяется по таблице F-критерия с учетом принятого уровня значимости и числа степеней свободы и. Если, то величина индекса корреляции R признается существенной.

Для выбранной формы регрессии вычисляются коэффициенты уравнения регрессии. Результаты вычислений для удобства включаются в таблицу следующей структуры (в общем виде, количество колонок и их вид меняются в зависимости от вида регрессии):

Таблица 3

Решение задачи.

Провелись наблюдения за экономическим явлением - зависимостью выпуска изделий от процента отказа оборудования. Получена совокупность значений.

Выбранные значения описаны в таблице 1.

Строим график эмпирической зависимости по приведенной выборке (рис. 1)

По виду графика определяем, что аналитическую зависимость можно представить в виде линейной функции:

Рассчитаем парный коэффициент корреляции для оценки взаимосвязи между X и Y:

Построим вспомогательную таблицу:

Таблица 4

Решаем систему уравнений для нахождения коэффициентов и:

из первого уравнения, подставляя значение

во второе уравнение, получим:

Находим

Получаем вид уравнения регрессии:

9. Для оценки тесноты найденной связи воспользуемся коэффициентом корреляции r:

По таблице Чеддока устанавливаем, что для r = 0.90 связь между X и Y весьма высокая, следовательно достоверность уравнения регрессии также высока. Для оценки точности вычислений используем величину средней относительной ошибки аппроксимации:

Считаем, что величина обеспечивает высокую степень достоверности уравнения регрессии.

Для линейной связи между X и Y индекс детерминации равен квадрату коэффициента корреляции r: . Следовательно, 81% общей вариации объясняется изменением факторного признака X.

Для оценки значимости индекса корреляции R, который в случае прямолинейной зависимости по абсолютной величине равен коэффициенту корреляции r, применяется F-критерий Фишера. Определяем фактическое значение по формуле:

где m - число параметров уравнения регрессии, n - число наблюдений. То есть n = 5, m = 2.

С учетом принятого уровня значимости =0,05 и числа степеней свободы и получаем критическое табличное значение. Поскольку, величина индекса корреляции R признается существенной.

Вычислим прогнозное значение Y при X = 30:

Построим график найденной функции:

11. Определяем ошибку коэффициента корреляции по величине среднеквадратичного отклонения

а затем определяем значение нормированного отклонения

Из соотношения > 2 с вероятностью 95% можно говорить о значимости полученного коэффициента корреляции.

Задача 2. Линейная оптимизация

Вариант 1.

Планом развития региона предполагается ввести в действие 3 нефтяных месторождения с суммарным объемом добычи равным 9 млн.т. На первом месторождении объем добычи составляет не менее 1 млн.т, на втором - 3 млн. т, на третьем - 5 млн.т. Для достижения такой производительности необходимо пробурить не менее 125 скважин. Для реализации данного плана выделено 25 млн. руб. капитальных вложений (показатель К) и 80 км труб (показатель L).

Требуется определить оптимальное (максимальное) количество скважин для обеспечения плановой производительности каждого месторождения. Исходные данные по задаче приведены в таблице.

Исходные данные

Постановка задачи приведена выше.

Формализуем заданные в задаче условия и ограничения. Целью решения данной оптимизационной задачи является нахождение максимального значения добычи нефти при оптимальном количестве скважин по каждому месторождению с учетом существующих ограничений по задаче.

Целевая функция в соответствии с требованиями задачи примет вид:

где - количество скважин по каждому месторождению.

Существующие ограничения по задаче на:

длину прокладки труб:

число скважин на каждом месторождении:

стоимость строительства 1 скважины:

Задачи линейной оптимизации решаются, например, следующими методами:

Графически

Симплекс-методом

Использование графического способа удобно только при решении задач линейной оптимизации с двумя переменными. При большем числе переменных необходимо применение алгебраического аппарата. Рассмотрим общий метод решения задач линейной оптимизации называемый симплекс-методом.

Симлекс-метод - это характерный пример итерационных вычислений, используемых при решении большинства оптимизационных задач. Рассматриваются итерационные процедуры такого рода, обеспечивающие решение задач с помощью моделей исследования операций.

Для решения оптимизационной задачи с помощью симплекс-метода необходимо чтобы число неизвестных Xi было больше числа уравнений, т.е. система уравнений

удовлетворяла отношению m

A=был равен m.

Обозначим столбца матрицы A как, а столбец свободных членов как

Базисным решением системы (1) называется набор из m неизвестных которые являются решением системы (1).

Кратко алгоритм симплекс-метода описывается следующим образом:

Исходное ограничение, записанное в виде неравенства типа <= (=>) , можно представить в виде равенства, прибавляя остаточную переменную к левой части ограничения (вычитая избыточную переменную из левой части) .

Например, в левую часть исходного ограничения

вводится остаточная переменная, в результате чего исходное неравенство обращается в равенство

Если исходное ограничение определяет расход труб, то переменную следует интерпретировать как остаток, или неиспользованную часть данного ресурса.

Максимизация целевой функции эквивалентна минимизации той же функции, взятой с противоположным знаком. То есть в нашем случае

эквивалентна

Составляется симплекс-таблица для базисного решения следующего вида:

В данной таблице обозначают, что после решения задачи в этих клетках будет стоять базисное решение. - частные от деления столбца на один из столбцов; - дополнительные множители обнуления значений в клетках таблицы, относящихся к разрешающему столбцу. - min значение целевой функции -Z, - значения коэффициентов в целевой функции при неизвестных.

Среди значений находят любое положительное. Если такого нет, то задача считается решенной. Выбирают любой столбец таблицы, в котором есть, этот столбец называется «разрешающим» столбцом. Если среди элементов разрешающего столбца нет положительных чисел, то задача неразрешима вследствие неограниченности целевой функции на множестве ее решений. Если положительные числа в разрешающем столбце присутствуют, переходят к пункту 5.

Столбец заполняется дробями, в числителе которых - элементы столбца, а в знаменателе - соответствующие элементы разрешающего столбца. Из всех значений выбирается наименьшее. Строка, в которой получилось наименьшееназывается «разрешающей» строкой. На пересечении разрешающей строки и разрешающего столбца находят разрешающий элемент, который выделяют каким-либо образом, например, цветом.

На основе первой симплекс-таблицы составляется следующая, в которой:

Заменяется вектор-строка на вектор-столбец

разрешающая строка заменяется этой же строкой, поделенной на разрешающий элемент

каждая из остальных строк таблицы заменяется на сумму этой строки с разрешающей, умноженной на специально подобранный дополнительный множитель с целью получения 0 в клетке разрешающего столбца.

С новой таблицей обращаемся у пункту 4.

Решение задачи.

Исходя из постановки задачи имеем следующую систему неравенств:

и целевую функцию

Преобразуем систему неравенств в систему уравнений, введя дополнительные переменные:

Целевую функцию приведем к ей эквивалентной:

Построим исходную симплекс-таблицу:

Выберем разрешающий столбец. Рассчитаем столбец:

Заносим значения в таблицу. По наименьшему из них = 10 определяем разрешающую строку: . На пересечении разрешающей строки и разрешающего столбца находим разрешающий элемент = 1. Заполняем часть таблицы дополнительными множителями, такими, что: помноженная на них разрешающая строка, добавленная к остальным строкам таблицы, образовывает 0-ли в элементах разрешающего столбца.

Составляем вторую симплекс-таблицу:

В ней разрешающим столбцом берем, вычисляем значения, заносим их в таблицу. По минимальному получаем разрешающую строку. Разрешающим элементом будет 1. Находим дополнительные множители, заполняем столбцы.

Составляем следующую симплекс-таблицу:

Аналогичным образом, находим разрешающий столбец, разрешающую строку и разрешающий элемент = 2. Строим следующую симплекс-таблицу:

Поскольку в строке -Z нет положительных значений, эта таблица является конечной. Первый столбец дает искомые значения неизвестных, т.е. оптимальное базисное решение:

При этом значение целевой функции -Z = -8000, что эквивалентно Zmax = 8000. Задача решена.

Задача 3. Кластерный анализ

Постановка задачи:

Провести разбиение объектов на основании данных, приведенных в таблице. Выбор метода решения провести самостоятельно, построить график зависимости данных.

Вариант 1.

Исходные данные

Обзор методов решения указанного типа задач. Обоснование метода решения.

Задачи кластерного анализа решаются с помощью следующих методов:

Объединение или метод древовидной кластеризации используется при формировании кластеров «несходства» или «расстояния между объектами». Эти расстояния могут определяться в одномерном или многомерном пространстве.

Двувходовое объединение используется (относительно редко) в обстоятельствах, когда данные интерпретируются не в терминах «объектов» и «свойств объектов», а в терминах наблюдений и переменных. Ожидается, что и наблюдения и переменные одновременно вносят вклад в обнаружение осмысленных кластеров.

Метод К-средних. Используется, когда уже имеется гипотеза относительно числа кластеров. Можно указать системе образовать ровно, например, три кластера так, чтобы они были настолько различны, насколько это возможно. В общем случае метод K-средних строит ровно K различных кластеров, расположенных на возможно больших расстояниях друг от друга.

Существуют следующие способы измерения расстояний:

Евклидово расстояние. Это наиболее общий тип расстояния. Оно попросту является геометрическим расстоянием в многомерном пространстве и вычисляется следующим образом:

Заметим, что евклидово расстояние (и его квадрат) вычисляется по исходным, а не по стандартизованным данным.

Расстояние городских кварталов (манхэттенское расстояние). Это расстояние является просто средним разностей по координатам. В большинстве случаев эта мера расстояния приводит к таким же результатам, как и для обычного расстояния Евклида. Однако отметим, что для этой меры влияние отдельных больших разностей (выбросов) уменьшается (так как они не возводятся в квадрат). Манхэттенское расстояние вычисляется по формуле:

Расстояние Чебышева. Это расстояние может оказаться полезным, когда желают определить два объекта как "различные", если они различаются по какой-либо одной координате (каким-либо одним измерением). Расстояние Чебышева вычисляется по формуле:

Степенное расстояние. Иногда желают прогрессивно увеличить или уменьшить вес, относящийся к размерности, для которой соответствующие объекты сильно отличаются. Это может быть достигнуто с использованием степенного расстояния. Степенное расстояние вычисляется по формуле:

где r и p - параметры, определяемые пользователем. Несколько примеров вычислений могут показать, как "работает" эта мера. Параметр p ответственен за постепенное взвешивание разностей по отдельным координатам, параметр r ответственен за прогрессивное взвешивание больших расстояний между объектами. Если оба параметра - r и p, равны двум, то это расстояние совпадает с расстоянием Евклида.

Процент несогласия. Эта мера используется в тех случаях, когда данные являются категориальными. Это расстояние вычисляется по формуле:

Для решения поставленной задачи выберем метод объединения (древовидной кластеризации) как наиболее отвечающий условиям и постановке задачи (провести разбиение объектов). В свою очередь метод объединения может использовать несколько вариантов правил связи:

Одиночная связь (метод ближайшего соседа). В этом методе расстояние между двумя кластерами определяется расстоянием между двумя наиболее близкими объектами (ближайшими соседями) в различных кластерах. То есть любые два объекта в двух кластерах ближе друг к другу, чем соответствующее расстояние связи. Это правило должно, в известном смысле, нанизывать объекты вместе для формирования кластеров, и результирующие кластеры имеют тенденцию быть представленными длинными "цепочками".

Полная связь (метод наиболее удаленных соседей). В этом методе расстояния между кластерами определяются наибольшим расстоянием между любыми двумя объектами в различных кластерах (т.е. "наиболее удаленными соседями").

Существует также множество других методов объединения кластеров, подобных этим (например, невзвешенное попарное соединение, взвешенное попарное соединение и др.).

Технология метода решения. Расчет показателей.

На первом шаге, когда каждый объект представляет собой отдельный кластер, расстояния между этими объектами определяются выбранной мерой.

Так как в задаче не обуславливаются единицы измерения признаков, подразумевается, что они совпадают. Следовательно, нет необходимости в нормировании исходных данных, поэтому сразу переходим к расчету матрицы расстояний.

Решение задачи.

Построим по исходным данным график зависимости (рис 2)

В качестве расстояния между объектами примем обычное евклидовое расстояние. Тогда согласно формуле:

где l - признаки; k - количество признаков, расстояние между объектами 1 и 2 равно:

Продолжаем расчет остальных расстояний:

Из полученных значений построим таблицу:

Наименьшее расстояние. Значит, элементы 3,6 и 5 объединяем в один кластер. Получим следующую таблицу:

Наименьшее расстояние. В один кластер объединяются элементы 3,6,5 и 4. Получаем таблицу из двух кластеров:

Минимальное расстояние между элементами 3 и 6 равно. Значит, элементы 3 и 6 объединяются в один кластер. Расстояние между вновь образованным кластером и остальными элементами выбираем максимальным. Например, расстояние между кластером 1 и кластером 3,6 равно max(13.34166, 13.60147)= 13.34166. Составим следующую таблицу:

В ней минимальное расстояние - это расстояние между кластерами 1 и 2. Объединяя 1 и 2 в один кластер, получаем:

Таким образом, методом «дальнего соседа» получили два кластера: 1,2 и 3,4,5,6 , расстояние между которыми равно 13,60147.

Задача решена.

Приложения. Решение задач с использованием пакетов прикладных программ (MS Excel 7.0)

Задача корреляционно-регрессионного анализа.

Заносим исходные данные в таблицу (рис. 1)

Выбираем меню «Сервис / Анализ данных». В появившемся окне выбираем строку «Регрессия» (рис.2).

Зададим в следующем окне входные интервалы по X и по Y, уровень надежности оставим 95%, а выходные данные поместим на отдельный лист «Лист отчета» (рис. 3)

После проведения расчета получаем на листе «Лист отчета» итоговые данные регрессионного анализа:

Здесь же выводится точечный график аппроксимирующей функции, или «График подбора»:

Расчетные значения и отклонения выведены в таблице в колонках «Предсказанное Y» и «Остатки» соответственно.

На основе исходных данных и отклонений строится график остатков:

Оптимизационная задача

Вносим исходные данные следующим образом:

Искомые неизвестные X1, X2, X3 заносим в ячейки С9, D9, E9 соответственно.

Коэффициенты целевой функции при X1, X2, X3 вносим в С7, D7, E7 соответственно.

Целевую функцию заносим в ячейку B11как формулу: =C7*C9+D7*D9+E7*E9.

Существующие ограничения по задаче

На длину прокладки труб:

вносим в ячейки С5, D5, E5, F5, G5

Число скважин на каждом месторождении:

X3 Ј 100; вносим в ячейки С8, D8, E8.

Стоимость строительства 1 скважины:

вносим в ячейки С6, D6, E6, F6, G6.

Формулу расчета общей протяженности C5*C9+D5*D9+E5*E9 помещаем в ячейку В5, формулу расчета общей стоимости C6*C9+D6*D9+E6*E9 помещаем в ячейке B6.

Выбираем в меню «Сервис/ Поиск решения», вносим параметры для поиска решения в соответствии с заведенными исходными данными (рис. 4):

По кнопке «Параметры» задаем следующие параметры поиска решения (рис. 5):

После выполнения поиска решения получаем отчет по результатам:

Microsoft Excel 8.0e Отчет по результатам
Отчет создан: 11/17/2002 1:28:30 AM
Целевая ячейка (Максимум)
			Результат
	Общая добыча
Изменяемые ячейки
			Результат
	Количество скважин
	Количество скважин
	Количество скважин
Ограничения
		Значение
	Протяженность			Связанное
	Стоимость проекта			не связан.
	Количество скважин			не связан.
	Количество скважин			Связанное
	Количество скважин			Связанное

В первой таблице приводится исходное и окончательное (оптимальное) значение целевой ячейки, в которую поместили целевую функцию решаемой задачи. Во второй таблице видим исходные и окончательные значения оптимизируемых переменных, которые содержатся в изменяемых ячейках. Третья таблица отчета по результатам содержит информацию об ограничениях. В столбце «Значение» помещены оптимальные значения потребных ресурсов и оптимизируемых переменных. Столбец «Формула» содержит ограничения на потребляемые ресурсы и оптимизируемые переменные, записанные в форме ссылок на ячейки, содержащие эти данные. Столбец «Состояние» определяет связанными или несвязанными являются те или другие ограничения. Здесь «связанные» - это ограничения, реализуемые в оптимальном решении в виде жестких равенств. Столбец «Разница» для ресурсных ограничений определяет остаток используемых ресурсов, т.е. разность между потребным количеством ресурсов и их наличием.

Аналогично, записав результат поиска решения в форме «Отчет по устойчивости», получим следующие таблицы:

Microsoft Excel 8.0e Отчет по устойчивости
Рабочий лист: [Решение задачи оптимизации.xls]Решение задачи по опт-ии добычи
Отчет создан: 11/17/2002 1:35:16 AM
Изменяемые ячейки
			Допустимое	Допустимое
		значение	стоимость	Коэффициент	Увеличение	Уменьшение
	Количество скважин
	Количество скважин
	Количество скважин
Ограничения
		Ограничение	Допустимое	Допустимое
		значение		Правая часть	Увеличение	Уменьшение
	Протяженность
	Стоимость проекта

Отчет по устойчивости содержит информацию об изменяемых (оптимизируемых) переменных и ограничениях модели. Указанная информация связана с используемым при оптимизации линейных задач симплекс-методом, описанному выше в части решения задачи. Она позволяет оценить, насколько чувствительным является полученное оптимальное решение к возможным изменениям параметров модели.

Первая часть отчета содержит информацию об изменяемых ячейках, содержащих значения о количестве скважин на месторождениях. В столбце «Результирующее значение» указываются оптимальные значения оптимизируемых переменных. В столбце «Целевой коэффициент» помещаются исходные данные значения коэффициентов целевой функции. В следующих двух колонках иллюстрируется допустимое увеличение и уменьшение этих коэффициентов без изменения найденного оптимального решения.

Вторая часть отчета по устойчивости содержит информацию по ограничениям, накладываемым на оптимизируемые переменные. В первом столбце указываются данные о потребности в ресурсах для оптимального решения. Второй содержит значения теневых цен на используемые виды ресурсов. В последних двух колонках помещены данные о возможном увеличении или уменьшении объемов имеющихся ресурсов.

Задача кластеризации.

Пошаговый метод решения задачи приведен выше. Приведем здесь Excel-таблицы, иллюстрирующие ход решения задачи:

«метод ближайшего соседа»

Решение задачи кластерного анализа - "МЕТОД БЛИЖАЙШЕГО СОСЕДА"
Исходные данные
где х1 - объем выпускаемой продукции;
х2 - среднегодовая стоимость основных
Промышленно-производственных фондов

«метод дальнего соседа»

Решение задачи кластерного анализа - "МЕТОД ДАЛЬНЕГО СОСЕДА"
Исходные данные
где х1 - объем выпускаемой продукции;
х2 - среднегодовая стоимость основных
Промышленно-производственных фондов

Коэффициент корреляции, предложенный во II–й половине XIX века Г. Т. Фехнером, является наиболее простой мерой связи между двумя переменными. Он основан на сопоставлении двух психологических признаков x i и y i , измеренных на одной и той же выборке, по сопоставлению знаков отклонений индивидуальных значений от среднего: и
. Вывод о корреляции между двумя переменными делается на основании подсчета числа совпадений и несовпадений этих знаков.

Пример

Пусть x i и y i – два признака, измеренные на одной и той же выборке испытуемых. Для вычисления коэффициента Фехнера необходимо вычислить средние значения для каждого признака, а также для каждого значения переменной – знак отклонения от среднего (табл. 8.1):

Таблица 8.1

	x i	y i			Обозначение

В таблице: а – совпадения знаков, b – несовпадения знаков; n a – число совпадений, n b – число несовпадений (в данном случае n a = 4, n b = 6).

Коэффициент корреляции Фехнера вычисляется по формуле:

(8.1)

В рассматриваемом случае:

Вывод

Между исследуемыми переменными существует слабая отрицательная связь.

Необходимо отметить, что коэффициент корреляции Фехнера не является достаточно строгим критерием, поэтому его можно использовать лишь на начальном этапе обработки данных и для формулировки предварительных выводов.

8. 4. Коэффициент корреляции Пирсона

Исходный принцип коэффициента корреляции Пирсона – использование произведения моментов (отклонений значения переменной от среднего значения):

Если сумма произведений моментов велика и положительна, то х и у связаны прямой зависимостью; если сумма велика и отрицательна, то х и у сильно связаны обратной зависимостью; наконец, в случае отсутствия связи между x и у сумма произведений моментов близка к нулю.

Для того чтобы статистика не зависела от объема выборки, берется не сумма произведений моментов, а среднее значение. Однако деление производится не на объем выборки, а на число степеней свободы n - 1.

Величина
является мерой связи междух и у и называется ковариацией х и у .

Во многих задачах естественных и технических наук ковариация является вполне удовлетворительной мерой связи. Ее недостатком является то, что диапазон ее значений не фиксирован, т. е. она может варьировать в неопределенных пределах.

Для того чтобы стандартизировать меру связи, необходимо избавить ковариацию от влияния стандартных отклонений. Для этого надо разделить S xy на s x и s y:

(8.3)

где r xy - коэффициент корреляции, или произведение моментов Пирсона.

Общая формула для вычисления коэффициента корреляции выглядит следующим образом:

(некоторые преобразования)

(8.4)

Влияние преобразования данных на r xy:

1. Линейные преобразования x и y типа bx + a и dy + c не изменят величину корреляции между x и y .

2. Линейные преобразования x и y при b < 0, d > 0, а также при b > 0 и d < 0 изменяют знак коэффициента корреляции, не меняя его величины.

Достоверность (или, иначе, статистическая значимость) коэффициента корреляции Пирсона может быть определена разными способами:

По таблицам критических значений коэффициентов корреляции Пирсона и Спирмена (см. Приложение, табл. XIII). Если полученное в расчетах значение r xy превышает критическое (табличное) значение для данной выборки, коэффициент Пирсона считается статистически значимым. Число степеней свободы в данном случае соответствует n – 2, где n – число пар сравниваемых значений (объем выборки).

По таблице XV Приложений, которая озаглавлена «Количество пар значений, необходимое для статистической значимости коэффициента корреляции». В данном случае необходимо ориентироваться на коэффициент корреляции, полученный в вычислениях. Он считается статистически значимым, если объем выборки равен или превышает табличное число пар значений для данного коэффициента.

По коэффициенту Стьюдента, который вычисляется как отношение коэффициента корреляции к его ошибке:

(8.5)

Ошибка коэффициента корреляции вычисляется по следующей формуле:

где m r - ошибка коэффициента корреляции, r - коэффициент корреляции; n - число сравниваемых пар.

Рассмотрим порядок вычислений и определение статистической значимости коэффициента корреляции Пирсона на примере решения следующей задачи.

Условие задачи

22 старшеклассника были протестированы по двум тестам: УСК (уровень субъективного контроля) и МкУ (мотивация к успеху). Получены следующие результаты (табл. 8.2):

Таблица 8.2

	УСК (x i )	МкУ (y i )		УСК (x i )	МкУ (y i )

Задание

Проверить гипотезу о том, что для людей с высоким уровнем интернальности (балл УСК) характерен высокий уровень мотивации к успеху.

Решение

1. Используем коэффициент корреляции Пирсона в следующей модификации (см. формулу 8.4):

Для удобства обработки данных на микрокалькуляторе (в случае отсутствия необходимой компьютерной программы) рекомендуется оформление промежуточной рабочей таблицы следующего вида (табл. 8.3):

Таблица 8.3

				x i y i
				x 1 y 1 x 2 y 2 x 3 y 3 x n y n
				Σx i y i

2. Проводим вычисления и подставляем значения в формулу:

3. Определяем статистическую значимость коэффициента корреляции Пирсона тремя способами:

1-й способ:

В табл. XIII Приложений находим критические значения коэффициента для 1-го и 2-го уровней значимости: r кр. = 0,42; 0,54 (ν = n – 2 = 20).

Делаем вывод о том, r xy > r кр . , т. е. корреляция является статистически значимой для обоих уровней.

2-й способ:

Воспользуемся табл. XV, в которой определяем число пар значений (число испытуемых), достаточное для статистической значимости коэффициента корреляции Пирсона, равного 0,58: для 1-го, 2-го и 3-го уровней значимости оно составляет, соответственно, 12, 18 и 28.

Отсюда мы делаем вывод о том, что коэффициент корреляции является значимым для 1-го и 2-го уровня, но «не дотягивает» до 3-го уровня значимости.

3-й способ:

Вычисляем ошибку коэффициента корреляции и коэффициент Стьюдента как отношение коэффициента Пирсона к ошибке:

В табл. X находим стандартные значения коэффициента Стьюдента для 1-го, 2-го и 3-го уровней значимости при числе степеней свободы ν = n – 2 = 20: t кр. = 2,09; 2,85; 3,85.

Общий вывод

Корреляция между показателями тестов УСК и МкУ является статистически значимой для 1-го и 2-го уровней значимости.

Примечание:

При интерпретации коэффициента корреляции Пирсона необходимо учитывать следующие моменты:

Коэффициент Пирсона может использоваться для различных шкал (шкала отношений, интервальная или порядковая) за исключением дихотомической шкалы.

Корреляционная связь далеко не всегда означает связь причинно-следственную. Другими словами, если мы нашли, предположим, положительную корреляцию между ростом и весом у группы испытуемых, то это вовсе не означает, что рост зависит от веса или наоборот (оба этих признака зависят от третьей (внешней) переменной, каковая в данном случае связана с генетическими конституциональными особенностями человека).

r xu » 0 может наблюдаться не только при отсутствии связи между x и y , но и в случае сильной нелинейной связи (рис. 8.2 а). В данном случае отрицательная и положительная корреляции уравновешиваются и в результате создается иллюзия отсутствия связи.

r xy может быть достаточно мал, если сильная связь между х и у наблюдается в более узком диапазоне значений, чем исследуемый (рис. 8.2 б).

Объединение выборок с различными средними значениями может создавать иллюзию достаточно высокой корреляции (рис. 8.2 в).

y i y i y i

+ + . .

x i x i x i

Рис. 8.2. Возможные источники ошибок при интерпретации величины коэффициента корреляции (объяснения в тексте (пункты 3 – 5 примечания))

И некоторые ранговые коэффициенты

Кроме рассмотренных в подразд. 10.2 коэффициента кор-

Реляции, коэффициента детерминации, корреляционного от-

Ношения, существуют и другие коэффициенты для оценки

Степени тесноты корреляционной связи между изучаемыми

Явлениями, причем формулы для их нахождения достаточно

Просты. Рассмотрим некоторые из таких коэффициентов.

Коэффициент корреляции знаков Фехнера

Этот коэффициент является простейшим показателем

Степени тесноты связи, он был предложен немецким ученым

Г. Фехнером. Данный показатель основан на оценке степени

Согласованности направлений отклонений индивидуальных

Значений факторного и результативного признаков от соот-

Ветствующих средних значений. Для его определения вычис-

Ляют средние значения результативного () и факторного ()

Признаков, а затем находят знаки отклонений от средних для

Всех значений результативного и факторного признаков. Если

сравниваемое значение больше среднего, то ставится знак “+”,

а если меньше - знак “-”. Совпадение знаков по отдельным

значениям рядов x и y означает согласованную вариацию, а их

Несовпадение - нарушение согласованности.

Коэффициент Фехнера находится по следующей формуле:

, (10.40)

где С - число совпадений знаков отклонений индивидуаль-

Ных значений от средней величины;

Н - число несовпадений знаков отклонений индивидуаль-

Ных значений от средней величины.

Заметим, что -1 ≤ Кф ≤ 1. При Кф = ±1 имеем полную пря-

мую или обратную согласованность. При Кф = 0 - связь между

Рядами наблюдений отсутствует.

По исходным данным примера 10.1 рассчитаем коэффици-

Ент Фехнера. Необходимые данные для его определения помес-

тим в табл. 10.4.

Из табл. 10.4 находим, что С = 6; Н = 0, поэтому по форму-

ле (10.40) получаем: , т. е. полную прямую зависимость

между хищениями оружия (х ) и вооруженными преступлени-

ями (y ). Полученное значение Кф подтверждает вывод, сделан-

Ный после вычисления коэффициента корреляции о том, что

Между рядами x и y существует достаточно близкая прямая

Линейная зависимость.

Таблица 10.4

Хищение

оружия, x

Вооруженные

преступления, y

Знаки отклонения от средней

773 4481 − −

1130 9549 − −

1138 8873 − −

1336 12160 + +

1352 18059 + +

1396 19154 + +

Коэффициент корреляции рангов Спирмэна

Данный коэффициент относится к ранговым, т. е. коррели-

Руются не сами значения факторного и результативного при-

Знаков, а их ранги (номера их мест, занимаемых в каждом ряду

Значений по возрастанию или убыванию). Коэффициент кор-

Реляции рангов Спирмэна основан на рассмотрении разности

Рангов значений факторного и результативного признаков. Для

его нахождения используется следующая формула:

, (10.41)

Где - квадрат разности рангов.

Рассчитаем коэффициент Спирмэна по данным рассмат-

Риваемого примера 10.1. Так как значение факторного призна-

ка х мы изначально расположили по возрастанию, то ряд х ран-

жировать не надо. Ранжируем (от меньшего к большему) ряд y .

Все необходимые данные для расчета помещены в табл. 10.5.

Таблица 10.5

Ранги Rgx ряда х Ранги Rgy ряда y |di | = |Rgxi − Rgyi |

Теперь по формуле (10.41) получаем

Заметим, что -1 ≤ ρc ≤ 1, т. е. полученное значение показыва-

Ет, что между хищениями оружия и вооруженными преступле-

Задача 1. По условным данным таблицы о стоимости основных фондов х и валовом выпуске продукции у (в порядке возрастания стоимости основных фондов) выявить наличие и характер корреляционной связи между признаками x и y .
Таблица. Стоимость основных фондов и валовой выпуск по 10 однотипным предприятиям

Предприятия i	Основные производственные фонды, млн. руб. xi	Валовой выпуск продукции, млн. руб. yi
1 2 3 4 5 6 7 8 9 10	12 16 25 38 43 55 60 80 91 100	28 40 38 65 80 101 95 125 183 245	– – – – – + + + + +	– – – – – + – + + +

Решение. Для выявления наличия и характера корреляционной связи между двумя признаками в статистике используется ряд методов .
1. Графический метод , когда корреляционную зависимость для наглядности можно изобразить графически. Для этого, имея n взаимосвязанных пар значений x и y и пользуясь прямоугольной системой координат, каждую такую пару изображают в виде точки на плоскости с координатами x и y . Соединяя последовательно нанесенные точки, получают ломаную линию, именуемую эмпирической линией регрессии (см. рисунок справа). Анализируя эту линию, визуально можно определить характер зависимости между признаками x и y . В нашей задаче эта линия похожа на восходящую прямую, что позволяет выдвинуть гипотезу о наличии прямой зависимости между величиной основных фондов и валовым выпуском продукции.
2. Рассмотрение параллельных данных (значений x и y в каждой из n единиц). Единицы наблюдения располагают по возрастанию значений факторного признака х и затем сравнивают с ним (визуально) поведение результативного признака у . В нашей задаче в большинстве случаев по мере увеличения значений x увеличиваются и значения y (за несколькими исключениями – 2 и 3, 6 и 7 предприятия), поэтому, можно говорить о прямой связи между х и у (этот вывод подтверждает и эмпирическая линия регрессии). Теперь необходимо ее измерить, для чего рассчитывают несколько коэффициентов.
3. Коэффициент корреляции знаков (Фехнера ) – простейший показатель тесноты связи, основанный на сравнении поведения отклонений индивидуальных значений каждого признака (x и y ) от своей средней величины. При этом во внимание принимаются не величины отклонений () и (), а их знаки («+» или «–»). Определив знаки отклонений от средней величины в каждом ряду, рассматривают все пары знаков и подсчитывают число их совпадений (С ) и несовпадений (Н ). Тогда коэффициент Фехнера рассчитывается как отношение разности чисел пар совпадений и несовпадений знаков к их сумме, т.е. к общему числу наблюдаемых единиц:
.
Очевидно, что если знаки всех отклонений по каждому признаку совпадут, то КФ= 1, что характеризует наличие прямой связи. Если все знаки не совпадут, то КФ=– 1(обратная связь). Если же å С= å Н , то КФ= 0. Итак, как и любой показатель тесноты связи, коэффициент Фехнера может принимать значения от 0 до 1. Однако, если КФ= 1, то это ни в коей мере нельзя воспринимать как свидетельство функциональной зависимости между х и у .
В нашей задаче ; .
В двух последних столбцах таблицы приведены знаки отклонений каждого х и у от своей средней величины.

Число совпадений знаков – 9, а несовпадений – 1. Отсюда КФ==0,8 .

Обычно такое значение показателя тесноты связи характеризует сильную зависимость, однако, следует иметь в виду, что поскольку КФ зависит только от знаков и не учитывает величину самих отклонений х и у от их средних величин, то он практически характеризует не столько тесноту связи, сколько ее наличие и направление.
4. Линейный коэффициент корреляции применяется в случае линейной зависимости между двумя количественными признаками x и y . В отличие от КФ в линейном коэффициенте корреляции учитываются не только знаки отклонений от средних величин, но и значения самих отклонений, выраженные для сопоставимости в единицах среднего квадратического отклонения t :
и .
Линейный коэффициент корреляции r представляет собой среднюю величину из произведений нормированных отклонений для x и у :
, или .
Числитель формулы, деленный на n , т.е. , представляет собой среднее произведение отклонений значений двух признаков от их средних значений, именуемое ковариацией . Поэтому можно сказать, что линейный коэффициент корреляции представляет собой частное от деления ковариации между х и у на произведение их средних квадратических отклонений. Путем несложных математических преобразований можно получить и другие модификации формулы линейного коэффициента корреляции, например:
.
Линейный коэффициент корреляции может принимать значения от –1 до +1, причем знак определяется в ходе решения.

Например, если , то r по формуле будет положительным, что характеризует прямую зависимость между х и у , в противном случае (r < 0) – обратную связь.

Если , то r = 0, что означает отсутствие линейной зависимости между х и у , а при r = 1 – функциональная зависимость между х и у . Следовательно, всякое промежуточное значение r от 0 до 1 характеризует степень приближения корреляционной связи между х и у к функциональной. Таким образом, коэффициент корреляции при линейной зависимости служит как мерой тесноты связи, так и показателем, характеризующим степень приближения корреляционной зависимости между х и у к линейной. Поэтому близость значения r к 0 в одних случаях может означать отсутствие связи между х и у , а в других свидетельствовать о том, что зависимость не линейная.
В нашей задаче для расчета r построим вспомогательную таблицу.
Таблица. Вспомогательные расчеты линейного коэффициента корреляции

i

В нашей задаче: = =29,299; ==65,436.

Тогда r = 9,516166/10 = 0,9516.

Аналогично: r = 1824,4/(29,299*65,436) = 0,9516

или r = (7024,4 – 52*100) / (29,299*65,436) = 0,9516, то есть связь между величиной основных фондов и валовым выпуском продукции очень близка к функциональной.

Проверка коэффициента корреляции на значимость (существенность). Интерпретируя значение коэффициента корреляции, следует иметь в виду, что он рассчитан для ограниченного числа наблюдений и подвержен случайным колебаниям, как и сами значения x и y , на основе которых он рассчитан. Другими словами, как любой выборочный показатель, он содержит случайную ошибку и не всегда однозначно отражает действительно реальную связь между изучаемыми показателями. Для того, чтобы оценить существенность (значимость) самого r и, соответственно, реальность измеряемой связи между х и у , необходимо рассчитать среднюю квадратическую ошибку коэффициента корреляции σ r . Оценка существенности (значимости) r основана на сопоставлении значения r с его средней квадратической ошибкой: .
Существуют некоторые особенности расчета σ r в зависимости от числа наблюдений (объема выборки) – n .

• Если число наблюдений достаточно велико (n >30), то σ r рассчитывается по формуле (86):

.
Обычно, если >3, то r считается значимым (существенным), а связь – реальной.

Задавшись определенной вероятностью, можно определить доверительные пределы (границы)

r = (), где t – коэффициент доверия, рассчитываемый по интегралу Лапласа (см. таблицу 4).

• Если число наблюдений небольшое (n <30), то σ r рассчитывается по формуле:

,
а значимость r проверяется на основе t - критерия Стьюдента, для чего определяется расчетное значение критерия по формуле (88) и сопоставляется c t ТАБЛ .
.
Табличное значение t ТАБЛ находится по таблице распределения t -критерия Стьюдента (см. приложение 2) при уровне значимости α=1-β и числе степеней свободы ν= n –2 . Если t РАСЧ > t ТАБЛ ,то r считается значимым, а связь между х и у – реальной. В противном случае (t РАСЧ < t ТАБЛ ) считается, что связь между х и у отсутствует, и значение r , отличное от нуля, получено случайно.
В нашей задаче число наблюдений небольшое, значит, оценивать существенность (значимость) линейного коэффициента корреляции будем по формулам:

= 0,3073/2,8284 = 0,1086; = 0,9516/0,1086 = 8,7591.

При вероятности 95% t табл = 2,306, а при вероятности 99% t табл = 3,355, значит, t РАСЧ > t ТАБЛ , что дает возможность считать линейный коэффициент корреляции r = 0,9516 значимым.

5. Подбор уравнения регрессии представляет собой математическое описание изменения взаимно коррелируемых величин по эмпирическим (фактическим) данным. Уравнение регрессии должно определить, каким будет среднее значение результативного признака у при том или ином значении факторного признака х, если остальные факторы, влияющие на у и не связанные с х, не учитывать, т.е. абстрагироваться от них. Другими словами, уравнение регрессии можно рассматривать как вероятностную гипотетическую функциональную связь величины результативного признака у со значениями факторного признака х.
Уравнение регрессии можно также назвать теоретической линией регрессии. Рассчитанные по уравнению регрессии значения результативного признака называются теоретическими .Они обычно обозначаются (читается: «игрек, выравненный по х») и рассматриваются как функция от х , т.е. = f (x ). (Иногда для простоты записи вместо пишут . )
Найти в каждом конкретном случае тип функции, с помощью которой можно наиболее адекватно отразить ту или иную зависимость между признаками х и у, - одна из основных задач регрессионного анализа. Выбор теоретической линии регрессии часто обусловлен формой эмпирической линии регрессии; теоретическая линия как бы сглаживает изломы эмпирической линии регрессии. Кроме того, необходимо учитывать природу изучаемых показателей и специфику их взаимосвязей.
Для аналитической связи между х и у могут использоваться следующие простые виды уравнений:
– прямая линия; – парабола;
– гипербола; – показательная функция;
– логарифмическая функция и др.
Обычно зависимость, выражаемую уравнением прямой, называют линейной (или прямолинейной), а все остальные - криволинейными зависимостями .
Выбрав тип функции, по эмпирическим данным определяют параметры уравнения. При этом отыскиваемые параметры должны быть такими, при которых рассчитанные по уравнению теоретические значения результативного признака были бы максимально близки к эмпирическим данным.
Существует несколько методов нахождения параметров уравнения регрессии. Наиболее часто используется метод наименьших квадратов (МНК). Его суть заключается в следующем требовании: искомые теоретические значения результативного признака должны быть такими, при которых бы обеспечивалась минимальная сумма квадратов их отклонений от эмпирических значений, т.е.
.
Поставив данное условие, легко определить, при каких значениях , и т.д. для каждой аналитической кривой эта сумма квадратов отклонений будет минимальной. Данный метод уже использовался нами в методических указаниях к теме 4 «Ряды динамики», поэтому, воспользуемся формулой (57) для нахождения параметров теоретической линии регрессии в нашей задаче, заменив параметр t на x .

Исходные данные и все расчеты необходимых сумм представим в таблице:

Таблица. Вспомогательные расчеты для решения задачи

i
5; x и y и измерить тесноту этой связи: коэффициент Фехнера и линейный коэффициент корреляции. Наряду с ними существует универсальный показатель – корреляционное отношение (или коэффициент корреляции по Пирсону ), применимое ко всем случаям корреляционной зависимости независимо от формы этой связи. Следует различать эмпирическое и теоретическое корреляционные отношения. Эмпирическое корреляционное отношение рассчитывается на основе правила сложения дисперсий как корень квадратный из отношения межгрупповой дисперсии к общей дисперсии, т.е. . Теоретическое корреляционное отношение определяется на основе выравненных (теоретических) значений результативного признака , рассчитанных по уравнению регрессии. представляет собой относительную величину, получаемую в результате сравнения среднего квадратического отклонения в ряду теоретических значений результативного признака со средним квадратическим отклонением в ряду эмпирических значений. Если обозначить дисперсию эмпирического ряда игреков через <0,6 – о средней, при 0,6<<0,8 – о зависимости выше средней, при >0,8 – о большой, сильной зависимости. Корреляционное отношение применимо как для парной, так и для множественной корреляции независимо от формы связи. При линейной зависимости . В нашей задаче расчет необходимых сумм для использования в формуле (93) приведен в последних двух столбцах таблицы 12. Тогда теоретический коэффициент детерминации по формуле (93) равен:2теор = 38762,125 / 42818 = 0,9053, то есть дисперсия, выражающая влияние вариации фактора x на вариацию y , составляет 90,53%. Теоретическое корреляционное отношение по формуле (94) равно: теор == 0,9515, что совпадает со значением линейного коэффициента корреляции и, следовательно, можно говорить о большой, сильной зависимости между коррелируемыми величинами.

Следует упомянуть коэффициент Фехнера, характеризующий элементарную степень тесноты связи, который целесообразно использовать для установления факта наличия связи, когда существует небольшой объем исходной информации.

Он основан на сравнении поведения отклонений индивидуальных значений каждого признака ( и ) от своей средней величины. При этом во внимание принимаются не величины отклонений , а их знаки («+» или «-»). Определив знаки отклонения от средней величины в каждом ряду, рассматривают все пары знаков и подсчитывают число их совпадений () и несовпадений ().

Коэффициент Фехнера ()рассчитывается как отношение разности чисел пар совпадений и несовпадений знаков к их сумме, т.е. к общему числу наблюдаемых единиц:

. (9.12)

Очевидно, что если знаки всех отклонений по каждому признаку совпадают, то и тогда . Это характеризует наличие прямой связи. Если все знаки не совпадают, то , а , что характеризует обратную связь. Коэффициент Фехнера, как и любой другой показатель тесноты связи, может принимать значения от -1 до +1.

Пример 9.3 . Имеются следующие данные о росте восьми пар братьев и сестер (таблица 9.2).

Таблица 9.2 - Данные о росте восьми пар братьев и сестер

Рост брата, см	Рост сестры, см

Определить тесноту зависимости между ростом братьев и сестер на основе:

а) коэффициента Фехнера;

б) коэффициентов корреляции рангов Спирмэна и Кендэла.

Решение:

а) Рассчитаем средние величины и :

Определив знаки отклонения от средней величины в каждом ряду, рассматривают все пары знаков и подсчитывают число их совпадений () и несовпадений ():

.

Коэффициент Фехнера ()рассчитывается по формуле 9.8:

.

По величине коэффициента Фехнера () можно сделать вывод о весьма тесной зависимости между и .

б) По уже имеющимся данным (графы 1-2 таблицы 9.2) для нахождения коэффициентов корреляции рангов Спирмэна и Кендэла построим таблицу 9.3.

Таблица 9.3 – Расчетные значения, необходимые для исчисления коэффициентов корреляции рангов Спирмэна и Кендэла

						Подсчет баллов
«+»	«-»
		6,5 6,5	1,5 1,5 6,5 6,5	-0,5 -1 -2 2,5 -0,5 -1,5	0,25 6,25 0,25 2,25	-	-

В данном примере отдельные значения и повторяются. При ранжировании повторяющихся значений, им присваивается ранг, рассчитанный как средняя арифметическая из суммы мест, которые они занимают по возрастанию.

Расчет рангов показан в графах 3 и 4.

Для случая повторяющихся рангов есть особые скорректированные формулы и для коэффициента Спирмэна, и для коэффициента Кендэла. Однако на практике часто пользуются приведенной ранее формулой Спирмэна и для случая повторяющихся рангов, поскольку ошибку она дает весьма малую:

.

Формула коэффициента Кендэла для повторяющихся рангов имеет вид:

,

где , как и раньше, a и -показатели, корректирующие максимальную сумму баллов и определяемые по формуле , где - число повторяющихся рангов в соответствующем ряду и :

Так как значения рангов идут строго в возрастающем порядке, то следим лишь за поведением . После первой пары значений рангов, где в шести случаях идут значения и ни одного случая, где . Это означает, что в графу 7 мы ставим число «6», а в графу 8число «0». Далее после второй пары значений рангов, где в четырех случаях идут значения и ни одного случая, где . Это означает, что в графу 7 мы ставим число «4», а в графу 8число «0». ». В случае, если бы после второй пары значений рангов, где в трех случаях шли бы значения и два случая, где - это означало бы, что в графу 7 мы ставим число «3», а в графу 8число «2» и т.д.

Расчет и показан в графах 7 и 8. По результатам подсчетов .

Отсюда коэффициент корреляции рангов Кендэла:

По величине коэффициента () можно сделать вывод о весьма тесной зависимости между и , т.е. рост сестры весьма зависим от роста её брата.

Говоря о расчете коэффициента Кендэла, следует еще раз подчеркнуть, что если наблюдаемые единицы совокупности записаны неупорядоченно по одному из признаков (таблица 9.2.), то после ранжирования значений и , ранги одного из признаков, например , следует переписать, расположив их строго в порядке возрастания (или убывания), а для второго признака сохранить значения рангов, соответствующие значениям каждого в исходных данных (таблица 9.3).

Коэффициент конкордации

Корреляция рангов ()может определяться не только для двух, но и для большего числа показателей (факторов). Исчисляемый в этом случае показатель именуется коэффициентом конкордации ()и рассчитывается по формуле:

, (9.13)

где - количество коррелируемых факторов;

Число наблюдений;

- сумма квадратов отклонений суммы рангов по факторам от их средней арифметической, т.е.

а) или, что по значению тоже самое, (9.14)

б) где - ранг -го показателя. (9.15)

Коэффициент конкордации часто используется в экспертных оценках для определения согласованности мнений экспертов в распределение мест (рангов) между исследуемыми факторами или объектами по их приоритетности.

Пример 9.4. Пусть имеются следующие данные по пяти фирмам (графы 1-4 таблицы 9.4).

Таблица 9.4 – Исходные данные и промежуточные расчеты коэффициентов конкордации

Фирма	Прибыль, тыс. руб.	Стоимость оборотных средств, млн. руб.	Затраты на 100 руб. продукции, руб.	Ранги факторов	Сумма рангов	Квадрат суммы рангов
		2,0 2,5 1,8 2,2 2,4
Σ

Определить тесноту зависимости между с помощью коэффициента конкордации.

Решение:

1. Ранжираем каждый и трех показателей (графы 5-7).

2. Находим сумму рангов по каждой строке (графа 8) и общую сумму пяти строк

3. Возводим в квадрат сумму рангов в каждой строке и находим сумму пяти строк (графа 9):

.

4. Находим , используя формулу 9.11:

.

5. Рассчитаем коэффициент конкордации:

Учитывая малое значение коэффициента конкордации, можно сказать, что зависимость между рассматриваемыми показателями весьма незначительна.

Существуют и другие коэффициенты для измерения тесноты зависимости (коэффициенты ассоциации и контингенции ; коэффициент взаимной сопряженности Пирсона ; коэффициент Чупрова ), которые применяются достаточно редко.

Непараметрические методы

Применение корреляционного и регрессионного анализа требует, чтобы все признаки были количественно измеренными. Построение аналитических группировок предполагает, что количественным должен быть результативный признак. Параметрические методы основаны на использовании основных количественных параметров распределения (средних величин и дисперсий).

Вместе с тем в статистике применяются также непараметрические методы , с помощью которых устанавливается связь между качественными (атрибутивными) признаками . Сфера их применения шире, чем параметрических, поскольку не требуется соблюдения условия нормальности распределения зависимой переменной, однако при этом снижается глубина исследования связей. При изучении зависимости между качественными признаками не ставится задача представления ее уравнением. Здесь речь идет только об установлении наличия связи и измерении ее тесноты.

В практике статистических исследований приходится иногда анализировать связи между альтернативными признаками , представленными только группами с противоположными (взаимоисключающими) характеристиками. Тесноту связи в этом случае можно оценить, вычислив коэффициент ассоциации.

Для расчета коэффициента ассоциации строится четырехклеточная корреляционная таблица, которая носит название таблицы «четырех полей» и имеет следующий вид:

a	b	a+b
c	d	c+d
a+c	b+d	a+b+c+d

Применительно к таблице «четырех полей» с частотами и коэффициент ассоциации выражается формулой:

. (9.16)

Коэффициент ассоциации изменяется от -1 до +1; чем ближе к +1 или -1, тем сильнее связаны между собой изучаемые признаки.

Если не менее 0,3, то это свидетельствует о наличии связи между качественными признаками.

Пример 9.5 . Имеющиеся данные о росте отцов и сыновей представлены в таблице 9.5.

Таблица 9.5 - Распределение отцов и сыновей по росту, чел.

Рост сына	Рост отца	Всего
Ниже среднего	Выше среднего
Ниже среднего
Выше среднего
Итого

Подсчитаем коэффициент ассоциации по данным таблицы 9.5:

Поскольку , между ростом отцов и сыновей существует корреляционная связь.

Если по каждому из взаимосвязанных признаков выделяется число групп более двух, то для подобного рода таблиц теснота связи между качественными признаками может быть измерена с помощью показателя взаимной сопряженности А.A. Чупрова:

(9.17)

где - число возможных значений первой статистической величины (число групп по столбцам);

Число возможных значений второй статистической величины (число групп по строкам);

Показатель взаимной сопряженности (определяется как сумма отношений квадратов частот клетки таблицы распределения к произведению итоговых частот соответствующего столбца и строки).

Вычтя из этой суммы единицу, получим .

Коэффициент взаимной сопряженности А.А. Чупрова изменяется от 0 до 1, но уже при значении 0,3 можно говорить о тесной связи между вариацией изучаемых признаков.

Пример 9.6. Данные об уровне образования членов 100 семей приведены в таблице 9.6.

Таблица 9.6- Распределение семей по уровню образования мужа и жены

Примечание: частоты - верхние строки; их квадраты (в скобках) - средние строки; квадраты частот, деленные на суммы частот по столбцу - нижние строки; в итоговых столбцах - сумма частот, сумма результатов деления (А), а также результат деления нижнего числа на верхнее - последний столбец (В).

Тогда , .

Коэффициент взаимной сопряженности А.А. Чупрова:

.

Его значение показывает заметную связь между уровнями образования мужа и жены при формировании семьи.