Реферат: Компонентный и факторный анализ

Реферат: Компонентный и факторный анализ

Министерство  образования  Российской Федерации

ОРЕНБУРГСКИЙ   ГОСУДАРСТВЕННЫЙ  УНИВЕРСИТЕТ

Финансово-экономический факультет

Кафедра  МММЭ

КУРСОВАЯ РАБОТА

по дисциплине "Многомерные статистические методы"

Компонентный и факторный анализ

ОГУ  061700.5001.06 00

                                       Руководитель работы

__________________   Реннер А.Г.

                                               “____”_____________2001г.

                       Исполнитель

                           студент гр.99ст

                                                                          ______________ Рамазанов М.И.

                                                  “_____”____________2001г.

Оренбург 2001

Содержание

Задание……………………………………………………………………………3

Введение……………………………………………………………………….….4

1 Исследование на мультиколлинеарность……………………………..……5                                                

2 Метод главных компонент………………………………………………..….7

    2.1 Вычисление главных компонент……………………………………….…7

    2.2 Экономическая интерпретация полученных главных компонент…..…12

    2.3 Матрица наблюденных значений главных компонент……………...….12

    2.4 Классификация объектов…………………………………………………13

    2.5 Уравнение регрессии на главные компоненты………………………….13

3 Факторный анализ………………………………...…………………………15 

    3.1 Преобразование матрицы парных коэффициентов корреляции  в   редуцированную матрицу, получение матрицы факторных нагрузок и экономическая интерпретация ………………………………………………..…...16

    3.2 Графическая классификация объектов по двум общим факторам…….19

    3.3 Переход к обобщенным факторам с помощью варимаксного

     вращения ……………………………………………………………………...19

    3.4 Построение функции регрессии на выделенные общие факторы…......21

Список использованной литературы………………………………………...22

Приложения………………………………………………………..………...…23

Задание

 По имеющимся данным производственно-хозяйственной деятельности предприятий машиностроения:

Y1 – производительность труда;

X5 – удельный вес рабочих в составе ППП;

X6 – удельный вес покупных изделий;

X7 – коэффициент покупных изделий;

X9 – удельный вес потерь от брака;

X17 – непроизводственные расходы.

1. Выявить наличие мультиколлинеарности.

2. Снизить размерность признакового пространства и удалить наличие мультиколлинеарности следующими методами:

Метод главных компонент:

-     для факторных признаков найти оценку матрицы парных коэффициентов корреляции, найти собственные числа и собственные вектора;

-      на основании матрицы собственных чисел определить вклад главных компонент в суммарную дисперсию признаков, отобрать и указать m (m<n) первых главных компонент, обеспечивающих уровень информативности 0.85;

-      построить матрицу факторных нагрузок A и дать экономическую интерпретацию;

-      по матрице наблюденных значений главных компонент F провести классификацию объектов по первым двум главным компонентам, дать интерпретацию;

-      используя вектор значений результативного признака Y и матрицу F построить уравнение регрессии.

Метод общих факторов:

-     оценить матрицу парных коэффициентов ;

-      преобразовать матрицу  в редуцированную матрицу h;

-      получить первые три общих фактора и дать экономическую интерпретацию по матрице факторных нагрузок;

-      на основе матрицы F провести графически классификацию объектов по первым двум общим факторам;

-      построить функцию регрессии на выделенные общие факторы.

Введение

           Наличие множества исходных признаков, характеризующих процесс функционирования объектов, заставляет отбирать из них наиболее существенные и изучать меньший набор показателей. Чаще исходные признаки подвергаются некоторому преобразованию, которое обеспечивает минимальную потерю информации. Такое решение может быть обеспечено методами снижения размерности, куда относят факторный и компонентный анализ. Эти методы позволяют учитывать эффект существенной многомерности данных, дают возможность лаконичного или более простого объяснения многомерных структур. Они вскрывают объективно существующие, непосредственно не наблюдаемые закономерности при помощи полученных факторов или главных компонент. Они дают возможность достаточно просто и точно описать наблюдаемые исходные данные, структуру и характер взаимосвязей между ними. Сжатие информации получается за счет того, что число факторов или главных компонент – новых единиц измерения – используется значительно меньше, чем было исходных признаков.

1. Исследование на мультиколлинеарность объясняющие пере­менные.

Приведем результаты по исследованию на мультиколлинеарность:

1)   Коэффициенты корреляционной матрицы для объясняющих переменных не превышают 0,75, то есть тесная линейная связь между компонентами не подозревается.

2)   Найдем определитель матрицы XTX, det(XTX)= 1.425E+6 - мал. Необходимое условие мультиколлинеарности (плохой обусловленности системы).

3)   В численных методах обусловленность системы характеризуется числом обусловленности М

 , где - собственные числа матрицы системы линейных уравнений.

Если число обусловленности велико, то система плохо обусловлена (порядка выше 10).

      Собственные числа матрицы  =2.292, =1.042, =0.952, =0.659, =0.055.

  - велико система плохо обусловлена.

4)   Анализ корреляционной матрицы  позволяет лишь в первом приближении (и относительно поверхностно) судить об отсутствии мультиколлинеарности в наших исходных данных. Более внимательное изучение этого вопроса достигается с помощью расчёта значений коэффициентов детерминации  каждой из объясняющих переменных на все остальные.

Проверим с уровнем  значимость множественных коэффициентов корреляции.

Строим статистику:

Если

Т. к. все  то отвергаем нулевую гипотезу, т. е. будем считать, что все генеральные множественные коэффициенты корреляции не равны нулю, т. е. значимы.

Для наибольшего значимого множественного коэффициента корреляции получим оценку уравнения регрессии.

                                       (0,302)                  (0,524)                    (0,0003)                       (0,079)

С учётом значимых коэффициентов получим:

Выявили наличие мультиколлениарности, одним из методов ее устранения является метод главных компонент.

2 Метод главных компонент

Компонентный анализ относится к многомерным методам снижения размерности. Он содержит один метод – метод главных компонент. Главные компоненты представляют собой ортогональную систему координат, в которой дисперсии компонент характеризуют их статистические свойства.

Учитывая, что объекты исследования в экономике характеризуются большим, но конечным количеством признаков, влияние которых подвергается воздействию большого количества случайных причин.

2.1 Вычисление главных компонент

        Первой главной компонентой Z1 исследуемой системы признаков Х1, Х2, Х3 , Х4 ,…, Хn называется такая центрировано – нормированная линей­ная комбинация этих признаков, которая среди прочих центрировано – нормированных линейных комбинаций этих признаков, имеет дисперсию наиболее изменчивую.

В качестве второй главной компоненты Z2 мы будем брать такую цен­трировано – нормированную комбинацию этих признаков, которая:

1.   не коррелированна с первой главной компонентой,

2.   среди всех возможных комбинаций исходных признаков, которые не

не коррелированны с  первой главной компонентой, эта комбинация имеет наибольшую дисперсию.

K-ой  главной компонентой Zk (k=1…m) мы будем называть такую центрировано – нормированную комбинацию признаков, которая:

3.   не коррелированна с к-1 предыдущими главными компонентами,

4.   среди всех возможных комбинаций исходных признаков, которые не

не коррелированны с к-1 предыдущими главными компонентами, эта комбинация имеет наибольшую дисперсию.

      Введём ортогональную матрицу U и перейдём от переменных Х к переменным Z, при­чём   

      Вектор  выбирается т. о., чтобы дисперсия  была максимальной. После получения  выбирается  т. о., чтобы дисперсия  была максимальной при условии, что  не корре­лированно с  и т. д.

Так как признаки измерены в несопоставимых величинах, то удобнее будет перейти к центрированно-нормированным величинам. Матрицу исходных  центрированно-нормированных значений признаков найдем из соотношения:

,

где - несмещенная, состоятельная и эффективная оценка математического ожидания,

  -несмещенная, состоятельная и эффективная оценка дисперсии.

Матрица наблюденных значений исходных признаков приведена в Приложении.

 Центрирование и нормирование произведено с помощью программы"Stadia".

        Так как признаки центрированы и нормированы, то оценку корреляционной матрицы можно произвести по формуле:

.

     Перед тем как проводить компонентный анализ, проведем анализ незави­симости исходных признаков.

         Проверка значимости матрицы парных корреляций с помощью кри­терия Уилкса.

Выдвигаем гипотезу:

     Н0:  незначима

     Н1:  значима

Строим статистику , распределена по закону  с  степенями свободы.

     =125,7; (0,05;3,3) = 7,8

т.к > , то гипотеза Н0 отвергается и матрица является значимой, следовательно, имеет смысл проводить компонентный анализ.

      Проверим гипотезу о диагональности  ковариационной матрицы

           Выдвигаем гипотезу:

     Н0: соv=0,

     Н1: соv

     Строим статистику , распределена по закону  с  степенями свободы.

=123,21, (0,05;10) =18,307 т.к > то гипотеза Н0 отвергается и имеет смысл проводить компонентный анализ.

        Для построения матрицы факторных нагрузок необходимо найти собственные числа матрицы , решив уравнение.

Используем для этой операции функцию eigenvals системы MathCAD, которая возвращает собственные числа матрицы:

Т.к. исходные данные представляют собой выборку из генеральной сово­купности, то мы получили не собственные числа  и собственные век­тора матрицы, а их оценки. Нас будет интересовать на сколько “хорошо” со статистической точки зрения выборочные характеристики описывают соот­ветствующие параметры для генеральной совокупности.

   Доверительный интервал для i-го собственного числа ищется по формуле:

Доверительные интервалы для собственных чисел в итоге принимают вид:

Оценка значения нескольких собственных чисел попадает в доверительный интервал других собственных чисел. Необходимо проверить гипотезу о кратности собственных чисел.

Проверка кратности производится  с помощью статистики

  , где r-количество кратных корней.

Данная статистика в случае справедливости распределена по закону  с числом степеней свободы . Выдвинем гипотезы:

Так как , то гипотеза  отвергается, то есть собственные числа  и  не кратны.

Далее,

:

Так как , то гипотеза  отвергается, то есть собственные числа  и  не кратны.

:

Так как , то гипотеза  отвергается, то есть собственные числа  и  не кратны.

       Необходимо выделить главные компоненты на уровне информативно­сти 0,85. Мера информативности показывает какую часть или какую долю дисперсии исходных признаков составляют k-первых главных компонент. Мерой информативности будем называть величину:

I1==0,458

I2==0,667

I3=

 На заданном уровне информативности выделено три главных компоненты.

        Запишем матрицу =

Для получения нормализованного вектора перехода от исходных признаков к главным компонентам необходимо решить систему уравнений: , где - соответствующее собственное число. После получения решения системы необходимо затем нормировать полученный вектор.

        Для решения данной задачи воспользуемся функцией eigenvec системы MathCAD, которая возвращает нормированный вектор для соответствующего собственного числа.

В нашем случае первых четырех главных компонент достаточно для достижения заданного уровня информативности, поэтому матрица U (матрица перехода от исходного базиса к базису из собственных векторов)

Строим матрицу U, столбцами которой являются собственные вектора:

U=.

Матрица весовых коэффициентов:

А=.

Коэффициенты матрицы А являются коэффициентами корреляции ме­жду центрировано – нормированными исходными признаками  и ненормиро­ванными главными компонентами, и  показывают наличие, силу и направле­ние линейной связи между соответствующими исходными призна­ками и соответствующими главными компонентами.

2.2 Экономическая интерпретация полученных главных компонент

Коэффициент  матрицы А представляют собой коэффициенты корреляции между i-ой главной компонентой и  j-ым исходным признаком.

Так как первая главная компонента зависит главным образом от первого (X5 – удельный вес рабочих в составе ППП) и третьего (X7 – коэффициент сменности оборудования) исходного признака, следовательно ее можно обозначить как «Эффективность основного производства». Вторая главная компонента тесно взаимосвязана со вторым (X6 – удельный вес покупных изделий) и четвертым (X9 – удельный вес потерь от брака) исходными признаками, ее можно обозначить как «Удельный вес затрат не приносящих прибыль». Третья главная компонента взаимосвязана с четвертым исходным признаком, поэтому ее обозначим «Удельный вес потерь от брака».

2.3 Матрица наблюденных значений главных компонент.

      Мы получили ненормированные главные компоненты. Проведя нормирование полу­ченных центрированных , полу­чим . При нормировании  дисперсия должна рав­няться 1, . Для этого нужно разделить  на среднеквадратическое отклонение .

      Обозначим   - это матрица весовых коэффициентов, с помощью которой уста­навливается связь между нормированными исходными признаками и нормирован­ными главными компонентами.

 Модель метода главных компонент:

 где

- значение I-той стандартизированной переменной по j-ому объекту наблюдения;

- m-тая главная компонента по j-ому объекту наблюдения;

- весовой коэффициент m-той главной компоненты и I-той переменной.

Эту матрицу будем строить, исходя из соотношения ,

где - диагональная матрица, на главной диагонали которой стоят дисперсии соответствующих главных компонент в минус первой степени;

- транспонированная матрица факторных нагрузок;

     Х- матрица наблюденных значений исходных признаков.

Данная формула хороша тем, что она верна и в том случае, если матрица

А не квадратная (т.е. выделено m<n главных компонент).

«Наблюденные» значения главных компонент приведены в Приложениях. 

2.4 Классификация объектов.

Проведем классификацию объектов по первым двум главным компонентам.

Рис.1: Объекты в пространстве главных компонент.

На рис.1 видно, что первая группа характеризуется положительными значениями первой главной компоненты, а вторая группа характеризуется отрицательными значениями первой главной компоненты. При этом значения второй главной компоненты схожи у обеих групп.

2.5 Уравнение регрессии на главные компоненты.

              Построим уравнение регрессии на выделенные главные компоненты методом пошаговой регрессии, который предполагает, что на каждом шаге мы будем включать в уравнение регрессии тот признак, который будет вызывать наибольшее приращение коэффициента детерминации.

 Процесс будет остановлен, когда величина  достигнет своего максимума.

В итоге уравнение регрессии примет вид:

Подробный анализ, выполненный с помощью программы “Stadia”, приведен в Приложениях.

3.Метод главных факторов

      Мы ставим перед собой задачу снижения размерности признакового пространства. С самого начала будем исходить из того, что мы n признаков попытаемся объяснить с помощью меньшего количества m-ла­тентных признаков  - общих факторов, где m<<n, а различия между исход­ными признаками и введёнными общими факторами, точнее их линейными комбинациями учтём с помощью так называемых характерных факторов. 

      Конечная цель статистического исследования, проводимого с привлече­нием аппарата факторного анализа, как правило, состоит в выявлении и интерпретации латентных общих факторов с одновременным стремлением ми­нимизировать как их число, так и степень зависимости  от своих специфиче­ских остаточных случайных компонент .

      Итак, в нашем распоряжении последовательность многомерных наблюде­ний Х.

Предполагаем, что каждый признак  является результатом воздейст­вия m гипотетических общих и одного характерного факторов:

(1)

- весовые коэффициенты;

- общие факторы, которые подлежат определению;

  - характерный фактор для i-ого исходного признака;

- весовой коэффициент при i-ом характерном факторе.

     Представим выражение (1) в матричной форме.

     Введём обозначения:

Сумма матриц даёт:

     Представим матрицы индивидуальных значений общих и характерных фак­торов. Иногда для удобства их представляют в одной матрице:

     Модель (1) можно записать в матричной форме:

3.1 Преобразование матрицы парных коэффициентов корреляции  в   редуцированную матрицу.

Запишем корреляционную матрицу:

           Следующим шагом будет – построение редуцированной матрицы кор­реляции с общностями на главной диагонали. Общность показывает какую часть, какую долю составляет относительно дисперсии каждого из m общих факторов в дисперсии I - го исходного признака. Существуют следующие методы нахождения общности:

a)    наибольшего элемента метод по строке

Суть метода заключается в том, что в строке матрицы , соответствующей данному признаку, выбирается элемент с наибольшим абсолютным значе­нием. Это наибольшее значение коэффициента корреляции записывается на главной диагонали.

    h= 0,940  h=0,219  h=0,415    h=0,172  h=0,940

b)   метод среднего коэффициента корреляции

    h= 0,3977  h=0,1175  h=0,2627    h=0,10025   h=0,4117                   

      с)  метод триад

В j – ом столбце  или строке отыскивают два наибольших значения ко­эффициентов корреляции  и , тогда

        h= 0,2314 h=0.0821  h=0,1717   h=0,0306   h=0,1956

d) метод первого центроидного фактора

       h= 0,6562   h=0,8181   h=0,9407   h=0,2054  h=0,4315

       Запишем матрицу , используя метод среднего коэффициента корреляции:

              h= 0,3977  h=0,1175  h=0,2627    h=0,10025   h=0,4117  

       Построим матрицу Rh – редуцированную корреляционная матрица.

         Для получения первого вектора коэффициентов первого главного фактора необходимо найти наибольшее собственное число матрицы  и по нему построить соответствующий собственный вектор, затем нормировать его и умножить все компоненты этого вектора на  ( для того, чтобы длина этого вектора была ), тогда получим искомый вектор .Затем необходимо найти матрицу рассеивания , обусловленную влиянием первого общего фактора, и матрицу остатков, которая содержит в себе связи, обусловленные влиянием всех общих факторов, начиная со второго. Далее переходим по той же схеме к поиску собственных чисел матрицы . Но, оказывается, что собственные числа и собственные вектора матриц  и  совпадают, начиная со второго, а это означает, что достаточно найти собственные числа матрицы , ранжировать их и найти собственные вектора.

       Получим следующие собственные числа:

1=1.658  2=0.21  3=0.069  4=-0.105  =-0.542

       Процесс выделения главных факторов прекращают как только сумма собственных чисел соответствующих выделенным главным факторам превысят след матрицы Rh.  В нашем случае при выделении первых трех главных факторов , а То есть в нашем случае выделения трех главных факторов достаточно для объяснения корреляционных связей между признаками.

          Положительное, максимальное собственное число 1=1,568, построим собственный вектор соответствующий данному

     собственному числу: =, - ненормированный вектор полученный из =0

Найдем:  , 1=.

      Рассмотрим второе положительное максимальное  собственное число и третье, а также соответственные собственные собственные вектора                                    2=, для 2=0,21

3=, для =0,069

Матрица факторного отображения:

Произведем экономическую интерпретацию полученных общих факторов на основании матрицы факторных нагрузок А.

Первый главный фактор имеет тесную взаимосвязь с первым (X5 – удельный вес рабочих в составе ППП) и третьего (X7 – коэффициент сменности оборудования) исходного признака, следовательно его можно обозначить как «Эффективность основного производства». Второй общий фактор наиболее тесную взаимосвязь имеет со вторым исходным признаком, обозначим его как «Удельный вес покупных изделий». Третий главный фактор имеет очень низкую взаимосвязь со всеми исходными признаками 

3.2 Графическая классификация предприятий по двум общим факторам

      Чтобы графически произвести классификацию объектов, необходимо найти наблюденные значения первых двух общих факторов. Это можно сделать по формуле: , где

         - транспонированная матрица факторных нагрузок;

  - диагональная матрица, на главной диагонали которой стоят харак      терности соответствующих общих факторов;

- матрица центрированно-нормированных  значений исходных признаков.

Матрица наблюденных значений общих факторов приведена в Приложениях.

Отобразим объекты наблюдения в пространстве первых двух общих факторов.

3.3 Переход к обобщенным факторам с помощью варимаксного вращения

         В факторном анализе при решении практических задач широко применяется ортогональное вращение. Конечной целью факторного анализа является получение содержательно интерпретируемых факторов, которые воспроизводили бы выборочную корреляционную матрицу между переменными. Например, в методе главных факторов это достигается путем вращения.

Поскольку из множества положений системы координат надо выбрать одну, нужен критерий, который давал бы возможность судить о том, что мы близко подошли к своей цели. Таких критериев предложено много. Остановимся на наиболее часто используемом методе варимаксного вращения. Метод Варимакс рассчитывает Vj критерий качества структуры каждого фактора:

       При помощи метода «варимакс» достигают максимального упрощения в описании столбцов матрицы факторного отображения. Возможно раздельноеулучшение структуры факторов. Наилучшим  будет максимальное значение критерия. Если после очередного вращения Vj растет – переходим к вращению. Рассчитаем  Vj  для имеющейся матрицы А:V1=0.307, V2=0.168

Рис.3: Классификация признаков.

   Наша цель не только снизить размерность признакового пространства, но и предать выделенным факторам  какой-то экономический смысл. Мы можем перейти с помощью вращения  от факторов f1 и f2  к факторам f1 и f2 с помощью соотношения  В=Т*А. Исходя из геометрических соображений, повернем систему координат по часовой стрелки на угол равный 15. Матрица вращения будет иметь вид:

Т=

Известно, что sin15=0.259 cos15=0.966. Найдем матрицу В=Т*А

*=

Рассчитаем Vj  для матрицы В , полученной после вращения: V1=0,240, Vj=0,156. Значение Vj  не возросло ни по одному из факторов.

Попытки производить вращения на другие углы не приводят к возрастанию значения  Vj  следовательно нет необходимости во вращении.

3.4 Построение функции регрессии на выделенные обобщенные факторы

  Используя данные о «наблюденных» значениях общих факторов, построим функцию регрессии  на выделенные обобщенные факторы с помощью программы «Stadia».Получим уравнение регрессии следующего вида для i-го объекта наблюдения:

  Подробное описание уравнения регрессии дано в Приложениях

Список использованных источников

1 Дубров А.М., Мхитарян В.С., Трошин Л.И. Многомерные статистические методы: Учебник. – М.: Финансы и статистика,1998.- 352с.

2 Сошникова Л.А., Тамашевич В.Н., Уебе Г., Шефер М. Многомерный статистический анализ в экономике: Учебное пособие для вузов- М.:ЮНИТИ-ДАНА, 1999.-598 с.

Приложение 1

Наблюденные значения исходных признаков

Приложение 2

Главные

компоненты

Приложение 3

Построение уравнения регрессии на главные компоненты.

ПОШАГОВАЯ РЕГРЕССИЯ.  Файл: гл.комп.std

Пропущн=2 2

Переменная   Среднее  Ст.отклон.

       f1  3,77E-5        1

       f2  5,66E-7        1

       f3  3,77E-5        1

        Y     7,97     2,61

                    Корреляционная матрица

                f1       f2       f3        Y                          

       f2        0

       f3   -0,001        0

        Y    0,044    0,009   -0,167

 Критичeское значение=0,57

 Число значимых коэффициентов=0 (0%)

    *** Метод включения. Шаг No.1, введена переменная:f3

  Коэфф.       a0       a1

Значение     7,97   -0,437

Ст.ошиб.    0,357     0,36

 Значим.        0    0,229

Источник  Сум.квадр. Степ.св Средн.квадр.

Регресс.     9,92        1     9,92

Остаточн      344       51     6,75

     Вся      354       52

Множеств R     R^2  R^2прив  Ст.ошиб.       F   Значим

  0,16732 0,0279970,0089386   2,5985     1,47    0,144

   Гипотеза 0: <Регрессионная модель неадекватна экспериментальным данным>

Измен.R^2        F   Значим

    0,028     1,47    0,229

--------------  Переменные в уравнении ---------------

 Переменн. Коэфф.В  Ст.ош.В     Бета        F   Значим

       f3   -0,437     0,36   -0,167     1,47    0,229

------------------ Переменные не в уравнении ---------------------------

 Переменн. Коэфф.В  Ст.ош.В     Бета        F   Значим  Частн.R    Толер.

       f2   0,0241    0,364  0,00922  0,00438    0,946  0,00935        1

       f1    0,116    0,364   0,0446    0,102    0,749   0,0452        1

Приложение 4

«Наблюденные» значения  общих факторов.

Приложение 5

Уравнение регрессии на общие факторы.

МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ. 

  Коэфф.       a0       a1       a2       a3

Значение     7,97    0,309   0,0722    0,186

Ст.ошиб.    0,359    0,309    0,177    0,145

 Значим.        0    0,323    0,688    0,204

Источник  Сум.квадр. Степ.св Средн.квадр.

Регресс.     19,3        3     6,43

Остаточн      335       49     6,84

     Вся      354       52

Множеств R     R^2  R^2прив  Ст.ошиб.       F   Значим

   0,2333 0,054428-0,0034647   2,6147     0,94     0,57

   Гипотеза 0: <Регрессионная модель неадекватна экспериментальным данным>