因子分析的概率推導(dǎo)手冊(cè)一、概述

因子分析是一種多元統(tǒng)計(jì)分析方法，主要用于降維和結(jié)構(gòu)識(shí)別。通過(guò)將多個(gè)觀測(cè)變量歸納為少數(shù)幾個(gè)潛在因子，因子分析能夠揭示變量之間的內(nèi)在關(guān)系，簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu)，便于后續(xù)分析。本手冊(cè)旨在提供因子分析的概率推導(dǎo)過(guò)程，涵蓋基本概念、數(shù)學(xué)原理和計(jì)算步驟，幫助讀者深入理解因子分析的統(tǒng)計(jì)學(xué)基礎(chǔ)。

---

二、基本概念與假設(shè)

（一）基本概念

1.觀測(cè)變量：實(shí)際測(cè)量得到的變量，通常用\(X_1,X_2,\ldots,X_p\)表示。

2.潛在因子：不可直接觀測(cè)的變量，用\(F_1,F_2,\ldots,F_m\)表示，假設(shè)\(m<p\)。

3.因子載荷：表示每個(gè)觀測(cè)變量與潛在因子的相關(guān)程度，用\(a_{ij}\)表示，即第\(i\)個(gè)觀測(cè)變量在第\(j\)個(gè)因子上的載荷。

4.特殊因子：表示觀測(cè)變量中無(wú)法被潛在因子解釋的部分，用\(U_i\)表示。

（二）核心假設(shè)

1.誤差項(xiàng)正態(tài)分布：假設(shè)特殊因子\(U_i\)服從正態(tài)分布。

2.因子正交性：假設(shè)潛在因子之間不相關(guān)，即協(xié)方差為零。

3.共同度：每個(gè)觀測(cè)變量的方差中，由潛在因子解釋的比例，用\(h_i^2\)表示。

---

三、概率推導(dǎo)過(guò)程

（一）模型建立

因子分析的基本模型為：

\[X_i=a_{i1}F_1+a_{i2}F_2+\cdots+a_{im}F_m+U_i\]

其中：

-\(X_i\)是第\(i\)個(gè)觀測(cè)變量。

-\(F_j\)是第\(j\)個(gè)潛在因子。

-\(a_{ij}\)是第\(i\)個(gè)觀測(cè)變量在第\(j\)個(gè)因子上的載荷。

-\(U_i\)是特殊因子。

（二）協(xié)方差矩陣推導(dǎo)

假設(shè)\(X_i\)的協(xié)方差矩陣為\(\Sigma\)，則有：

\[\text{Cov}(X_i,X_j)=\sum_{k=1}^ma_{ik}a_{jk}\]

其中，\(\text{Cov}(X_i,X_j)\)是第\(i\)個(gè)觀測(cè)變量與第\(j\)個(gè)觀測(cè)變量的協(xié)方差。

（三）因子載荷估計(jì)

1.總方差分解：觀測(cè)變量的總方差可以分解為：

\[\text{Var}(X_i)=h_i^2+\sigma_{Ui}^2\]

其中，\(h_i^2\)是共同度，\(\sigma_{Ui}^2\)是特殊因子的方差。

2.因子載荷矩陣：假設(shè)因子載荷矩陣為\(A\)（\(p\timesm\)），則有：

\[\Sigma=A\LambdaA^T+\Delta\]

其中，\(\Lambda\)是對(duì)角矩陣，包含因子方差（假設(shè)為1），\(\Delta\)是對(duì)角矩陣，包含特殊因子的方差。

3.最大似然估計(jì)：通過(guò)最大化似然函數(shù)估計(jì)因子載荷，具體步驟如下：

(1)構(gòu)建似然函數(shù)：

\[L(A,\Delta)=\prod_{i=1}^p\frac{1}{\sqrt{2\pi\sigma_{Ui}^2}}\exp\left(-\frac{(X_i-A^TF)^2}{2\sigma_{Ui}^2}\right)\]

(2)對(duì)數(shù)似然函數(shù)：

\[\logL=-\frac{p}{2}\log(2\pi)-\frac{1}{2}\sum_{i=1}^p\log(\sigma_{Ui}^2)-\frac{1}{2}\sum_{i=1}^p\frac{(X_i-A^TF)^2}{\sigma_{Ui}^2}\]

(3)優(yōu)化求解：通過(guò)迭代方法（如主成分法或最大似然法）求解\(A\)和\(\Delta\)。

---

四、計(jì)算步驟

（一）數(shù)據(jù)標(biāo)準(zhǔn)化

1.對(duì)觀測(cè)變量進(jìn)行標(biāo)準(zhǔn)化，使均值為0，方差為1：

\[X_i'=\frac{X_i-\bar{X}_i}{\sigma_{X_i}}\]

（二）計(jì)算相關(guān)矩陣

1.計(jì)算標(biāo)準(zhǔn)化變量的相關(guān)矩陣\(\rho\)：

\[\rho=\frac{1}{p-1}\sum_{i=1}^p\sum_{j=1}^p\frac{(X_i-\bar{X}_i)(X_j-\bar{X}_j)}{\sigma_{X_i}\sigma_{X_j}}\]

（三）提取因子

1.主成分法：

-計(jì)算相關(guān)矩陣的特征值和特征向量。

-選擇前\(m\)個(gè)特征值對(duì)應(yīng)的特征向量作為因子載荷。

2.最大似然法：

-通過(guò)迭代優(yōu)化求解因子載荷矩陣和特殊因子方差。

（四）因子旋轉(zhuǎn)

1.對(duì)因子載荷矩陣進(jìn)行正交旋轉(zhuǎn)（如Varimax法），使因子更易于解釋。

\[A'=Q^TAQ\]

其中，\(Q\)是正交矩陣。

（五）結(jié)果解釋

1.計(jì)算因子得分：

\[F_i=A^TX'\]

2.解釋因子：根據(jù)因子載荷和因子得分，分析每個(gè)因子的實(shí)際意義。

---

五、總結(jié)

因子分析的概率推導(dǎo)涉及多個(gè)數(shù)學(xué)步驟，包括模型建立、協(xié)方差矩陣推導(dǎo)、因子載荷估計(jì)和因子旋轉(zhuǎn)。通過(guò)理解這些推導(dǎo)過(guò)程，可以更深入地掌握因子分析的統(tǒng)計(jì)學(xué)原理，并在實(shí)際應(yīng)用中更好地解釋結(jié)果。本手冊(cè)提供的步驟和公式為因子分析提供了理論框架，有助于讀者進(jìn)行更復(fù)雜的數(shù)據(jù)分析。

四、計(jì)算步驟（續(xù)）

（二）計(jì)算相關(guān)矩陣（續(xù)）

1.標(biāo)準(zhǔn)化細(xì)節(jié)說(shuō)明：

對(duì)于每個(gè)觀測(cè)變量\(X_i\)，首先計(jì)算其樣本均值\(\bar{X}_i\)和樣本標(biāo)準(zhǔn)差\(\sigma_{X_i}\)。

標(biāo)準(zhǔn)化公式為\(X_i'=\frac{X_i-\bar{X}_i}{\sigma_{X_i}}\)。注意，如果\(X_i\)的標(biāo)準(zhǔn)差接近零（例如，所有樣本在該變量上的取值幾乎相同），會(huì)導(dǎo)致除以零的問(wèn)題。在實(shí)際操作中，需要設(shè)定一個(gè)閾值，當(dāng)標(biāo)準(zhǔn)差小于該閾值時(shí)，可以考慮將該變量從分析中剔除，或?qū)⑵湟暈槌Ａ孔兞俊?/p>

示例：假設(shè)有一個(gè)包含5個(gè)樣本（n=5）的變量\(X_1\)，其樣本值為[10,12,10,11,13]。計(jì)算均值\(\bar{X}_1=(10+12+10+11+13)/5=11\)。計(jì)算標(biāo)準(zhǔn)差\(\sigma_{X_1}=\sqrt{((10-11)^2+(12-11)^2+(10-11)^2+(11-11)^2+(13-11)^2)/(5-1)}=\sqrt{(1+1+1+0+4)/4}=\sqrt{7/4}\approx1.32\)。標(biāo)準(zhǔn)化后的值為[-0.76,0.76,-0.76,0.00,1.52]。

2.相關(guān)矩陣計(jì)算：

計(jì)算相關(guān)矩陣\(\rho\)中的每個(gè)元素\(\rho_{ij}\)代表第\(i\)個(gè)標(biāo)準(zhǔn)化變量與第\(j\)個(gè)標(biāo)準(zhǔn)化變量的Pearson相關(guān)系數(shù)。

公式為：\(\rho_{ij}=\frac{1}{n-1}\sum_{k=1}^{n}(X_{ik}'-\bar{X}_i')(X_{jk}'-\bar{X}_j')\)。由于\(X_i'\)和\(X_j'\)已經(jīng)是中心化的（\(\bar{X}_i'=\bar{X}_j'=0\)），公式簡(jiǎn)化為：\(\rho_{ij}=\frac{1}{n-1}\sum_{k=1}^{n}X_{ik}'X_{jk}'\)。

可以使用矩陣運(yùn)算來(lái)實(shí)現(xiàn)：相關(guān)矩陣\(\rho=\frac{1}{n-1}X'X\)，其中\(zhòng)(X\)是包含所有標(biāo)準(zhǔn)化變量的\(n\timesp\)矩陣，\(X'=(X_{ij})\)。

示例：對(duì)于上例的標(biāo)準(zhǔn)化數(shù)據(jù)矩陣\(X'=\begin{bmatrix}-0.76&0\\0.76&0\\-0.76&0\\0.00&0\\1.52&0\end{bmatrix}\)，計(jì)算相關(guān)矩陣\(\rho=\frac{1}{4}\begin{bmatrix}-0.76&0\\0.76&0\\-0.76&0\\0.00&0\\1.52&0\end{bmatrix}\begin{bmatrix}-0.76&0.76\\0&0\end{bmatrix}=\frac{1}{4}\begin{bmatrix}0.5776&-0.5776\\-0.5776&0.5776\\0.5776&-0.5776\\0&0\\1.5128&-1.5128\end{bmatrix}\)。計(jì)算得到\(\rho_{11}=1\)，\(\rho_{22}=1\)，\(\rho_{12}=\rho_{21}=-0.38\)（注意：此簡(jiǎn)單示例因原始數(shù)據(jù)非隨機(jī)產(chǎn)生，相關(guān)系數(shù)可能不具代表性，僅作演示）。

（三）提取因子（續(xù)）

1.主成分法詳解：

計(jì)算特征值和特征向量：

對(duì)相關(guān)矩陣\(\rho\)進(jìn)行特征值分解。設(shè)\(\rho=V\LambdaV^T\)，其中\(zhòng)(V\)是特征向量矩陣（列向量是特征向量），\(\Lambda\)是對(duì)角矩陣（對(duì)角線(xiàn)元素是特征值）。

特征值通常按降序排列，即\(\lambda_1\geq\lambda_2\geq\ldots\geq\lambda_p\)。

選擇前\(m\)個(gè)最大特征值對(duì)應(yīng)的特征向量。這些特征向量構(gòu)成了新的正交基，用于表示原始變量。

因子數(shù)量確定：

累計(jì)方差解釋率法：計(jì)算每個(gè)特征值對(duì)應(yīng)的方差解釋率（\(\frac{\lambda_i}{\sum_{k=1}^p\lambda_k}\)）。選擇足夠數(shù)量的因子\(m\)，使得前\(m\)個(gè)因子的累計(jì)方差解釋率達(dá)到某個(gè)閾值（常用70%、80%或90%）。例如，如果總特征值為5，前兩個(gè)特征值分別為4和1，則累計(jì)方差解釋率為\(\frac{4+1}{5}=100\%\)。如果前一個(gè)特征值為4，第二個(gè)為0.8，則累計(jì)方差解釋率為\(\frac{4}{5}=80\%\)，此時(shí)選擇1個(gè)因子。

特征值法：通常選擇大于1的特征值對(duì)應(yīng)的因子（Kaiser準(zhǔn)則）。但此準(zhǔn)則在樣本量較大或變量較多時(shí)可能不適用，因?yàn)闀?huì)傾向于提取更多因子。

碎石圖法（ScreePlot）：將特征值按大小繪制成圖。觀察特征值曲線(xiàn)，尋找一個(gè)“彎曲點(diǎn)”（“elbow”），拐點(diǎn)之前的特征值對(duì)應(yīng)的因子被認(rèn)為是重要的，拐點(diǎn)之后的特征值較小，可能代表誤差或特定結(jié)構(gòu)。選擇拐點(diǎn)前的因子。

因子載荷矩陣構(gòu)建：

提取出的\(m\)個(gè)因子載荷矩陣\(A\)（\(p\timesm\)）由相關(guān)矩陣\(\rho\)的前\(m\)個(gè)特征向量（按特征值降序排列）組成。即\(A=[v_{1}\v_{2}\\ldots\v_{m}]\)，其中\(zhòng)(v_i\)是第\(i\)個(gè)特征向量。

每個(gè)元素\(a_{ij}\)代表第\(i\)個(gè)觀測(cè)變量在第\(j\)個(gè)因子上的載荷。

因子得分的初步計(jì)算：

在未旋轉(zhuǎn)時(shí)，因子得分\(F_{ik}\)可以通過(guò)線(xiàn)性組合原始標(biāo)準(zhǔn)化變量計(jì)算得到：\(F_{ik}=\sum_{j=1}^pa_{ji}X_{kj}'\)。其中\(zhòng)(a_{ji}\)是第\(j\)個(gè)觀測(cè)變量在第\(i\)個(gè)因子上的載荷，\(X_{kj}'\)是第\(k\)個(gè)樣本在第\(j\)個(gè)觀測(cè)變量上的標(biāo)準(zhǔn)化值。

2.最大似然法詳解：

模型設(shè)定與參數(shù)：

基于模型\(X=AF+\epsilon\)，其中\(zhòng)(\epsilon=(U_1,U_2,\ldots,U_p)'\)是獨(dú)立同分布的正態(tài)誤差向量，且\(\epsilon\simN(0,\Delta)\)，\(\Delta=\text{diag}(\sigma_{U1}^2,\sigma_{U2}^2,\ldots,\sigma_{Up}^2)\)。

需要估計(jì)的參數(shù)包括因子載荷矩陣\(A\)和特殊因子方差向量\(\sigma_{Ui}^2\)（或?qū)蔷仃嘰(\Delta\)）。

估計(jì)方法：

迭代最小二乘法（IML）：

1.初始估計(jì)：

可以先進(jìn)行主成分分析，取前\(m\)個(gè)因子，將其載荷作為\(A\)的初始估計(jì)。

也可以將所有觀測(cè)變量的方差設(shè)為共同度（如\(h_i^2=0.7\)），特殊因子方差設(shè)為\(1-h_i^2\)，然后計(jì)算相關(guān)矩陣\(\rho\)的Cholesky分解\(\rho=LL^T\)，取\(L\)的前\(m\)列作為\(A\)的初始估計(jì)，特殊方差設(shè)為1。

2.迭代步驟：

給定\(A\)和\(\Delta\)，計(jì)算因子得分\(F\)的估計(jì)：\(F=(A^TA+\Delta^{-1})^{-1}A^TX'\)。這里\(\Delta^{-1}\)是特殊方差矩陣的逆。

給定\(F\)，重新估計(jì)因子載荷\(A\)：\(A\leftarrowX'F(F^TF)^{-1/2}\)。

給定\(A\)，重新估計(jì)特殊方差\(\Delta\)：\(\Delta\leftarrow\text{diag}(\sigma_{U1}^2,\sigma_{U2}^2,\ldots,\sigma_{Up}^2)\leftarrow\text{diag}(\text{Var}(X-AF))\)，即對(duì)每個(gè)\(i\)，計(jì)算\(U_i=X_i-\sum_{j=1}^ma_{ji}F_{ij}\)，然后取\(U_i\)的方差作為\(\sigma_{Ui}^2\)的估計(jì)。

3.收斂判斷：重復(fù)迭代步驟，直到\(A\)和\(\Delta\)的變化小于某個(gè)預(yù)設(shè)的閾值，或達(dá)到最大迭代次數(shù)。

其他方法：還有基于偏最小二乘（PLS）的方法等。

優(yōu)點(diǎn)：直接估計(jì)因子載荷和特殊方差，結(jié)果通常更符合正態(tài)性假設(shè)的數(shù)據(jù)。

缺點(diǎn)：計(jì)算相對(duì)復(fù)雜，對(duì)樣本量和變量數(shù)有一定要求，結(jié)果的解釋可能受初始值影響。

（四）因子旋轉(zhuǎn)（續(xù)）

1.正交旋轉(zhuǎn)（OrthogonalRotation）：

目的：正交旋轉(zhuǎn)不改變因子之間相互獨(dú)立的性質(zhì)（協(xié)方差為零），但可以改變因子載荷的大小和方向，使因子結(jié)構(gòu)更清晰，便于解釋。目標(biāo)是讓每個(gè)變量在盡可能少的因子上有較大的載荷，而在其他因子上載荷較小。

方法：

Varimax（方差最大化法）：這是最常用的正交旋轉(zhuǎn)方法。其目標(biāo)是最大化所有因子上的載荷平方和的方差。旋轉(zhuǎn)后，載荷較大的變量將更集中于少數(shù)幾個(gè)因子上，而載荷較小的變量則分散在多個(gè)因子上。

Promax（斜交旋轉(zhuǎn)的加權(quán)最小平方法）：Promax是一種介于Varimax和Oblimin之間的旋轉(zhuǎn)方法，計(jì)算速度更快，也能處理近似相關(guān)的數(shù)據(jù)，但結(jié)果可能是正交的，也可能是斜交的。

實(shí)施：

將未旋轉(zhuǎn)的因子載荷矩陣\(A\)輸入到統(tǒng)計(jì)軟件中，指定旋轉(zhuǎn)方法（如Varimax）。

軟件會(huì)計(jì)算正交旋轉(zhuǎn)矩陣\(Q\)（滿(mǎn)足\(QQ^T=I\)）。

計(jì)算旋轉(zhuǎn)后的因子載荷矩陣\(A'=AQ\)。

2.斜交旋轉(zhuǎn)（ObliqueRotation）：

目的：當(dāng)理論或經(jīng)驗(yàn)表明因子之間存在相關(guān)性時(shí)（即因子不獨(dú)立），應(yīng)使用斜交旋轉(zhuǎn)。斜交旋轉(zhuǎn)允許因子之間存在非零的協(xié)方差或相關(guān)系數(shù)，可以更好地反映因子間的實(shí)際關(guān)系。

方法：

Oblimin（最小平方法）：嘗試找到一組因子載荷，使得因子載荷平方和的誤差最小，同時(shí)滿(mǎn)足因子間的相關(guān)結(jié)構(gòu)。

Promax：如前所述，也可用于斜交旋轉(zhuǎn)。

實(shí)施：

在統(tǒng)計(jì)軟件中，選擇斜交旋轉(zhuǎn)方法（如Oblimin）。

軟件需要估計(jì)因子間的相關(guān)矩陣。

計(jì)算斜交旋轉(zhuǎn)矩陣\(P\)（滿(mǎn)足\(PP^T=P^TP=I\)）。

計(jì)算旋轉(zhuǎn)后的因子載荷矩陣\(A''=AP\)。

選擇正交還是斜交：通常先進(jìn)行正交旋轉(zhuǎn)檢驗(yàn)（如使用Bartlett's球度檢驗(yàn)檢驗(yàn)因子相關(guān)性，或使用Anti-image相關(guān)矩陣等）。如果支持旋轉(zhuǎn)結(jié)果，則進(jìn)行斜交旋轉(zhuǎn)；否則，保留正交旋轉(zhuǎn)結(jié)果。

（五）結(jié)果解釋?zhuān)ɡm(xù)）

1.因子得分的計(jì)算與使用：

計(jì)算：在完成旋轉(zhuǎn)后，使用旋轉(zhuǎn)后的因子載荷矩陣\(A''\)和標(biāo)準(zhǔn)化數(shù)據(jù)\(X'\)計(jì)算因子得分\(F''\)。常用方法仍是\(F''=A''^TX'\)。因子得分\(F_{ik}\)代表第\(k\)個(gè)樣本在第\(i\)個(gè)旋轉(zhuǎn)因子上的得分。

應(yīng)用：

可以將因子得分作為新的變量，用于后續(xù)的分析，如聚類(lèi)分析、回歸分析等。

可以分析因子得分在不同樣本組（如不同人群、不同時(shí)間段）中的分布差異。

可以將因子得分用于構(gòu)建回歸模型，解釋因子的預(yù)測(cè)能力。

2.因子命名與解釋?zhuān)?/p>

依據(jù)載荷大?。翰榭疵總€(gè)變量在各個(gè)因子上的載荷大小。如果一個(gè)變量在某個(gè)因子上的載荷很高（如絕對(duì)值大于0.4或0.5），而在其他因子上的載荷很低，則可以將該因子命名為反映該變量的主要特征。

依據(jù)載荷模式：觀察多個(gè)變量在因子上的載荷模式。如果一組變量在某個(gè)因子上具有高載荷，而在其他因子上載荷低，則可以將該因子解釋為這些變量共同代表的潛在構(gòu)念。例如，如果多個(gè)與“認(rèn)知能力”相關(guān)的測(cè)試題在某個(gè)因子上載荷高，則可以命名為“認(rèn)知能力因子”。

結(jié)合理論和背景知識(shí)：因子分析的結(jié)果需要結(jié)合研究領(lǐng)域的理論知識(shí)和實(shí)際背景進(jìn)行解釋。例如，在市場(chǎng)研究中，如果提取出兩個(gè)因子，一個(gè)與“價(jià)格敏感度”相關(guān)的變量（如折扣接受度、價(jià)格比較行為）載荷高，另一個(gè)與“品牌偏好”相關(guān)的變量（如品牌忠誠(chéng)度、品牌聯(lián)想）載荷高，則可以解釋為這兩個(gè)潛在維度影響消費(fèi)者的購(gòu)買(mǎi)決策。

避免過(guò)度解釋?zhuān)阂蜃虞d荷只是表示變量與因子間關(guān)系的強(qiáng)度和方向，解釋時(shí)應(yīng)避免賦予因子過(guò)于具體或擬人化的意義，除非有充分的理由和證據(jù)支持。

3.結(jié)果報(bào)告：

報(bào)告內(nèi)容應(yīng)包括：

因子提取方法（主成分/最大似然）。

因子數(shù)量及確定依據(jù)（累計(jì)方差解釋率、特征值、碎石圖等）。

因子旋轉(zhuǎn)方法及原因（正交/斜交）。

旋轉(zhuǎn)后的因子載荷矩陣。

因子得分計(jì)算方法（如有）。

因子命名解釋。

共同度\(h_i^2\)和特殊因子方差\(\sigma_{Ui}^2\)的估計(jì)值（如有）。

對(duì)結(jié)果的討論，包括其意義和局限性。

---

六、軟件實(shí)現(xiàn)與注意事項(xiàng)

（一）常用統(tǒng)計(jì)軟件

1.SPSS：

提供了“因子分析”過(guò)程（Analyze->DimensionReduction->Factor）。

可方便地進(jìn)行主成分分析、最大似然法、因子提取、旋轉(zhuǎn)（Varimax,Promax,Oblimin等）和因子得分計(jì)算。

界面友好，參數(shù)選擇直觀。

2.R語(yǔ)言：

提供多個(gè)相關(guān)包，如`psych`,`factoextra`,`lavaan`。

`psych`包中的`factanal()`函數(shù)可用于傳統(tǒng)因子分析（主成分法、最大似然法，正交/斜交旋轉(zhuǎn)）。

`factoextra`包提供了豐富的可視化工具（如碎石圖、載荷圖、旋轉(zhuǎn)效果圖）和多種提取/旋轉(zhuǎn)方法。

`lavaan`包基于結(jié)構(gòu)方程模型，可用于更復(fù)雜的因子分析模型估計(jì)。

3.Python：

`scikit-learn`包中的`FactorAnalysis`類(lèi)可用于主成分分析（類(lèi)似因子分析的前置步驟）。

`factor_analyzer`包提供了因子分析的功能，包括提取、旋轉(zhuǎn)和驗(yàn)證。

`statsmodels`包中的`FactorAnalysis`類(lèi)也可用于估計(jì)因子載荷和得分。

（二）注意事項(xiàng)

1.數(shù)據(jù)質(zhì)量：

樣本量：樣本量應(yīng)足夠大。一般建議樣本量至少是變量數(shù)量的5倍，甚至更多。樣本量過(guò)小可能導(dǎo)致因子結(jié)構(gòu)不穩(wěn)定。

變量數(shù)量：變量數(shù)量應(yīng)多于要提取的因子數(shù)量（\(p>m\)）。

變量類(lèi)型：因子分析通常適用于連續(xù)變量。對(duì)于分類(lèi)變量或定序變量，可能需要使用其他多元分析方法，如對(duì)應(yīng)分析（CorrespondenceAnalysis）或多元對(duì)應(yīng)分析（MultipleCorrespondenceAnalysis）。

2.測(cè)量學(xué)考慮：

信度和效度：因子分析假設(shè)觀測(cè)變量具有較好的內(nèi)部一致性（信度）。變量之間應(yīng)該測(cè)量同一個(gè)潛在構(gòu)念。如果變量的信度低，其因子載荷可能會(huì)很小或分散在多個(gè)因子上。

共同度：共同度\(h_i^2\)反映了變量方差中由所有因子共同解釋的比例。共同度低（如小于0.3或0.4）可能意味著該變量不適合進(jìn)行因子分析，或者測(cè)量該構(gòu)念的變量不夠充分。

3.模型假設(shè)：

正態(tài)性：雖然因子分析對(duì)正態(tài)性假設(shè)不特別敏感，但最大似然法假設(shè)誤差項(xiàng)（特殊因子）服從正態(tài)分布，因此當(dāng)數(shù)據(jù)嚴(yán)重偏離正態(tài)分布時(shí)，結(jié)果可能需要謹(jǐn)慎解釋。

誤差項(xiàng)獨(dú)立性：假設(shè)特殊因子之間以及特殊因子與潛在因子之間是獨(dú)立的。

4.結(jié)果解釋的主觀性：因子命名和結(jié)果解釋具有一定的主觀性，應(yīng)結(jié)合理論和研究背景，避免過(guò)度解讀或強(qiáng)行解釋?？梢試L試不同的旋轉(zhuǎn)方法，看結(jié)果是否具有一致性。

5.迭代過(guò)程的收斂：在使用最大似然法等迭代方法時(shí)，要注意算法是否收斂。如果迭代不收斂，可能需要檢查初始值、樣本量或模型設(shè)定。

6.報(bào)告完整：在報(bào)告因子分析結(jié)果時(shí)，應(yīng)清晰地說(shuō)明所使用的步驟、參數(shù)選擇、結(jié)果以及結(jié)果的解釋和局限性。

一、概述

因子分析是一種多元統(tǒng)計(jì)分析方法，主要用于降維和結(jié)構(gòu)識(shí)別。通過(guò)將多個(gè)觀測(cè)變量歸納為少數(shù)幾個(gè)潛在因子，因子分析能夠揭示變量之間的內(nèi)在關(guān)系，簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu)，便于后續(xù)分析。本手冊(cè)旨在提供因子分析的概率推導(dǎo)過(guò)程，涵蓋基本概念、數(shù)學(xué)原理和計(jì)算步驟，幫助讀者深入理解因子分析的統(tǒng)計(jì)學(xué)基礎(chǔ)。

---

二、基本概念與假設(shè)

（一）基本概念

1.觀測(cè)變量：實(shí)際測(cè)量得到的變量，通常用\(X_1,X_2,\ldots,X_p\)表示。

2.潛在因子：不可直接觀測(cè)的變量，用\(F_1,F_2,\ldots,F_m\)表示，假設(shè)\(m<p\)。

3.因子載荷：表示每個(gè)觀測(cè)變量與潛在因子的相關(guān)程度，用\(a_{ij}\)表示，即第\(i\)個(gè)觀測(cè)變量在第\(j\)個(gè)因子上的載荷。

4.特殊因子：表示觀測(cè)變量中無(wú)法被潛在因子解釋的部分，用\(U_i\)表示。

（二）核心假設(shè)

1.誤差項(xiàng)正態(tài)分布：假設(shè)特殊因子\(U_i\)服從正態(tài)分布。

2.因子正交性：假設(shè)潛在因子之間不相關(guān)，即協(xié)方差為零。

3.共同度：每個(gè)觀測(cè)變量的方差中，由潛在因子解釋的比例，用\(h_i^2\)表示。

---

三、概率推導(dǎo)過(guò)程

（一）模型建立

因子分析的基本模型為：

\[X_i=a_{i1}F_1+a_{i2}F_2+\cdots+a_{im}F_m+U_i\]

其中：

-\(X_i\)是第\(i\)個(gè)觀測(cè)變量。

-\(F_j\)是第\(j\)個(gè)潛在因子。

-\(a_{ij}\)是第\(i\)個(gè)觀測(cè)變量在第\(j\)個(gè)因子上的載荷。

-\(U_i\)是特殊因子。

（二）協(xié)方差矩陣推導(dǎo)

假設(shè)\(X_i\)的協(xié)方差矩陣為\(\Sigma\)，則有：

\[\text{Cov}(X_i,X_j)=\sum_{k=1}^ma_{ik}a_{jk}\]

其中，\(\text{Cov}(X_i,X_j)\)是第\(i\)個(gè)觀測(cè)變量與第\(j\)個(gè)觀測(cè)變量的協(xié)方差。

（三）因子載荷估計(jì)

1.總方差分解：觀測(cè)變量的總方差可以分解為：

\[\text{Var}(X_i)=h_i^2+\sigma_{Ui}^2\]

其中，\(h_i^2\)是共同度，\(\sigma_{Ui}^2\)是特殊因子的方差。

2.因子載荷矩陣：假設(shè)因子載荷矩陣為\(A\)（\(p\timesm\)），則有：

\[\Sigma=A\LambdaA^T+\Delta\]

其中，\(\Lambda\)是對(duì)角矩陣，包含因子方差（假設(shè)為1），\(\Delta\)是對(duì)角矩陣，包含特殊因子的方差。

3.最大似然估計(jì)：通過(guò)最大化似然函數(shù)估計(jì)因子載荷，具體步驟如下：

(1)構(gòu)建似然函數(shù)：

\[L(A,\Delta)=\prod_{i=1}^p\frac{1}{\sqrt{2\pi\sigma_{Ui}^2}}\exp\left(-\frac{(X_i-A^TF)^2}{2\sigma_{Ui}^2}\right)\]

(2)對(duì)數(shù)似然函數(shù)：

\[\logL=-\frac{p}{2}\log(2\pi)-\frac{1}{2}\sum_{i=1}^p\log(\sigma_{Ui}^2)-\frac{1}{2}\sum_{i=1}^p\frac{(X_i-A^TF)^2}{\sigma_{Ui}^2}\]

(3)優(yōu)化求解：通過(guò)迭代方法（如主成分法或最大似然法）求解\(A\)和\(\Delta\)。

---

四、計(jì)算步驟

（一）數(shù)據(jù)標(biāo)準(zhǔn)化

1.對(duì)觀測(cè)變量進(jìn)行標(biāo)準(zhǔn)化，使均值為0，方差為1：

\[X_i'=\frac{X_i-\bar{X}_i}{\sigma_{X_i}}\]

（二）計(jì)算相關(guān)矩陣

1.計(jì)算標(biāo)準(zhǔn)化變量的相關(guān)矩陣\(\rho\)：

\[\rho=\frac{1}{p-1}\sum_{i=1}^p\sum_{j=1}^p\frac{(X_i-\bar{X}_i)(X_j-\bar{X}_j)}{\sigma_{X_i}\sigma_{X_j}}\]

（三）提取因子

1.主成分法：

-計(jì)算相關(guān)矩陣的特征值和特征向量。

-選擇前\(m\)個(gè)特征值對(duì)應(yīng)的特征向量作為因子載荷。

2.最大似然法：

-通過(guò)迭代優(yōu)化求解因子載荷矩陣和特殊因子方差。

（四）因子旋轉(zhuǎn)

1.對(duì)因子載荷矩陣進(jìn)行正交旋轉(zhuǎn)（如Varimax法），使因子更易于解釋。

\[A'=Q^TAQ\]

其中，\(Q\)是正交矩陣。

（五）結(jié)果解釋

1.計(jì)算因子得分：

\[F_i=A^TX'\]

2.解釋因子：根據(jù)因子載荷和因子得分，分析每個(gè)因子的實(shí)際意義。

---

五、總結(jié)

因子分析的概率推導(dǎo)涉及多個(gè)數(shù)學(xué)步驟，包括模型建立、協(xié)方差矩陣推導(dǎo)、因子載荷估計(jì)和因子旋轉(zhuǎn)。通過(guò)理解這些推導(dǎo)過(guò)程，可以更深入地掌握因子分析的統(tǒng)計(jì)學(xué)原理，并在實(shí)際應(yīng)用中更好地解釋結(jié)果。本手冊(cè)提供的步驟和公式為因子分析提供了理論框架，有助于讀者進(jìn)行更復(fù)雜的數(shù)據(jù)分析。

四、計(jì)算步驟（續(xù)）

（二）計(jì)算相關(guān)矩陣（續(xù)）

1.標(biāo)準(zhǔn)化細(xì)節(jié)說(shuō)明：

對(duì)于每個(gè)觀測(cè)變量\(X_i\)，首先計(jì)算其樣本均值\(\bar{X}_i\)和樣本標(biāo)準(zhǔn)差\(\sigma_{X_i}\)。

標(biāo)準(zhǔn)化公式為\(X_i'=\frac{X_i-\bar{X}_i}{\sigma_{X_i}}\)。注意，如果\(X_i\)的標(biāo)準(zhǔn)差接近零（例如，所有樣本在該變量上的取值幾乎相同），會(huì)導(dǎo)致除以零的問(wèn)題。在實(shí)際操作中，需要設(shè)定一個(gè)閾值，當(dāng)標(biāo)準(zhǔn)差小于該閾值時(shí)，可以考慮將該變量從分析中剔除，或?qū)⑵湟暈槌Ａ孔兞俊?/p>

示例：假設(shè)有一個(gè)包含5個(gè)樣本（n=5）的變量\(X_1\)，其樣本值為[10,12,10,11,13]。計(jì)算均值\(\bar{X}_1=(10+12+10+11+13)/5=11\)。計(jì)算標(biāo)準(zhǔn)差\(\sigma_{X_1}=\sqrt{((10-11)^2+(12-11)^2+(10-11)^2+(11-11)^2+(13-11)^2)/(5-1)}=\sqrt{(1+1+1+0+4)/4}=\sqrt{7/4}\approx1.32\)。標(biāo)準(zhǔn)化后的值為[-0.76,0.76,-0.76,0.00,1.52]。

2.相關(guān)矩陣計(jì)算：

計(jì)算相關(guān)矩陣\(\rho\)中的每個(gè)元素\(\rho_{ij}\)代表第\(i\)個(gè)標(biāo)準(zhǔn)化變量與第\(j\)個(gè)標(biāo)準(zhǔn)化變量的Pearson相關(guān)系數(shù)。

公式為：\(\rho_{ij}=\frac{1}{n-1}\sum_{k=1}^{n}(X_{ik}'-\bar{X}_i')(X_{jk}'-\bar{X}_j')\)。由于\(X_i'\)和\(X_j'\)已經(jīng)是中心化的（\(\bar{X}_i'=\bar{X}_j'=0\)），公式簡(jiǎn)化為：\(\rho_{ij}=\frac{1}{n-1}\sum_{k=1}^{n}X_{ik}'X_{jk}'\)。

可以使用矩陣運(yùn)算來(lái)實(shí)現(xiàn)：相關(guān)矩陣\(\rho=\frac{1}{n-1}X'X\)，其中\(zhòng)(X\)是包含所有標(biāo)準(zhǔn)化變量的\(n\timesp\)矩陣，\(X'=(X_{ij})\)。

示例：對(duì)于上例的標(biāo)準(zhǔn)化數(shù)據(jù)矩陣\(X'=\begin{bmatrix}-0.76&0\\0.76&0\\-0.76&0\\0.00&0\\1.52&0\end{bmatrix}\)，計(jì)算相關(guān)矩陣\(\rho=\frac{1}{4}\begin{bmatrix}-0.76&0\\0.76&0\\-0.76&0\\0.00&0\\1.52&0\end{bmatrix}\begin{bmatrix}-0.76&0.76\\0&0\end{bmatrix}=\frac{1}{4}\begin{bmatrix}0.5776&-0.5776\\-0.5776&0.5776\\0.5776&-0.5776\\0&0\\1.5128&-1.5128\end{bmatrix}\)。計(jì)算得到\(\rho_{11}=1\)，\(\rho_{22}=1\)，\(\rho_{12}=\rho_{21}=-0.38\)（注意：此簡(jiǎn)單示例因原始數(shù)據(jù)非隨機(jī)產(chǎn)生，相關(guān)系數(shù)可能不具代表性，僅作演示）。

（三）提取因子（續(xù)）

1.主成分法詳解：

計(jì)算特征值和特征向量：

對(duì)相關(guān)矩陣\(\rho\)進(jìn)行特征值分解。設(shè)\(\rho=V\LambdaV^T\)，其中\(zhòng)(V\)是特征向量矩陣（列向量是特征向量），\(\Lambda\)是對(duì)角矩陣（對(duì)角線(xiàn)元素是特征值）。

特征值通常按降序排列，即\(\lambda_1\geq\lambda_2\geq\ldots\geq\lambda_p\)。

選擇前\(m\)個(gè)最大特征值對(duì)應(yīng)的特征向量。這些特征向量構(gòu)成了新的正交基，用于表示原始變量。

因子數(shù)量確定：

累計(jì)方差解釋率法：計(jì)算每個(gè)特征值對(duì)應(yīng)的方差解釋率（\(\frac{\lambda_i}{\sum_{k=1}^p\lambda_k}\)）。選擇足夠數(shù)量的因子\(m\)，使得前\(m\)個(gè)因子的累計(jì)方差解釋率達(dá)到某個(gè)閾值（常用70%、80%或90%）。例如，如果總特征值為5，前兩個(gè)特征值分別為4和1，則累計(jì)方差解釋率為\(\frac{4+1}{5}=100\%\)。如果前一個(gè)特征值為4，第二個(gè)為0.8，則累計(jì)方差解釋率為\(\frac{4}{5}=80\%\)，此時(shí)選擇1個(gè)因子。

特征值法：通常選擇大于1的特征值對(duì)應(yīng)的因子（Kaiser準(zhǔn)則）。但此準(zhǔn)則在樣本量較大或變量較多時(shí)可能不適用，因?yàn)闀?huì)傾向于提取更多因子。

碎石圖法（ScreePlot）：將特征值按大小繪制成圖。觀察特征值曲線(xiàn)，尋找一個(gè)“彎曲點(diǎn)”（“elbow”），拐點(diǎn)之前的特征值對(duì)應(yīng)的因子被認(rèn)為是重要的，拐點(diǎn)之后的特征值較小，可能代表誤差或特定結(jié)構(gòu)。選擇拐點(diǎn)前的因子。

因子載荷矩陣構(gòu)建：

提取出的\(m\)個(gè)因子載荷矩陣\(A\)（\(p\timesm\)）由相關(guān)矩陣\(\rho\)的前\(m\)個(gè)特征向量（按特征值降序排列）組成。即\(A=[v_{1}\v_{2}\\ldots\v_{m}]\)，其中\(zhòng)(v_i\)是第\(i\)個(gè)特征向量。

每個(gè)元素\(a_{ij}\)代表第\(i\)個(gè)觀測(cè)變量在第\(j\)個(gè)因子上的載荷。

因子得分的初步計(jì)算：

在未旋轉(zhuǎn)時(shí)，因子得分\(F_{ik}\)可以通過(guò)線(xiàn)性組合原始標(biāo)準(zhǔn)化變量計(jì)算得到：\(F_{ik}=\sum_{j=1}^pa_{ji}X_{kj}'\)。其中\(zhòng)(a_{ji}\)是第\(j\)個(gè)觀測(cè)變量在第\(i\)個(gè)因子上的載荷，\(X_{kj}'\)是第\(k\)個(gè)樣本在第\(j\)個(gè)觀測(cè)變量上的標(biāo)準(zhǔn)化值。

2.最大似然法詳解：

模型設(shè)定與參數(shù)：

基于模型\(X=AF+\epsilon\)，其中\(zhòng)(\epsilon=(U_1,U_2,\ldots,U_p)'\)是獨(dú)立同分布的正態(tài)誤差向量，且\(\epsilon\simN(0,\Delta)\)，\(\Delta=\text{diag}(\sigma_{U1}^2,\sigma_{U2}^2,\ldots,\sigma_{Up}^2)\)。

需要估計(jì)的參數(shù)包括因子載荷矩陣\(A\)和特殊因子方差向量\(\sigma_{Ui}^2\)（或?qū)蔷仃嘰(\Delta\)）。

估計(jì)方法：

迭代最小二乘法（IML）：

1.初始估計(jì)：

可以先進(jìn)行主成分分析，取前\(m\)個(gè)因子，將其載荷作為\(A\)的初始估計(jì)。

也可以將所有觀測(cè)變量的方差設(shè)為共同度（如\(h_i^2=0.7\)），特殊因子方差設(shè)為\(1-h_i^2\)，然后計(jì)算相關(guān)矩陣\(\rho\)的Cholesky分解\(\rho=LL^T\)，取\(L\)的前\(m\)列作為\(A\)的初始估計(jì)，特殊方差設(shè)為1。

2.迭代步驟：

給定\(A\)和\(\Delta\)，計(jì)算因子得分\(F\)的估計(jì)：\(F=(A^TA+\Delta^{-1})^{-1}A^TX'\)。這里\(\Delta^{-1}\)是特殊方差矩陣的逆。

給定\(F\)，重新估計(jì)因子載荷\(A\)：\(A\leftarrowX'F(F^TF)^{-1/2}\)。

給定\(A\)，重新估計(jì)特殊方差\(\Delta\)：\(\Delta\leftarrow\text{diag}(\sigma_{U1}^2,\sigma_{U2}^2,\ldots,\sigma_{Up}^2)\leftarrow\text{diag}(\text{Var}(X-AF))\)，即對(duì)每個(gè)\(i\)，計(jì)算\(U_i=X_i-\sum_{j=1}^ma_{ji}F_{ij}\)，然后取\(U_i\)的方差作為\(\sigma_{Ui}^2\)的估計(jì)。

3.收斂判斷：重復(fù)迭代步驟，直到\(A\)和\(\Delta\)的變化小于某個(gè)預(yù)設(shè)的閾值，或達(dá)到最大迭代次數(shù)。

其他方法：還有基于偏最小二乘（PLS）的方法等。

優(yōu)點(diǎn)：直接估計(jì)因子載荷和特殊方差，結(jié)果通常更符合正態(tài)性假設(shè)的數(shù)據(jù)。

缺點(diǎn)：計(jì)算相對(duì)復(fù)雜，對(duì)樣本量和變量數(shù)有一定要求，結(jié)果的解釋可能受初始值影響。

（四）因子旋轉(zhuǎn)（續(xù)）

1.正交旋轉(zhuǎn)（OrthogonalRotation）：

目的：正交旋轉(zhuǎn)不改變因子之間相互獨(dú)立的性質(zhì)（協(xié)方差為零），但可以改變因子載荷的大小和方向，使因子結(jié)構(gòu)更清晰，便于解釋。目標(biāo)是讓每個(gè)變量在盡可能少的因子上有較大的載荷，而在其他因子上載荷較小。

方法：

Varimax（方差最大化法）：這是最常用的正交旋轉(zhuǎn)方法。其目標(biāo)是最大化所有因子上的載荷平方和的方差。旋轉(zhuǎn)后，載荷較大的變量將更集中于少數(shù)幾個(gè)因子上，而載荷較小的變量則分散在多個(gè)因子上。

Promax（斜交旋轉(zhuǎn)的加權(quán)最小平方法）：Promax是一種介于Varimax和Oblimin之間的旋轉(zhuǎn)方法，計(jì)算速度更快，也能處理近似相關(guān)的數(shù)據(jù)，但結(jié)果可能是正交的，也可能是斜交的。

實(shí)施：

將未旋轉(zhuǎn)的因子載荷矩陣\(A\)輸入到統(tǒng)計(jì)軟件中，指定旋轉(zhuǎn)方法（如Varimax）。

軟件會(huì)計(jì)算正交旋轉(zhuǎn)矩陣\(Q\)（滿(mǎn)足\(QQ^T=I\)）。

計(jì)算旋轉(zhuǎn)后的因子載荷矩陣\(A'=AQ\)。

2.斜交旋轉(zhuǎn)（ObliqueRotation）：

目的：當(dāng)理論或經(jīng)驗(yàn)表明因子之間存在相關(guān)性時(shí)（即因子不獨(dú)立），應(yīng)使用斜交旋轉(zhuǎn)。斜交旋轉(zhuǎn)允許因子之間存在非零的協(xié)方差或相關(guān)系數(shù)，可以更好地反映因子間的實(shí)際關(guān)系。

方法：

Oblimin（最小平方法）：嘗試找到一組因子載荷，使得因子載荷平方和的誤差最小，同時(shí)滿(mǎn)足因子間的相關(guān)結(jié)構(gòu)。

Promax：如前所述，也可用于斜交旋轉(zhuǎn)。

實(shí)施：

在統(tǒng)計(jì)軟件中，選擇斜交旋轉(zhuǎn)方法（如Oblimin）。

軟件需要估計(jì)因子間的相關(guān)矩陣。

計(jì)算斜交旋轉(zhuǎn)矩陣\(P\)（滿(mǎn)足\(PP^T=P^TP=I\)）。

計(jì)算旋轉(zhuǎn)后的因子載荷矩陣\(A''=AP\)。

選擇正交還是斜交：通常先進(jìn)行正交旋轉(zhuǎn)檢驗(yàn)（如使用Bartlett's球度檢驗(yàn)檢驗(yàn)因子相關(guān)性，或使用Anti-image相關(guān)矩陣等）。如果支持旋轉(zhuǎn)結(jié)果，則進(jìn)行斜交旋轉(zhuǎn)；否則，保留正交旋轉(zhuǎn)結(jié)果。

（五）結(jié)果解釋?zhuān)ɡm(xù)）

1.因子得分的計(jì)算與使用：

計(jì)算：在完成旋轉(zhuǎn)后，使用旋轉(zhuǎn)后的因子載荷矩陣\(A''\)和標(biāo)準(zhǔn)化數(shù)據(jù)\(X'\)計(jì)算因子得分\(F''\)。常用方法仍是\(F''=A''^TX'\)。因子得分\(F_{ik}\)代表第\(k\)個(gè)樣本在第\(i\)個(gè)旋轉(zhuǎn)因子上的得分。

應(yīng)用：

可以將因子得分作為新的變量，用于后續(xù)的分析，如聚類(lèi)分析、回歸分析等。

可以分析因子得分在不同樣本組（如不同人群、不同時(shí)間段）中的分布差異。

可以將因子得分用于構(gòu)建回歸模型，解釋因子的預(yù)測(cè)能力。

2.因子命名與解釋?zhuān)?/p>

依據(jù)載荷大?。翰榭疵總€(gè)變量在各個(gè)因子上的載荷大小。如果一個(gè)變量在某個(gè)因子上的載荷很高（如絕對(duì)值大于0.4或0.5），而在其他因子上的載荷很低，則可以將該因子命名為反映該變量的主要特征。

依據(jù)