PCA 2D/3D ビジュアライザー

6つの点：(2, 1)、(3, 2)、(4, 2.2)、(5, 3.2)、(6, 3.9)、(7, 5)。パネルにはPC1の分散が99.49%、PC2の分散が0.51%と表示されており、点群は実質的に直線状であるように見えます。これらの点が実際にはその直線からどれほど離れているかを求めてください。

1. まずは中心化を行います。以降の計算はすべて散らばりに関するものであり、位置そのものには関係しないためです。xの値は幅1のステップで2から7まで変化するため、その平均値は範囲の中央に位置し、中心化されたxの列は対称的になります：±0.5、±1.5、±2.5。計算が必要なのはyだけです。

   $$\mu=\tfrac16\textstyle\sum_i x_i=\left(\tfrac{27}{6},\ \tfrac{17.3}{6}\right)=(4.5,\ 2.883333)$$

2. 共分散は、積の和を6ではなくn − 1 = 5で割ります。差し引いたばかりの平均値を推定する際に1自由度がすでに消費されており、わずか6点のデータではこの補正が20%に相当するためです。

   $$C=\tfrac15X_c^{\mathsf T}X_c=\tfrac15\begin{pmatrix}17.5&13.35\\13.35&10.408333\end{pmatrix}=\begin{pmatrix}3.5&2.67\\2.67&2.081667\end{pmatrix}$$

3. 2つの数値があれば両方の固有値を得ることができ、どちらも方向を必要としません。トレースは全分散を表し、行列式は行列が特異行列からどれほど離れているかを測ります。トレース5.581667に対して行列式0.156933という値は、行列が極めてランク1に近いことを示しています。

   $$\operatorname{tr}C=5.581667,\quad \det C=3.5\cdot2.081667-2.67^{2}=0.156933$$

4. 特性方程式を解きます。λ₁はλ₂の約200倍となり、この点群の形状が1つの比較に凝縮されます。

   $$\lambda=\tfrac12\!\left(\operatorname{tr}C\pm\sqrt{\operatorname{tr}^{2}C-4\det C}\right)\Rightarrow \lambda_1=5.553408,\ \lambda_2=0.028259$$

5. 説明分散の行はその比率にほかなりません。したがって99.49%という数値はλ₁とλ₂についての記述であり、それらが分散（すなわちデータの単位の2乗を伴う量）であるという性質をそのまま受け継いでいます。このことを覚えておいてください。

   $$\frac{\lambda_1}{\lambda_1+\lambda_2}=\frac{5.553408}{5.581667}=99.49\%,\qquad \frac{\lambda_2}{\lambda_1+\lambda_2}=0.51\%$$

6. 方向とは固有ベクトルのことであり、非対角成分がゼロでない2×2共分散行列については、何も解くことなくそれを書き下すことができます：(λ₁ − S_yy, S_xy) はすでにPC1に沿った方向を指しています。これを単位長さに正規化すれば、表示されているベクトルになります。

   $$v_1\propto(\lambda_1-S_{yy},\,S_{xy})=(3.471741,\,2.67)\Rightarrow v_1=(0.792687,\,0.609629)$$

7. それを1/4回転させてv₂を得て、最初の中心化された点をそこへ射影します。その結果である0.031179は、スコア表の2番目の数値です。したがって、パネルが何であるかを説明せずに表示しているその列全体は、各点からPC1直線までの符号付き距離であり、6つの点の中で最も離れているものは−0.236855です。

   $$v_2=(-0.609629,\,0.792687):\ (x_1-\mu)\cdot v_2=(-2.5)(-0.609629)+(-1.883333)(0.792687)=0.031179$$

8. ここでパーセンテージによって隠されていた疑問が生じます。λ₂は分散であるため距離の2乗であり、代表的な誤差はその平方根となります。これを、直線に沿った散らばりであるλ₁の平方根と比較してみましょう。

   $$\frac{\sigma_2}{\sigma_1}=\sqrt{\frac{\lambda_2}{\lambda_1}}=\sqrt{\frac{0.028259}{5.553408}}=0.0713$$

PC1は (0.792687, 0.609629) と表示され、これは傾き0.769の方向です。まったく同じ共分散の要素から最小二乗法によってyをxに当てはめると、2.67/3.5 = 0.763が得られます。1つの6点データ群を通る2本の直線があります。どちらの傾きがより急であるか、そして常にそちらが急になることを示してください。

1. yに対する最小二乗法は垂直方向の隔たりを最小化し、その最小化を与える値はS_xy/S_xxとなります。分母にあるものに注目してください：x単独の散らばりです。この当てはめはxを与えられたものとして扱い、それに応じてyがどのように変化するかだけを問いかけます。

   $$b_{y\mid x}=\frac{S_{xy}}{S_{xx}}=\frac{2.67}{3.5}=0.762857$$

2. PC1の傾きは、表示された単位ベクトルから直接読み取ることができます。方向 (a, b) の傾きは b/a となるためです。これは回帰の傾きを約千分の6上回っており、わずかではありますがゼロではありません。

   $$m_{\mathrm{PC1}}=\frac{0.609629}{0.792687}=0.769067$$

3. 両者を適切に比較するために、PC1の傾きを小数の比としてではなく、固有ベクトルが定義する形式で書き表します。分子はどちらも同じS_xyであるため、差のすべては分母にあります：回帰の場合はS_xx、PC1の場合はλ₁ − S_yyです。

   $$v_1\propto(\lambda_1-S_{yy},\,S_{xy})\ \Longrightarrow\ m_{\mathrm{PC1}}=\frac{S_{xy}}{\lambda_1-S_{yy}}=\frac{2.67}{3.471741}$$

4. λ₁を展開します。PCAの分母の方が小さいかどうかは、単一の平方根についての問題に帰着されます。

   $$\lambda_1-S_{yy}=\tfrac12\!\left(S_{xx}-S_{yy}+\sqrt{\operatorname{tr}^{2}C-4\det C}\right)$$

5. そして、その平方根が行列式が正であるときに限ってトレースよりも小さくなりますが、これは完全な直線ではない任意の点群について成立します。したがって、PC1の分母は常に小さくなり、結果としてPC1の傾きは常に2つのうち急な方になります。これらの6つの点固有の性質は一切使用されていません。

   $$\det C>0\iff\sqrt{\operatorname{tr}^{2}C-4\det C}<\operatorname{tr}C\iff\lambda_1-S_{yy}<S_{xx}$$

6. 役割を入れ替えて、代わりにxをyに回帰させます。これが3本目の直線であり、同じy対xのグラフに合わせてその傾きを書き換えると0.779650になります。この入れ替えによってPC1が動くことはありません（共分散行列はxとyに関して対称であるため）。したがって、前のステップの議論が今度は逆向きに適用され、PC1はこのペアの中で緩やかな方の傾きとなります。

   $$b_{x\mid y}=\frac{S_{xy}}{S_{yy}}=\frac{2.67}{2.081667}=1.282626\ \Longrightarrow\ \frac{1}{b_{x\mid y}}=\frac{S_{yy}}{S_{xy}}=0.779650$$