ばらつきと偏差

「one outlier」のプリセットには 4 から 7 の間の値が7個と、20 が1個入っています。この最後の値の z スコアを標本標準偏差から求め、標準偏差の3倍を超えたものを検出する規則がこれを捕まえられたかどうかを判断してください。

この問題をツールで開く

1. 8個の値を足して分け合わせます。60 を 8 で割って 7.50。8個のうち7個はこれより下にあるので、ただ一つの高い値は、ばらつきに触れる前からすでに中心を動かしています。

   $$\bar{x} = \frac{4+5+5+6+6+7+7+20}{8} = \frac{60}{8} = 7.50$$

2. それぞれから 7.50 を引きます。密集した7個は 0.5 から 3.5 の範囲に収まり、8個目だけが 12.5 離れています。パネルはこの列を表示し、その合計はゼロになります。偏差の列は必ずそうなります。

   $$x_i - \bar{x}: \; -3.5,\, -2.5,\, -2.5,\, -1.5,\, -1.5,\, -0.5,\, -0.5,\, 12.5$$

3. 二乗すると合計が偏ります。7個の合計は 29.75、20 の値は単独で 156.25 を占め、標本の残り全部を合わせた5倍を超えます。これが二乗の役目そのものです。

   $$\sum (x_i - \bar{x})^2 = \underbrace{29.75}_{i \le 7} + \underbrace{156.25}_{i = 8} = 186.00$$

4. このプリセットは標本モード（Sample (÷ n − 1)）で読み込まれるため、割る数は 8 ではなく 7 です。パネルは答えだけでなく分数も表示します。186.00 を 7 で割って分散は 26.57、標準偏差は 5.15。この割り算をもう一桁進めると s は 5.1547 で、次の段階ではこの値を使います。

   $$s^2 = \frac{186.00}{8-1} = 26.57, \qquad s = \sqrt{26.57} = 5.1547$$

5. z スコアは平均から標準偏差いくつ分かを数えるので、ここでは 12.5 ÷ 5.1547 で 2.4249。この集合でいちばん目立つ値が 3 に届かず、しかも惜しくもありません。

   $$z_8 = \frac{20 - 7.50}{5.1547} = 2.4249$$

6. ここで、それがこのリスト固有の事実なのか、8個の数一般の事実なのかを問いましょう。決め手は一つ、偏差の合計がゼロだということです。残り7個が何であれ、その和は8個目の符号を反転した値にぴったり等しくなります。

   $$d_k = x_k - \bar{x}, \quad \sum_i d_i = 0 \;\Longrightarrow\; \sum_{i \ne k} d_i = -d_k$$

7. 和が決まっている数の組は、すべて等しいときに二乗和が最小になります。ですから残り7個の偏差がそろって小さいことはあり得ません。いちばん節約しても負担を均等に分け合うところまでで、そこが二乗和の下限になります。

   $$\begin{aligned}\sum_{i \ne k} d_i^2 &\ge \frac{\left(\sum_{i \ne k} d_i\right)^2}{n-1} = \frac{d_k^2}{n-1} \\ \sum_i d_i^2 &\ge d_k^2 + \frac{d_k^2}{n-1} = \frac{n}{n-1}\,d_k^2\end{aligned}$$

8. 二乗和に下限があれば s に下限があり、s に下限があれば z に上限があります。n 個のリストのどの値も、平均から (n − 1)/√n 標本標準偏差より遠くには座れません。n = 8 ならその上限は 2.4749 です。20 を 100 に上げるとパネルは偏差 82.50、標準偏差 33.35 を返し、z は 2.474。百万に上げれば z は小数点以下4桁で 2.4749 に届き、そこで止まります。

   $$\begin{aligned}s^2 &= \frac{\sum_i d_i^2}{n-1} \ge \frac{n\,d_k^2}{(n-1)^2} \\ |z_k| &= \frac{|d_k|}{s} \le \frac{n-1}{\sqrt{n}} = \frac{7}{\sqrt{8}} = 2.4749\end{aligned}$$

9. 上限は n だけで決まります。それが初めて 3 を超えるのは値が11個のときで、10個では 2.846 まで、11個では 3.015 まで届きます。ここのリストは12個入るので、その極端な場合にも手が届きます。標本モードのまま、0 を10個と 1000 を1個入力してみてください。パネルは平均 90.91、標準偏差 301.51 を返し、最大の偏差 909.09 を 301.51 で割ると 3.015、これが上限そのものです。

   $$\frac{n-1}{\sqrt{n}} \ge 3 \iff n \ge 11; \qquad n = 10: 2.846, \quad n = 11: 3.015$$