集合知と多様性の数学

これを見ていた

集合知が働く、あるいは働かないのはいかなるときか

自分で計算してみる

多様性予測定理

基本的な考え方は次の通り

「企業に多様性はどう効くんですか？」と聞かれたら

平均個人誤差（個人の予測の誤差の平均）は集団誤差（個人の平均を予測としたときの誤差）はよりも大きくなり、その差分は個人の分散に等しい。

ここでは予測すべき変数が複数ある場合を想定する。確率変数として$${x_{ij}}$$を考える。ここで、$${i = 1 \cdots m}$$は予測されるべき値、$${j = 1 \cdots n}$$は予測しようとする個人に対応する。これに対して真の値を$${y_i}$$とする。

まず、個人ごとの真の値との誤差は

$$
e_j^2 = \displaystyle \frac{1}{m} \sum_i (y_i - x_{ij})^2
$$

これの平均（平均個人誤差）は

$$
E_I =\displaystyle \frac{1}{n}  \sum_j e_j^2 = \displaystyle \frac{1}{mn}  \sum_{i,j} (y_i - x_{ij})^2
$$

次に予測値ごとの平均は

$$
\mu_i = \displaystyle \frac{1}{n}  \sum_j x_{ij}
$$

これと真の値との誤差（集団誤差）は

$$
E_G = \displaystyle \frac{1}{m}  \sum_i (y_i - \mu_i)^2
$$

分散を導いておく

$$
\sigma_i^2 = \displaystyle \frac{1}{n}  \sum_j (x_{ij} - \mu_i)^2
$$

これは展開して整理すると

$$
\displaystyle \frac{1}{n}  \sum_j x_{ij}^2 = \sigma_i^2 + \mu_i^2
$$

平均個人誤差を展開すると

$$
E_I =  \displaystyle \frac{1}{m}  \sum_i y_i^2 - \displaystyle \frac{2}{m}  \sum_{i} y_{i} \frac{1}{n} \sum_{j} x_{ij} +  \displaystyle \frac{1}{m}  \sum_{i} \frac{1}{n} \sum_{j} x_{ij}^2
$$

平均と分散を使って

$$
E_I =  \displaystyle \frac{1}{m} \sum_i y_i^2 - \displaystyle \frac{2}{m}  \sum_{i} y_{i} \mu_i +  \displaystyle \frac{1}{m} \sum_{i} (\sigma_i^2 + \mu_i^2)
$$

つまり

$$
E_I =  \displaystyle \frac{1}{m}  \sum_i (y_i - \mu_i)^2 + \displaystyle \frac{1}{m} \sum_{i} \sigma_i^2 = E_G + \displaystyle \frac{1}{m} \sum_{i} \sigma_i^2
$$

よって、分散の分だけ誤差が大きくなる。

ネットワークと意思決定

非常にきれいにまとまっているのだが本当か。上の式は平均個人誤差と集団誤差を比べると集団誤差のほうが小さいということ以外は説明できていない。

$${x_{ij}}$$が平均$${y_i}$$の分布に従うなら、人数が多いほど$${\mu_i \rightarrow y_i}$$に収束する。一方、そもそも平均が$${y_i}$$でないならその分だけ予測がずれる。また、適当な$${x_{ij}}$$と$${x_{ik}}$$が独立でない場合も真の値から遠ざかる。

別の視点、ネットワークで表現すると

ただし、$${w_1 = \cdots = w_m = 1}$$で、最適化すべき関数は

$$
g(z_1,\cdots,z_m) = \displaystyle \sum_i (y_i - z_i)^2
$$

もっといい感じにできそう

中間層をつくって非線形関数を入れ込んだらどうか。

間接民主主義 - Wikipedia

ついでに損失関数も再定義したほうが良いかもしれない。

いずれにしても、入力ソースが

• 多様

• 独立

• 分散

であったほうが良さそうである。

このネットワークを最適化するためには今のネットワークをとりあえず使う必要があるが、今のネットワークからすると更新するモチベーションがない・・のだが、これを安全に解決する方法はあるのだろうか。