偏りを発見する方法

ポール・グレアム（Paul Graham）が執筆したエッセー「A Way to Detect Bias」の日本語訳になります。

2015年10月

これは多くの人たちにとって驚くことだろうが、応募者のプールに関して何も知らないで、偏りを選考プロセスにおいて発見することは場合によっては可能である。これは特に選考する第三者が応募者を欲しいかどうかの偏りを発見するのにこのテクニックが使えることを意味するので、面白い。

あなたはこのテクニックを（ａ）少なくとも選ばれた応募者のランダムなサンプルがある、（ｂ）応募者のその後のパフォーマンスが測定される、（ｃ）比較している応募者のグループがほぼ等しい能力の分布を持つ、を満たすときにはいつでも使うことができる。

どのように機能するのか？　偏っていることが意味するものを考えてみてください。タイプｘの応募者に対して偏りのある選考プロセスが意味するものは、タイプｘの応募者が選考プロセスを通過するのがより難しいということである。つまり、タイプｘの応募者は選ばれるためにタイプｘではない応募者よりも優れていなければならない。［１］すなわち、選考プロセスを通過したタイプｘの応募者は、他の成功した応募者よりもパフォーマンスが優れているのだ。そして、もしすべての成功した応募者のパフォーマンスが測定される場合、あなたはタイプｘの応募者が優れているかどうか知るだろう。

もちろん、パフォーマンスを測定するのに使うテストは有効なものでなければならない。特にあなたが測定しようとする偏りによって、テストが無効にされてはならない。だが、パフォーマンスが測定されることができる分野はあり、そこでは偏りを発見することは簡単である。選考プロセスが応募者のあるタイプに対して偏っているかどうか知りたい？　彼らが他よりもパフォーマンスが優れているかどうか確認してください。これは偏りを発見するただの発見的解決法ではない。偏りを測るものである。

たとえば、多くの人たちはベンチャーキャピタルの会社が女性創業者に対して偏見を抱いてだろうと思っている。これは発見するのが簡単である。彼らのポートフォリオ企業の中で、女性創業者のスタートアップはそうでないスタートアップよりも優れているのか？　数ヶ月前、あるベンチャーキャピタルの会社は（ほぼ間違いなく意図せずに）このタイプの偏りを示す研究を発表した。First Round Capital は、自分たちのポートフォリオ企業の中で、女性創業者のスタートアップはそうではないスタートアップよりも63％優れていたことを発見した。［２］

このテクニックは多くの人たちにとって驚くことだろうと私が最初に言った理由は、私たちはこのタイプの分析をとてもめったに見ないからである。きっと分析を行った First Round Capital にとっても驚くことだろう。サンプルを自分たちのポートフォリオに限定することで、スタートアップのトレンドに関する研究ではなく、会社を選考するときの自分たち自身の偏りに関する研究をしていたと誰かが気づいたとは思わない。

私たちはこのテクニックが今後もっと使われるのを目にするだろうと私は予想する。そのような研究を行うために必要な情報は次第に入手可能だ。仕事に応募する人に関するデータは通常応募者を選ぶ組織によってしっかり守られているが、最近は選ばれた人に関するデータは苦労を惜しまずにデータを集める人なら誰でもしばしば公然と入手できる。

注釈

［１］もし選考プロセスが応募者の異なるタイプから違うものを探す場合、このテクニックは機能しないだろう。たとえば、雇用主が能力に基づいて男性を雇い、外見に基づいて女性を雇う場合である。

［２］ポール・ブックハイトが指摘しているように、First Round は最も成功している投資である Uber を研究から除外した。ある種の研究から異常値を除外することは道理にかなっているが、異常値に達することがすべてであるスタートアップ投資からのリターンに関する研究は、それら研究のひとつではない。

このエッセーの下書きを読んでくれた Sam Altman、ジェシカ・リビングストン、ジェフ・ラルストンに感謝する。

ポールグレアム（Paul Graham）の日本語訳エッセー｜Jack｜note