研究の過程をも評価する

研究の評価は基本的に論文の数とその質(主にインパクトファクターや引用された数などでしょう)で評価されます。

このため、研究者は論文となるデータを取ることに躍起になるわけです。具体的には、再現性の悪いチャンピオンデータ（取得したデータの中で一番いい結果）に注目して乗せたりするなどがあります。本来、再現するためには統計的に納得のいくデータが必要です。もちろん統計的なデータなのでおおければ多い程、良いのは間違いないですが、まずは10回行って、かなり再現が良ければ大体30回程度で十分な時もあります(分布の形状などによります)。ただし、再現性が悪い実験になると100回は最低でも欲しいですし、状況によります。

このように、本来であれば、多数の実験を繰り返してどの程度の割合で、目的の物ができるのかを示す必要があるにも関わらず、この点を「論文を出すために端折ってしまう」ことが起こりえます。

このような科学技術における再現性の問題は少なくとも20年前ぐらいから言われていると思いますが、ここ最近心理学の分野でも再現しない問題が叫ばれ、それ以外の科学技術界隈でも問題視されています。

そんな中、Natureでもこの問題が以下のタイトルで取り上げられまれていました。

An innovative way to publish

とりあえず今日はここまでです…

詳しく読み次第、まとめた内容をあげます。