noteを続けること=成功体験至上主義への抗い

noteの続け方

結論から言おう

不完全でもいい、短くてもいいから公開する。

これが私のnoteの続け方だ。

この行為が「これからの研究の表現方法」にもつながると言えば、あなたは驚くだろうか。

これからその理由を説明しよう。

成功体験至上主義

少し話が遠回りに聞こえるかもしれないが聞いてほしい。

皆さんは大学の研究がどのように評価されるか、ご存知だろうか？

大学教員の評価は基本的に論文の数とその質(主にインパクトファクターや引用、参考にされた数など)でのみ評価されると言っても過言じゃない。

このため、論文は出せば出すほど評価される。

さらに重要な側面として、この「現代の論文による研究の表現」には、「研究の成功した結果」を載せる事が必須になるという事だ。

つまり、現在の論文は成功体験至上主義なのだ。

この感覚は、Facebookに成功とか華々しい内容ばかりを上げなければならない感覚に似ている。

この「成功した結果」とは、例えばセンサーで言えば感度が10倍高くなったとか、物理学では新しい現象の定式化ができたとか、そのような改良や改善、新発見などの良い側面を体感できることを指す。

ただよく考えて見てほしい。新しい結果は、失敗の積み重ねで成り立っていることを忘れてはならない。

しかし、この研究の重要な一側面である失敗の表現は蔑ろにされている。

精々、失敗した内容は研究室の資産となる程度であろう。

成功体験至上主義によってもたらされる問題

このため、研究者は成功したことがメインとなる論文のデータを取ることに躍起になるわけだが、具体的には、再現性の悪いチャンピオンデータ（取得したデータの中で一番い自分たちの主張にとって都合のいい結果）に注目して乗せたりする。

本来であれば、多数の実験を繰り返してどの程度の割合で、目的の物ができるのか、それ自体を示す必要があるにも関わらず、繰り返し再現性の点を「論文を出すために端折ってしまう」こと、つまり「不正すれすれ」や「不正」が往々にして起こりえるのである。

繰り返しになるが、研究者の評価（次のアカデミックポストを見つけるための評価、研究費をとるための評価）は論文の数や、投稿した論文の質IF（Impact factor）や被引用数が対象となる。このため、多少再現性が低くても「エイヤッ」と出している研究者が多々いることもまた事実である。いくら倫理教育をしたところで、この構造（成功論文至上主義とでもいおうか）がもたらす本質的な問題からはなかなか逃げることが出来ない。

端折ったり、不正まがいのことをしたり、ギフトオーサー（論文執筆に本質的なかかわりの無い人間を共著者に入れたりすること）したり、これまでの研究の歴史を見ても、自分が考えられないぐらいの不正がはびこっていると思う。

そのような問題は、科学技術論文の信頼性までをも脅かしているのは言うまでもないだろう。大学の研究に浸かって６年の若造に気が付かれるような直観的な問題が未だに解決できていないのは、少しまずいのではないだろうか。

これを解決する策を、お前は持っているか（自問自答）

だからといって、自分ひとりでこの問題を解決する方法があるかというとなかなか難しいのは言うまでもなく。この問題の解決案は日々出している状況、という何とも情けない状況である。

個人的には動画によるデータ開示と研究報告が論文執筆よりも簡単になれば、これからのスタンダードになるのではと予想している。

（もっと真剣に考えろ）

話を戻して、成功論文至上主義からくる、科学技術における再現性の問題は少なくとも20年前ぐらいから言われていると思うが、ここ最近心理学の分野でも再現しない問題が叫ばれ、それ以外の科学技術界隈でも問題視されている。

そんな中、Natureでもこの問題が以下のタイトルで取り上げられた。

以下は記事の内容であるので、あとは最後の部分まですっ飛ばしてもらっても構わない。

An innovative way to publish

An innovative way to publish

この記事はこれからの研究報告手法の重大な転換に関して書かれていると僕は思う。

まず論文の切り出しは、以下のようなことが記載されている。

論文出版バイアスの存在

Four years ago, the world of psychological research was rocked when an attempt to replicate 100 studies resulted in successful replications for just over one-third of them.

つまり、心理学系の論文100件の内、その論文の研究内容を再現したのはその1/3件だけ。

悲しいぐらい少ない。だが、僕の所感ではこの分野に限った話ではないだろう。特に系が複雑な生命科学等では同様に起こりうる問題だと思う。

実際にその次の段落では以下のような内容も記載されている。

Such a discovery is not unique to psychology.

正直そりゃそうだわなと。

なぜこのような問題が起こるのか、
論文出版バイアスとは

そして、この理由に関して、その次の段落で述べられている。

One reason for this is publication bias: journal editors, reviewers and authors can favour positive, sometimes eye-catching results over negative findings.

正直 eye-chatching resultの意味が分からなくて困惑したのは内緒だ。

意味としては、人目を惹くという意味を持っているらしい。

なんだかnoteで英語の勉強も始めたい気分になるな。

話を戻そう。

つまり、編集者や評価者、執筆者は人目を引くようなポジティブな結果をネガティブな結果よりも肯定的に受け止めてしまうということがある。

このような出版バイアス「これはキャッチ―だ！おもしろい」バイアスというとわかりやすいだろうか。とにかく面白いことを出してしまおうという無意識の圧力のようなものである。

成功論文至上主義の脱却ができる！？　Registered Reports

このような問題点を解決する方法論名を次の段落で説明している。

Researchers and funders in affected fields have been taking steps to address the problem, and one solution to emerge is a publication format called Registered Reports that some journals have eagerly adopted.

つまりこのようなことを言っている。

研究者も出資者もこの問題の影響がやばいからhave been taking step to address the problem.＝問題を解決する処置を講じるという意味だ。

具体的にどんなことでこの問題を解決するかというと、

Registered Reportsが解決方法の一つといっている。

予約報告？　なんじゃそりゃと。

とっとと次の段落に向かおう。

Registered Reportsとは

まず、これはpeer review(伝統的な論文審査方法と捉えて貰いたい)であると記載されている。さらに重要な点は、

the decision to publish precede data collection and analysis.

データを集めて解析する前に、掲載を決めるということだと書かている。

？？？？？？

一旦落ち着くために従来論文を考えてみよう。

従来の論文の補足説明

従来の論文を今一度示すと、基本的にこれまでの研究報告論文は、自ら得た新しい何かに有効な知見を紹介することが（も）重要視されていた。つまり新しく何かを発見、新しく何かを改良、新しく…ということが必須であった。

これに対してRegistered Reportでは

A researcher will submit what is essentially a detailed plan — a protocol — for a research project for publication in a journal. This will include the research question to be asked, along with a description of the study design and methodology, and a detailed analysis plan.

なるほど、具体的な研究計画を詳細に述べ、さらに、解析方法までをも詳細で説明することで、たとえ実験がうまくいかなかったとしても掲載してしまう情報開示方法という説明がされている。

更に編集者は、その研究の問の重要性に重きをおいてレビューに値するかを判断し、潜在的な新規性には重きを置かないという。これは常にそうだが、雑誌の掲載を決めるのは編集者の仕事であるため、従来とあまり変わらない気がするが、編集者の影響力は実際どのように変化するのだろうか…

話を戻そう。

更に編集者から、評価者に計画が提出され、評価者全員が納得した場合、結果に関係なく、計画の完了時に論文の掲載が決まる。

ということが書かれている。

繰り返しになるが、これはたとえ実験がうまくいかなかったとしても、失敗した内容を公表でき、それを評価してもらえるということだ。

むしろ重要なのは、なぜ計画がうまくいかなかったのか、それらの過程自体が評価される。

これからの論文報告で何が重要視されるのか

この場合、これからは未来を見据える力（計画力）と、何がどのように繋がるかを表現する力が重要視されるだろう。

どのような失敗が予想されるのか、また、それらはどのように解決できるのか。このような詳細な情報を計画し、その計画で論文の掲載が決定されるシステムは今までにはなかった。

元来研究とは、多くの失敗の積み重ねで成り立ってきた。現在の論文のようなキレイなデータや、素晴らしいデータだけで構成はされていない。そのようなデータをとるために膨大な失敗がなされているからだ。これからはそのような「失敗」自体を公表することも評価されるようになる。

このため、これまでのような、如何に自分の結果を美しく見せるかという、結果をモディファイする能力と同様もしくはそれ以上に、研究者の計画作成スキルの高さも評価対象となることで、今まで以上に論文執筆の幅が広がるだろう。

これは自分の持論だが、新しいことが過去の研究から明らかになっており、その研究で「ある方法が失敗する」ことが「新しくわかる」、このこと自体に価値がある。

noteの続け方に戻って

研究と絡めたが故に話がとーんでもなく長くなってしまった。

だが書きたい事はおおよそかけた！

続けるということ考えた時に、いろんな事が繋がっていく感じになった。

今までのような、自分のキレイな側面だけを見てほしい。そう思う事自体に、何ら間違いはない。もちろん、そのような行為は自分の成長にも繋がる。

だがみんな疲れていないだろうか、失敗して落ち込んでいる姿、疲れてうなだれている姿、あらがって立ち上がろうといている姿。

自分のある一面だけを出すことに終始する世の中になったことで、漠然とした停滞感や違和感を持っている人もいると思う。

少なくとも自分は、上記のような感情が研究においても感じていた。

だが、これからは変わるだろう。いや、変えていきたい。

自分が経験した失敗は、必ず誰かのために役立つ。

そう信じるに至ったからこそ、僕は自分の記事が不完全であったとしても、どの点が不完全化を明示しつつ、情報を出す。

最後にもう一度言いたい。

失敗や不完全なことも、どの点がどのように失敗したのか(不完全なのか)を明示し、兎にも角にも表現することが、私のnoteの原動力である。