研究をどう評価するか。それは、日本の科学技術再興に必要な議論だと思う
科学研究の評価は今も昔も難題だと思います。今回研究評価に関するトピックで記事が2つ出ていたため、自分の経験や考えを織り交ぜながら書きたいと思います。
「投入資金に対する論文生産性が悪い」。2020年11月、政府の総合科学技術・イノベーション会議の有識者議員が集まった会合で内閣府の宮本岩男参事官は口火を切った。内閣府が20年9月に一般公開を始めた科学技術データの分析システム「e-CSTI」の参考分析の一例を紹介した。研究者約8万人に配られた約6000億円の研究費と論文数などを分析し、属性ごとの傾向をグラフで確認できる。
このような定量的な分析というはとても大切だと思います。それは、使った研究費に対してどのようなアウトプットがなされたかの予実管理（予算と実績の管理）をしていくことで、より良い研究費配分をするための基礎的なデータだと思うからです。
ただ、課題もすでに出てきています。
第6期科学技術・イノベーション基本計画でも「客観的な証拠に基づく政策立案を行うエビデンス・ベースト・ポリシー・メーキング（EBPM）の徹底」を掲げた。その一翼を担うのがe-CSTIだが、課題も多い。
「研究費の種類によって目的が異なるのに、論文生産性で議論するのは乱暴だ」。宮本参事官の説明に物質・材料研究機構の橋本和仁理事長が反論するなど、多くの有識者議員が慎重な分析を求めた。
確かに、分析には慎重さが必要だと思います。研究者側からしたら、画一的な指標で見られて、それで評価されたのではたまったものじゃないとは思う。それに対する内閣府の以下の回答は理にかなっていると思います。
内閣府は今後、特許のデータを盛り込むなど、システムを改善していく。宮本参事官は「日本全体の研究アウトプットが伸び悩んでおり、資金配分の在り方を議論するため、データに基づくマクロ分析が必要だ」と話す。
私の前職クラリベイト・アナリティクス（旧トムソン・ロイター・プロフェッショナル）に転職した当時（2013年12月）は、文科省傘下の科学技術・学術政策研究所（NISTEP）が2012年8月に発表した「研究論文に着目した日本の大学ベンチマーキング2011 ―大学の個性を活かし、国全体としての水準を向上させるために―」が認知されるにつれて、国公立・私立大学や旧国立研究所などから研究論文を用いた研究力評価分析への引き合いが真っ盛りな状況でした。もちろん、プロジェクトとしてかなりの数をしました。
納品時に説明会をするのですが、毎回かなりの数の参加者がいたのを覚えています（大講堂で発表とか）。それだけ論文を使った定量的な評価に対する興味の高さが分かると思います。
その時にもよく論文だけでは判断できない研究の良さという定性的な分析が全く欠如しているいう指摘がとても多かったのを覚えています。
こうした分析もできような設計にしておく必要はあると思うのですが、色々と難しいとは思います。以下の記事は最初にご紹介した記事とほぼ同じ時期に出ているもので、研究の評価方法とその問題点についての記事です。
数値を用いた成果至上主義が科学研究の現場に混乱を引き起こしている。図書館で購入する学術誌を決める際の参考指標だった「インパクト・ファクター（IF）」もそのひとつ。誤った利用が広がって弊害が目立ち始め、異を唱える声が高くなっている。
このIFも前職クラリベイトが公表している指標の一つで、よく引用される（研究者から注目されるという意味とお考え下さい）雑誌であるのを示す指標です。そのため、IFの数値が高い雑誌に載った論文がある場合、（質が良い）論文であるという使われかたをしています。
ただ、この記事にもあるように何かを評価する際に一つに指標だけで評価することの危うさを示していると言えます。
また最初の記事に戻ります。
大学側もデータに基づく戦略作りを始めた。北海道大学は独自のシステム「北大BI」で、教職員ごとの論文数、獲得した競争的資金、企業との共同研究などの情報を分析する。研究院（大学院）ごと、北大全体の情報も簡単な操作でグラフ化でき、資金配分や人材、経営戦略に生かす。
これは結構前から進められていたと思ったのですが、そうでもなかったのですかね。
ご存知の方もいらっしゃるかもしれませんが、リサーチ・アドミニストレーター（URA）という職種があります。前職にいたころはそうした方々とよくお仕事をしましたが、あれから7年以上たちこうした形になったのなら、本当に良かったと思います。
2月1日、若手科学者など約40人が日本版AAAS設立準備委員会を立ち上げた。アドバイザーにはノーベル物理学賞受賞者の梶田隆章東大教授ら著名研究者も名を連ねる。
モデルは米国の科学者団体で科学誌サイエンスの発行でも知られる全米科学振興協会（AAAS）だ。準備委メンバーで藤田医科大学の宮川剛教授は「今までの科学者コミュニティーは行政に関わる官僚、政治家との対話が足りなかった」と話す。科学技術の振興に積極的な与野党の政治家とも意見交換をしているという。一般市民との対話も重ねて政策提言をしていく予定だ。
この流れはとても良いと思っています。研究者、行政、立法との対話が増えることはより良い科学技術の発展のためには必要だと思うからです。
以前に紹介した工学アカデミーの活動もこれに類する動きだと思います。
日本の科学技術力の低下を食い止めるための一つの論点だと思うのです、研究活動の把握をするというのは、そのための行動が始まりました。色々と大変ではあると思いますが、期待したいと思っています。
日本の科学技術力の低下を防いだり、基礎研究の多様性を増したり、ポスドク問題などにもつながるとても大切な議論だと私は思っています。
これからも興味を持って、この流れは見ていきたいと思っています。
この記事を読んでいただいたみなさまへ 本当にありがとうございます！ 感想とか教えて貰えると嬉しいです(^-^)