Best Matchはベストなのか

Kiester L, Turp C. Artificial intelligence behind the scenes: PubMed's Best Match algorithm. J Med Libr Assoc. 2022 Jan 1;110(1):15-22. doi: 10.5195/jmla.2022.1236. PMID: 35210958; PMCID: PMC8830327.

PubMedがリニューアルした際，それまでpubication dateで検索結果がソートされていたのが，Best Matchというソートに変更になりました。

現在のPubMedではBM25で検索結果を処理し，L2Rアルゴリズムで最初の500件を表示する仕組みになっています。

BM25
入力した検索キーワードが検索対象の文書内にどのくらい含まれるかによって評価。検索の世界では主流なアルゴリズムの一つ
※スコアが文書の長さに比例してしまう可能性がある。短い文書ほどスコアが高くなる

L2R
論文の過去の使用(クリックして参照された）状況，出版日，関連性スコア，論文のタイプを考慮して最初の500件をソートする

この文献では"colon cancer screening"の検索例を挙げて、Best matchアルゴリズムによって処理されて返される検索結果がデフォルトで採用されていることを例に，私たち図書館員へ考えるヒントを与えてくれているように感じました。コレを読んだとき。

これをMost recent(PubMed搭載順)に並び替えたのが↓こちら　(2022年9月27日時点)

何が違うでしょうか。まぁ、ソートを変えたので表示さている文献の表示順が違います。

デフォルトのBest matchでは2017年の「Colorectal cancer screening: An updated review of the available options.」と言うタイトルの文献が1番目に来ました。2番目も「 Share Colon cancer screening with CT colonography: logistics, cost-effectiveness, efficiency and progress.」2018年の文献です。タイトルを単純に見るにそれぞれ大腸癌の検診に関する内容でノイズ文献ではなさそうです。
Most Recentに並べ替えた場結果では（当然なのですが）2022年からの新しい研究論文が先頭から表示されています。

googleライクな検索になれたユーザ（私たち）はこの検索結果の表示順に特に疑問を持たないかもしれないが，Best Match（以下, BM）ソート表示に潜む倫理的バイアス（それが上位に表示されているのは，1ページ目の上位に表示されているのでよりクリック数が多いだけかもしれない・これまでの所一般的な内容に見えるからかもしれない・出版年からの経過期間が長い分より参照されただけかもしれないなど）を知らない医師などが臨床判断に使用しても安全といえるのだろうか？というディスカッションを挙げています
medical community（なんと訳そう。医学分野）でも研究や臨床の場面におけるAIの倫理について考慮がなされていないわけではなく，2018年AMAが最初の提言を出している。ref)AMA passes first policy recommendations on augmented intelligence. ; 2018.
翌年AIの使用に関するポリシーを策定している。American Medical Association. Board policy summary: augmented intelligence in health care. American Medical Association; 2019.

この方針はAIとの連携がヘルスケアの将来にとって不可欠であると位置づけている。しかし，これらの方針では教育や啓蒙に関する明確な基準は抽象的なままであり、特に文献を中心とした研究におけるAIを取り巻く倫理や慣行について言及されていない。PubMedはSRのような検索からクイックリサーチ(臨床判断やちょっとした疑問解決のための)までさまざまな用途で使われている。(PubMedなど)データベースの文献検索ににAIアルゴリズムが使われる可能性があることはどこにも言及がなく医学会では潜在的な倫理問題と認識していないかもしれない。
(これまでの研究で指摘されているように) ユーザーは情報検索をした際，検索1ページ目に表示された結果を中心に参照していることが分かっている。BMアルゴリズムによって達成されるとPubMedが主張している，関連性の向上がもたらす可能性のある利益は，AIを使用することの倫理的意味を上回りますか？
AIは関連性，特に情報行動を考える上で有利です。最初のページに関連情報があることの価値は計り知れません。PubMedはNLMの関連機関です。また，公的な資金で運営されているため，平均以上の透明性を実現しています。だからといって，教育の必要性はないのでしょうか？
質の高いデータと一定レベルの透明性があっても，これらのシステムがどのように機能するかを理解するためには教育が不可欠です。私たち図書館員は、批判的な目でAIの作用を教えることができるでしょうか？
私たち(図書館員)には医学界や情報検索に携わる人にアルゴリズムが情報検索にどう影響するかを理解してもらうために，transparency(データベースが実際にどのようクエリーを処理し結果を返しているかを批判的に検証しデータベースの処理の透明性)のレベルを意識するよう教育することが求められる。
これにより，臨床医や研究者は，意思決定プロセスにおいて十分な理解と倫理観を持ちながら，AIの長所を活用することができるようになると思う。

新しいPubMedの特性（Best match algorithm）について
私たち(図書館員)には医学界や情報検索に携わる人にアルゴリズムが情報検索にどう影響するかを理解してもらうために，transparency(データベースが実際にどのようクエリーを処理し結果を返しているかを批判的に検証しデータベースの処理の透明性)のレベルを意識するよう教育することが求められるというようなことを指摘しています。

全面的に同意の一手（私見）