スクリーンショット_2019-10-13_11

【AIが専門家を上回った日】2019年10月10日、商標調査対決でAIが弁理士に勝った瞬間に、クラウドサイン責任者が想ったこと。 #AIvs弁理士

2019年10月10日、株式会社Toreru、イッツ・コミュニケーションズ株式会社、弁護士ドットコム株式会社クラウドサイン事業部の共催にて、「AI vs 弁理士 ~ 商標調査対決」というイベントを渋谷で開催いたしました。

画像1


有料イベントにも関わらず、弁理士の方、企業内の実務担当者などイベントスペースが満員となる100名を超える方にお集まりいただき、2019年現在のAIの実力と、専門家たる弁理士が短期間の調査でどのような思考過程で商標調査を行なっているかを同時に目撃しました。

日本を代表する新聞社の方も来ていただいております。


スクリーンショット 2019-10-13 11.30.29

事件は、その時起こった

イベントは3つの構成で行われました。その内、1st Stage と 2nd Stageは専門家である弁理士が勝利を納めました。

■1st Stage「画像商標対決」
実際に出願された画像商標1つに対し、最も似ている画像を見つけてくる。(制限時間10分)特許庁の審査官が似ていると判断した画像が含まれていれば勝利。

■2nd Stage「類否判断対決」
実際に出題された商標を2つ提示し、それが似ているかどうか(類否)を判断する。(お題10問、制限時間10分)正答率が高い方が勝利。

■3rd Stage「識別力対決」

実際に出願された商標とその商品・サービスを提示し、特徴があるかどうか(識別力)を判断する。(お題10問、制限時間10分)正答率が高い方が勝利。


この前進イベントとして弁護士とAI(5億円以上を資金調達した「Legalforce」)が戦うクラウドサイン主催「契約書タイムバトル」があります。


画像3

(イベントレポートは、こちら。)


2018年の年末に行われた弁護士 VS AIでも、全ての試合で弁護士が勝利いたしました。やはりAIはまだまだ専門家領域では敵わない、という結果だけがイベントでは継続されました。

2019年10月10日のイベントでも弁理士の勝利が2連続で、3試合目も同様の結果が続くのかと思い始めました。出題は、出願商標に要件の1つである「識別性」が備わっているかの合否を判定するというものです。


スクリーンショット 2019-10-13 11.29.40


AIはそのとき、動き出しました。短期間もの間に正答と、その正答可能性を以下のように判定いたしました。以下がその判定結果です。


スクリーンショット 2019-10-13 11.29.29


その結果、正答率は10問中7問正解の70%を導き出しました。人間側最優秀正答率の弁理士である志賀国際特許事務所 岡村先生に、このStage3においては上回る結果が出ました。


スクリーンショット 2019-10-13 11.29.54


もちろんこの短期間での調査で、また質問内容において正答率は変わり得るものですが、しかしながらこの10問においてはAIが上回ったことも、また真実です。


スクリーンショット 2019-10-13 11.29.20


感想

まず感じたことは、弁理士等の専門家の役割は必要不可欠だということです。弁護士も含め、専門家の役割の重要性により気づきました。当たり前ですが、我々が生きる社会はゲームでなく、実世界だからです。

これは司法のIT化の文脈でも言われていることです。人はAIの裁判結果に服従し得るのか、という倫理的帰結です。刑罰や債務名義の正当化根拠。理由はわからないけど「正しそうな結論」に人の行動はどの程度左右されるのか、或いはされるべきなのか。広告の分野では緩やかに人の行動が、もしかしたら選挙結果すら左右され得てるのではないか、と議論が進んでいます。SaaS事業の責任者として日々マーケティングを行う当事者の1人としてFacebookやGoogleのアルゴリズムに接しています。複数の広告を投下して、CVRの観点で最も優れた広告をアルゴリズムが判定し、出稿量を調整します。なぜそうなったかは、あまりわかりません。アルゴリズムの性質上発生する確率論的な誤りに、人の市民生活や企業活動はどの程度不利益を被り得るのか。

司法や法律、今回でいえば権利化業務においては、どうあるべきなのでしょうか。結論は明快です。「正しそうな結論」で人の行動は左右されません。正当化根拠が常に必要とされます。立法府、内閣から独立分離した、分立された権力をなぜ保持し得るのかの正当化根拠が必要とされます。また、そのアルゴリズムの正当性が私企業により企業行動をどの程度変革して良いのか、という根拠に帰着します。もちろん現在の専門家の判断を補助するサービスである限り、その論点には行き着かないのも理解しながら。

専門家である弁理士や弁護士が、依頼者に寄り添い、アルゴリズム上では経済合理性ある結論から外れた、依頼者の権利実現と実務的帰着の和解や落とし所を探る必要性が常にあるのです。先日、慶應義塾大学にて行われた、ドイツ連邦司法消費者保護省、独日法律家協会などから講演をご依頼の「リーガルテック 法および司法における人工知能」にて、そんなことをお話させていただきました。ドイツ消費者保護省やドイツのハンブルク弁護士会等がどのようにテクノロジーを理解しているかを議論し、学び深い1日でした。


iOS の画像 (70)

(「リーガルテック 法および司法における人工知能」シンポジウム)

しかしながら、専門家の調査業務をテクノロジーが補助することは間違いありません。AIが導き出した結論で、専門家がよりスピーディーに調査を行えること、またダブルチェックを行いAIが異なる結果を導き出したものをより慎重に専門家が判断することは現時点でも活用し得るでしょう。重要なのは依頼者の権利実現にどちらが功利的であり、仕組み上の倫理性に問題が孕まないか(=正当化根拠が保持し得るか)です。

これからクラウドサインでも継続的にAIと専門家のデモンストレーションをしていく予定です。その様をオープンにして、同時多発的に経過を観測する必要があると考えるためです。密室で行われる日々の研究を、議論を1年でも早くするためにオープンにすることは意味があると考えるためです。

今回ご登壇いただいたAI企業のToreru、そして専門家の弁理士の方々に心より御礼申し上げます。

お読みいただきありがとうございます( ´ ▽ ` )ノ