ChatGPT特許分析
今回のChatGPT AI言語系ボットは上手く行きそうですね。一般のニュースでも好意的に取り上げられています。
運用として学校の宿題に利用禁止などハレーションはあれど、悪意ある回答でボコボコとはなっていないようです。
その理由がベンチャー＆イーロンマスク氏が関わっているという心理的な話だという結論に向けて以下、論文を中心に見ていった結果をまとめます。
悪意ある回答でボコボコになった前例として有名？なMicrosoftの人工知能（AI）ボットの「Tay」が発表されたのが2016年の3月のことでした。どうもTwitterを学習したせいで、差別主義的な内容を学習してしまったのが敗因でした。
またGPT-３ベースのChatGPTの登場（昨年１１月）で、グーグルが対抗の「Bard」を一般公開しましたが
すぐ間違いが見つかり株価１０％低下という話があり、OpenAIのChatGPTと何が異なるのかを最後のまとめでみていきます。
不具合は回答の中で現実に無い科学技術を空想してしまったそうです。
そもそもAIモデル「GPT」を開発したのはグーグルです。その根幹となる機能、教師なし学習可能なテキストの文字列からその次に来るものを予測するSelf-Attention（SA）なる機能です。
その後も開発を続けグーグルはチャット「Language Model for Dialogue Applications（LaMDA）を世に出していました。
巨大言語モデルに新しい種類の問題を解かせることが出来るようになり、小説を書いてっています。
グーグルの論文
中でもグーグルのAIへの功績、エポックメーキングな出来事として人工知能の基礎的な「Transformer」という仕組みを提案した論文
「Attention Is All You Need」でした。２０１７年のことですがこの「Transformer」の凄さは
それまで、自然言語処理分野で確固たる地位を築いていた、再帰構造（RNN）や畳み込み構造（CNN）を完全に排除し、Attention機構のみに基づいたアーキテクチャで従来のモデルの精度を大幅に更新
my cofounders Ashish Vaswani and Niki Parmar invented the Transformer in 2017, the pace of progress towards generality dramatically changed.
したとあります。それではこの論文の執筆者を見ていくと８名の方が関わっています。
知財担当らしく当時のグーグル関連特許をみると
２０１７年に仮出願を４件し、翌１８から２０年に各１件仮出願をしています。
タイトル：Attention-based sequence transduction neural networks他
まず、共著の方の名前からでしたね。最もグーグル歴が長い
SHAZEER NOAM Mさん。特許出願歴を並べると
After 2020 (7)
2016-2020 (14)※
2011-2015 (2)
2006-2010 (3)
2001-2005 (11)
となりました。２０２１年１月のＵＳ出願が最新の履歴でした。
グーグル退社後CHARACTER TECHNOLOGIES, INC. (Delaware (US)を創業しています。
他の執筆者・発明者は
GOMEZ AIDAN NICHOLAS
KAISER LUKASZ MIECZYSLAW
USZKOREIT JAKOB D
JONES LLION OWEN
PARMAR NIKI J
POLOSUKHIN ILLIA
VASWANI ASHISH TEKU
筆頭Ashish VaswaniさんとNiki Parmarさんは新たにベンチャーを立ち上げています。
上の英語と共に在籍確認・出典は下記アドレスです。
https://www.adept.ai/post/introducing-adept
発明者として加わった仮出願の日時から２０２０年６月まではNikiさんとともにグーグルに在籍されていたようです。
最も早いUS仮出願を基礎としていた
日本でも当該論文の出願・分割を行っているので一例をあげておくと
などがあります。
特許を読んでもいまいち取っつきにくいので
【世界一分かりやすい解説】イラストでみるTransformerBeginaid (tips-memo.com)
を参考に置いておきます。私はこれで勉強しました。
＜OpenAI＞
さて、ここからOpenAIのChatGPTへのリンクですが、執筆者のグーグルブレインに在籍し
Lukasz Kaiser（ルカシュ・カイザー）氏はグーグルから米OpenAI（オープンAI）に転じています。
さて、グーグルが発明されたともされる
GPTに関するOpenAIの基礎論文と言われているのが下記です。
ここでは４名の執筆者です。
同じく特許分析と行きたいところですがベンチャーらしく
OpenAI自体２，３件しか出願したことが無く、発明地がITなのが誤差レベル
このCALI' GENNAROって何？
レベルです。逆に転職を繰り返す以前の職歴が分かるのが特許分析の良いところということで一例をあげます。普通の特許調査は断念します。
４名の執筆者のうちの一人でスター開発者Ilya Sutskeverさん略歴の知財分析です。
AI業界を転職しているのが分かるIlya Sutskeverさんは過去に２０件出願済み。 最初の出願０９年に出願したMicrosoftからグーグルEPの１５年出願、DeepMindが１６年の権利化したのを翌１７年に買ったのが３件 その後会社ごと買われて同年元に戻ってグーグル名義になっている。グーグルで出願自体は終わっているが
論文を見てわかるように今はOpenAIに在籍しているようです。
2012年にAlexNet，2014年にSeq2Seqを発表したチーフサイエンティストです。
Improving Language Understanding by Generative Pre-Training Alec Radford OpenAI alec@openai.com Karthik Narasimhan OpenAI karthikn@openai.com Tim Salimans OpenAI tim@openai.com Ilya Sutskever OpenAI ilyasu@openai.com
こちらも勉強には下記が役に立ちました。
GPT-3は2015年12月にイーロン・マスクなど有力な実業家・投資家が参加したことで注目を集めたOpenAIが開発している言語モデルの最新版
自然言語処理モデル「GPT-3」の紹介 | NTTデータ先端技術株式会社 (intellilink.co.jp)
＜まとめ＞
AIはどれだけパラメータなど精緻化して、どれだけデータを食わせるかの勝負だとお聞きしています。
最新データで見比べると
2022年1月にマイクロソフトとエヌビディアが発表したMegatron-Turing NLGは5300億パラメーター
グーグルが2022年4月に発表したPathways Language Model（PaLM）は5400億パラメーターであり、GPT-3の3倍にも達するそうです。
ちなみに2020年6月のGPT-3はニューラルネットワークのパラメーター数が1750億
2019年に公開したGPT-2の15億個
これを補強するデータ、教師学習無なのでできるということが大事だと分かります。
ここまでの桁数になると教師有りデータなんて作るマンパワーが足りません。
PaLMの学習データ数は7800億とも言われていて、電気代もすごそうです。
それだけ喰わせても不具合というか炎上は起こります。例えば、GAFAMだけでも当初のMSのToy以外にも
2022年11月に起きた。Facebookの運営元、米Meta（メタ）が公開した「AI科学者」である「Galactica」の炎上事件
グーグルの基調講演のデモでは会話AI「Google Duplex」がレストランや美容院に実際に電話をかけて、店員と会話をして予約をしていましたが、炎上案件に近い状態でした。
これに懲りたか一般には公開しないセミクローズドなAIの使い方を各社提供していました。
巨大言語モデルについては米OpenAI（オープンAI）がGPT-2をリリースした2019年当初から、「フェイクニュース作成に悪用されかねない危険な技術」との批判があった。
とのコメント。
2022年5月にGPT-3に匹敵する1750億パラメーターという規模のOpen Pretrained Transformer（OPT-175B）についてソースコードや学習済みモデルを公開していました
イーロン・マスク氏の自動運転でも死亡事故が起こってもOTAでバッチを当てて
突き進んでいました。
この突破力はまねできないですが、これを想起させる
世の中もその突破力から、ベンチャーだししゃあなし。
逆風のGAFAＭは老舗だからしっかりしろ
とダブルスタンダードになっているように思えます。
ではＭＳのＢｉｎｇに搭載するのはどうか？というと
既にグーグルの検索を飲み込み済みのためOpenAIのサーチエンジンを組み込んでもそれほど波風は立たないのかと思っています。
期待値が低いというのは大事という評価経済の話でした。
イノベーションのジレンマって、こういうところにも表れてる気がします。
簡易版で許されるのは新規参加者で
既存の名前で行うと炎上案件や火傷するという話。
新しいものに対する顧客ではない生暖かい目と、既に使用している顧客のユーザー目線には差があり厳しくなりがちな心理的に持っているアンカーの存在がある。
では１８年断面と何が異なるのか？
AIとの接点が増えた。
使っていないという人も、音声認識で検索してたりしていません？
昨日の家の子供の話です。一所懸命に子供はPC相手に検索キーワードを話していました。
音声認識が上手く動かないのか静かな場所まで移動して顔を近づけて検索してます。
大人ならキーボード操作に移りそうですが、力業の方向性が違うと妙に納得しました。
このように検索キーワードを音声入力したり自然語に近い形で検索することが多くなってAIに触れる機会が増えると
仕事を取られるという心理的なネガティブな感情から「使える」という実際の便利さに目が向きがちになります。
このような雰囲気はニュースを作成する記者も敏感なので
＆読者が炎上させる機運も収まりがちというのも理由かと思います。
これらをひっくるめてAIに寛容になってきているのでしょうか。
と言っているとガツンと炎上するのがAIなので余り書きすぎないようにします。