ChatGPT特許調査方法
ChatGPTがピークを迎え、色々ご質問を受けることも多くなりました。
LLMの特許出願やChatGPTなどLLMの最新のロジックを知りたいと言われて
色々試した一例を備忘録として残します。
国を問わず特許庁としてもちゃんと調べたいからか今年の１月ＩＰＣに新しい分類を作りました。
後で数字も載せますが今年１年での件数はいずれも中国だけ異次元の件数のため、知りたい情報にたどり着くには別の方法が必要そうです
特許分類、ニューラルネットワーク自体は古くからあるのですが
下記が今年初めに新たに分類付与して紐付けられたのがディープラーニング絡みの一連の方法です。
学習方法のG06N3/08 .. Learning methods [2023.01]や
CNN方法に限定されたG06N3/0464 ... Convolutional networks [CNN, ConvNet] [2023.01]と
その上位概念のアーキテクチャG06N3/04 .. Architecture, e.g. interconnection topology [2023.01]
古い分類Neural networks [2006.01]から分離してます。
分類の件数
G06N3/045
・・・ネットワークの組み合わせ［２０２３．０１］
実は、これが一番関連するというタイトルだけでは分からない分類の奥深さ？です。
また分類のなかでもChatGPTの肝であるエンコード・デコード方法
オートエンコーダネットワーク；エンコーダ・デコーダネットワーク［２０２３．０１］G06N3/0455 .... Auto-encoder networks; Encoder-decoder networks [2023.01]
を見ていきましょう
G06N3/0455
・・・・オートエンコーダネットワーク；エンコーダ・デコーダネットワーク［２０２３．０１］
これは2014年のsec2seqの論文と言った方が通りは良いと思います。
原単語を１つずつ読んでいくエンコーダと
単語をＬＳＴＭで生成するデコーダ
これをやっていると自己申告したら付与される分類です。
ディープ・ラーニングの肝
G06N3/0464
・・・畳み込みネットワーク［ＣＮＮ，ＣｏｎｖＮｅｔ］［２０２３．０１］
単語の並びの情報から特徴を抽出出来るモデルである畳み込みネットワーク・ＣＮＮです。
上位概念でFタームもあるそうなのですが5B278ではヒットせず
キーワードで限定したのですが、中国のノイズのような出願群で本当に知りたい内容が分かりません。
これだけの件数規模、ここでも中国の素早さが分かりますよね。
って言ってても良くないので知財調査らしくない隠し玉を一つご紹介です。
検索方法
LLMの切り口として私の好きな？
"attention is all you need"
を全文で検索することをお勧めしました。
INPADOCファミリー６８０
全出願件数１４２５
今では基本になったTransformerの内容を
実施例で説明する際に便利なので使うことが多いです。
明細書を書く際にも当業者ならこの論文を載せておけばOKということで使っています。
こんな調べ方では抜けだらけなのはその通りなのですが
グーグルやDeepMind以外にも、ちゃんと論文を読んでいるまともな先進発明がヒットできるので
とっかかりとしては良いと思います。
日本はNTT,NHKが多くてLINEのネイバーが続いています。
検索結果を企業で名寄せした結果
ちょっと心配になって別のDBでも叩いてみました
グーグルやディープラーニング以外にも満遍なく出てくるので使えそうです。
やり方も書かれていることは確認
言語のみと思われそうですがこれは動画や画像作成にも使われてます。
まとめ
AI調べるなら、余り参考にならない中国を除く調べが必要な状況です。勿論バイデゥなどは個別で補完してください。
それにしても中国の勢いは凄いですね。
なお開発していたが上手く行かずOpenAIへの出資でフロントに出たマイクロソフトの出願もあります。
以下は完全に備忘録の関連出願番号です。
2023.10.19最初公開日
WO2023200514A1現在の特許公開(公告)番号
出願人(権利者):
MICROSOFT TECHNOLOGY LICENSING, LLC
住所:One Microsoft Way,Redmond, Washington 98052-6399 US
発明者:
LI ZHANG
YOUKOW HOMMA
YUJING WANG
MIN WU
MAO YAN
RUOFEI ZHANG
TING CAO
WEI SHEN
WO2023192509A1
Multi-axis vision transformer
グーグル
1. applications10. computing device100. computing system102. user computing device112. processors114. memory116. data120. machine-learned models122. user input components130. server computing system132. processors134. memory136. data140. machine-learned models150. training computing system
WO2023224430A1
PCT国内移行ぜず（期限内）
Method and apparatus for on-device personalised analysis using a machine learning model
samsung
GBベース
JP7331084B2
登録
自己意識的な視覚的-テキスト的共グラウンディング·ナビゲーションエージェント
出願人(権利者)
セールスフォース ドット コム インコーポレイティッド
アメリカ合衆国 カリフォルニア州 94105,サン フランシスコ, ミッション ストリート 415, サード フロアー
[標準]発明者
マ,チィ-ヤオ
CAIMING XIONG
EP4034840A1
審査係属中
System and method for navigating a vehicle using language instructions
EP3995992A1
取下-自発的取下げ
Method and system for detecting an action in a video clip
Toyota
EP4124999A1
公開
Method and system for predicting trajectories of agents
出願人(権利者)
TOYOTA JIDOSHA KABUSHIKI KAISHA
1, Toyota-cho,Toyota-shi, Aichi-ken 471-8571,JP
ETH ZURICH - THE SWISS FEDERAL INSTITUTE OF TECHNOLOGY ZURICH
Raemistrasse 101,8092 Zurich,CH
[標準]発明者
WIM ABBELOOS
EDOARDO MELLO RELLA
JAN-NICO ZAECH
ALEXANDER LINIGER
LUC VAN GOOL
US20230169313A1
審査係属中
Method for Determining Agent Trajectories in a Multi-Agent Scenario
ボッシュ
US20230385615A1
公開
Normalization scheme for self-attention neural networks
出願人(権利者)
HUAWEI TECHNOLOGIES CO., LTD.
Shenzhen, CN
発明者
VIRMAUX, ALADIN (Boulogne Billancourt, FR)
DASOULAS, GEORGE (Boulogne Billancourt, FR)
SCAMAN, KEVIN (Munich, DE)
JP2021068233A
取下-見なし取下げ
データ処理装置、データ処理方法、プログラム、およびモデル
.DATA PROCESSING DEVICE, DATA PROCESSING METHOD, PROGRAM, AND MODEL
JP2021068233A • 2021-04-30 •
PREFERRED NETWORKS INC
Earliest priority: 2019-10-24 • Earliest publication: 2021-04-30
To provide a device and others that estimate a position of at least one target at an estimation time point after a measurement time point from positions of a plurality of targets at one or more measurement time points.SOLUTION: A data processing device according to one embodiment of the present invention comprises an estimation unit. A data set related to positions of a plurality of targets or the amount of change in the positions at one or more measurement time points is conversed by an encoder. Second data related to the positions of the plurality of targets or the amount of change in the positions at a first estimation time point after the measurement time point is generated by a decoder based on the converted data set and first data regarding a certain measurement time point in the data set before conversion. The estimation unit estimates at least one position of the plurality of targets at the first estimation time point based on the second data.SELECTED DRAWING: Figure 1
JP2023060820A 公開
機械学習モデル·スケーリングのためのディープ·ニューラル·ネットワーク最適化システム