見出し画像

Huggingfaceニュースレター 第3号 - 2020年10月9日

npaka

以下の記事を参考に書いてます。

・HUGGING FACE NEWSLETTER ISSUE no.3 October 9th 2020

1. Inference API : 価格発表

画像1

コミュニティが提供する3000以上のモデルで高速推論できる「Inference API」のBeta版をリリースしました。これは、オープンアクセスAPIを最適化して高速化したバージョンであり、全てのモデルページで利用できる無料の推論ウィジェットを強化しています。

詳しくは、以下のページを参照してください。
・huggingface.co/pricing

より高速な（GPU）推論、大量のリクエスト、専用のエンドポイントが必要な場合は、api@huggingface.coまでお知らせください。

APIのドキュメントはここにあります。

2.  新しいトークナイザーのリリース

新しい「Huggingface Tokenizers」(0.9.0)は、多くの改善を提供します。

・より堅牢なアライメント追跡
・より良いエラーメッセージ
・多くのバグ修正

そして最も重要なのは、「Unigramアルゴリズムの完全サポート」を提供することです。お手持ちの「SentencePiece」を「Huggingface Tokenizers」に変換して、お好きな機能を使い始めることができます。また、Unigramトークナイザーの最初からの学習もサポートしています。

ライブラリのドキュメントはここにあります。

3. 新しいモデル + デモ : Retrieval-Augmented Generation (RAG)

画像2

「Facebook AI」と共同で、ライブラリ内で最初の「Retrieval-Augmented」モデルである「RAG」をリリースしました。「Retrieval-Augmented」は、モデルが全ての知識を巨大な固定パラメーターセットに適合させるのではなく、推論時にWikipediaなどのテキストコーパスで新しい情報を効率的に見つけることを可能にする新しいパラダイムです。この方法により、「質問応答」「質問生成」など、多くのタスクで優れた性能を発揮します。これらの両方の設定のデモを試すか、ドキュメントを参照してください。

4. 新しいモデル : LXMERT

画像3

「Huggingface Transformers」は、初の「End-2-End Multimodal Transformer」を提供します。「LXMERT」は、視覚的な質問応答（特定の画像に関するテキストの質問回答）のための現在の最先端モデルです。

上記のGIFは、VQAデータセットで事前学習されたモデルのバージョンの機能を示しています。

Colabノートブックをチェックして、独自の質問や画像を使用してモデルを試してみてください。

5. 新しいモデル : Funnel-Transformer

画像6

「Funnel-Transformer」(論文)は、古典的なTransformerアーキテクチャと、コンピュータビジョンのCNNで広く使用されている機能であるプーリングを組み合わせたものです。レイヤーの特定のブロックの後、非表示の状態がプールされ、シーケンスの長さが半分にカットされます。

残りのスキップ接続によって回避されるこれらのプーリングステップにより、「Funnel-Transformer」は他のTransformerよりも深くなり、計算コストが低くなります。この設計は、分類（文の要約だけを必要とする）や、文を元の長さに戻すDecoderのようなタスクの性能を妨げることなく、推論を高速化します。このモデルはまた、トークンのアンマスクなど、いくつかのタスクでも最先端の性能を発揮します。

6. 新しいHuggingface Datasets+ Windowsサポート

新しい「Huggingface Datasets」(1.1.0)では、Windowsと多数の優れたデータセットのサポートが追加されています。

・HotpotQA
・新しいWinograndeの偏りのないサブセット
・OpenWebText

また、ElasticSearch統合のドキュメントを「Huggingface Datasets」に追加しました。高速テキスト検索エンジンを簡単に追加して、データセットを閲覧できます。詳しくは、このドキュメントを参照してください。

7.　Encoder-Decoderモデルの究極のガイド

画像5

TransformerベースのEncoder-Decoderモデルは、要約や翻訳などのseq2seqタスクに不可欠になっています。最近、「T5」「Bart」「Pegasus」「ProphetNet」「Marge」などのTransformerベースのEncoder-Decoderモデルの様々な事前学習の目的について、多くの研究が行われています。ただし、モデルのアーキテクチャはほぼ同じです。

今週は、TransformerベースのEncoder-Decoderアーキテクチャモデルのシーケンス間の問題を説明するブログ投稿を公開しました。アーキテクチャによって定義された数学的モデルに焦点を当て、モデルを推論に使用する方法を示し、「Huggingface Transformers」の理論と実際の使用法の間のリンクを確立します。

・Google Colab

8. 派手なニューラルネットワークを構築する単純な人々のための簡単な考慮事項

画像6

ニューラルネットワークは気難しい生き物です。あなたはそれらを注意と注意を払って扱うべきです。最新のブログ投稿で、機械学習科学者のVictor Sanhが、深層学習モデルを構築するためのヒントをいくつか紹介しています。

この投稿では、ニューラルネットワークの構築とデバッグに関して、私の精神的プロセスのいくつかのステップを強調しようと思います。また、私が自分自身に尋ねる典型的な質問をリストすることによって、あなたの次のステップがどうあるべきかわからない時に、あなたが見ることができるものを指摘します。

ここで完全な投稿をチェックしてください。


この記事が気に入ったらサポートをしてみませんか？