Huggingfaceニュースレター 第2号 - 2020年9月11日
以下の記事を参考に書いてます。
・HUGGING FACE NEWSLETTER ISSUE no.2 September 11th 2020
1. Transformers v3.1.0 のリリース
「Huggingface Transformers v3.1.0」をリリースしました。
次の3つのモデルが追加されました。
・PEGASUS : 要約における現在の最先端
・DPR : オープンドメインのQ＆A調査用
・mBART : BARTを使用して訓練された多言語エンコーダ-デコーダモデル
「名前付き出力」の機能も追加されました。「return_dict=True」を渡すことにより、モデルの出力に名前付きの値としてだけでなく、インデックスからもアクセスできるようになりました。
次の2つのパイプラインが追加されました。
・zero-shotパイプライン : 追加学習なしに、テキストに指定されたラベルを分類
・dialogueパイプライン : モデルとユーザー間の会話用
私たちの作業は、ライブラリのいくつかの側面で継続されています：
完全なリリースノートは、ここで参照できます。
2. Huggingface Datasets v1.0 のリリース
「Huggingface Datasets v1.0」をリリースしました。これは「データセット」と「メトリックス」のライブラリの最初の安定バージョンです。
注目すべき新機能は、次のとおりです。
・ピクルスサポート
・データセットをディスクに保存およびディスクからロード
・マップとフィルターでのマルチプロセッシング
・マルチモーダルデータセットの多次元配列サポート
・トークン化の速度向上
・シャッフル/シャード/選択メソッドの高速化（インデックスマッピングの使用）
・ダウンロードと処理の速度向上
・ハイブリッドモデルのインデックス付きデータセット（REALM / RAG / MARGE）
以下を含む多くの新しいデータセットを提供します。
・IWSLT 2017
・CommonGen Dataset
・CLUE Benchmark (11 datasets)
・The KILT knowledge source and tasks
・DailyDialog
・DoQA dataset (ACL 2020)
・reuters21578
・HANS
・MLSUM
・Guardian authorship
・web_questions
・MS MARCO
完全な変更ログは、ここにあります。
インストール方法は、「pip install datasets」です。
チュートリアルとドキュメントと詳細は、ここにあります。
この記事が気に入ったらサポートをしてみませんか？