記事一覧
日本語Wikipediaで学習済みのBERTが公開されているので使い方メモ
噂のBERT、使ってみたくはありませんか？huggingface がBERTの日本語モデルを公開しました。BERTについては以下の記事が参考になります。
https://ai-scholar.tech/articles/text-mining/bert-ai-93
BERTの日本語モデルはtransformersに含まれています。そのため、従来のtransformersの利用方法と同じ操作感で
Natural Language Inference Sentence BERT データ作成
NLIを因果関係の情報抽出に使えないか？
NLI二つの文章の 前後関係を推測する
順
逆
無関係
の三つの関係
因果関係に当てはめる原因、結果のペア
結果、原因のペア
原因もしくは結果とそれ以外のペア
事例の報告書の件数×3以上はデータを作成できる。
疑問学習のエポックはどうするか？ そこはハイパーパラメータなんかな？
Sentence BERT 日本語モデルの学習 メモ
BERTは自然言語処理タスクに強力に応用できるモデルである。
しかし、文章単位の特徴量をうまく取得できない。
[CLS] に文の特徴量が現れるという主張もあるが、 それほどタスクに対して有益な情報は含まれていないとこの論文は主張する。
文単位の特徴量を取得できるようにBERTを拡張するモデルがSentence BERTである。
以下はSentence BERT を日本語で作成する際の手順に
tensorflow GPUメモリを一気に確保しない設定
tensorflow 1系は使える全てのGPUリソースを確保する。
メモリオーバーを観測できないので、 逐次的にGPUメモリを確保するように設定を変更する。
これによってGPU使用量の観測ができる。
ただし実行速度は劣化する。
記述例config = tf.ConfigProto( gpu_options=tf.GPUOptions( allow_growth=True
hugging face でBARTの利用 メモ
BARTは文書要約のためのモデル
BERTと同じtransformerの派生
BERTとは異なり、encoder-decoderの構造
これは文生成を目的とするため
このページではBARTのチュートリアルを実行する手順を示す。
手順transformersのインストール
pip install transformers
要約の実行
hugo での作業手順メモ
hugoを導入するにあたってのメモ
環境Mac OS Big Sur
ローカルの作業hugoのインストール
brew install hugo
hugoでプロジェクトの作成hugoで任意の名前のプロジェクトを作成する。 今回は"quickstart"とした。
この名前はなんでもいい。
hugo new site quickstartcd quickstartgit init
hugo
blogger にGoogle AdSense のコードを追加する手順
テーマ→その他（：のマーク）→htmlを編集
からhtml編集用のページに移動する。
収益のページから案内されるコードをコピペする。
bloggerでもhtmlをいじらないといけないということに気がつかなかった…。まあええわ。
