記事一覧
python xlrd xlsx 読み込み失敗 解決法 メモ
xlrdのバージョンによって、.xlsxファイルの読み込みに失敗する。 対策としてはバージョンを下げる。 pip3 install xlrd==1.2.0 参考リンク https://qiita.com/fujitats…
Mac bashからzsh移行 メモ
手順環境変数などの移行 cat .bash_profile » .zprofile bashからzshへの切り替えchsh -s /bin/zsh 参考リンクhttps://qiita.com/shionit/items/31bfffa5057e66e46450
python 整理されたrequirements.txtの作成方法
pip freeze > requirements.txt
でrequirements.txtが作成できる。
しかし、依存関係を考慮した出力になっていない？
煩雑なrequirements.txtになる。
煩雑なrequirements.txtはエラーが起きがち。
そうなると手作業でrequirements.txtを修正する必要がある。
開発環境の再現が面倒になる。
そこで整理された
MLops 実験開発環境の整備の必要性 メモ
MLopsレベル1だけでもやっとけばええんちゃうか
やることデータの前処理と保存
特徴量の抽出と保存
分類器の学習と保存
それぞれのパラメータの保存
利点実験する部分や追加したい機能の切り分けがしやすくなる。
実験サイクルが早くなる。
問題の切り分けが簡単になる。
他人が実験するときの再現性が高まる。
参考リンクhttps://qiita.com/arrowKato/items/8b0
Natural Language Inference Sentence BERT データ作成
NLIを因果関係の情報抽出に使えないか？
NLI二つの文章の 前後関係を推測する
順
逆
無関係
の三つの関係
因果関係に当てはめる原因、結果のペア
結果、原因のペア
原因もしくは結果とそれ以外のペア
事例の報告書の件数×3以上はデータを作成できる。
疑問学習のエポックはどうするか？ そこはハイパーパラメータなんかな？
python janome 0.4系からstreamモードがデフォルト 解決策メモ
janomeのバージョンを上げると、分かち書きの出力をgeneratorで返すようになった。
generatorはメモリ効率が良いというメリットがある一方でリストでデータを保持したいという気持ちがある。
対処としてリストに出力するステップを加える。
対処方token_generator = t.tokenize(text,wakati=true)token_list=[token for t
python xlrd xlsx 読み込み失敗 解決法 メモ
xlrdのバージョンによって、.xlsxファイルの読み込みに失敗する。
対策としてはバージョンを下げる。
pip3 install xlrd==1.2.0
参考リンク
https://qiita.com/fujitatsu0520/items/9e37c2bd2ba2adfd18d4
Mac bashからzsh移行 メモ
手順環境変数などの移行
cat .bash_profile » .zprofile
bashからzshへの切り替えchsh -s /bin/zsh
参考リンクhttps://qiita.com/shionit/items/31bfffa5057e66e46450
Sentence BERT 日本語モデルの学習 メモ
BERTは自然言語処理タスクに強力に応用できるモデルである。
しかし、文章単位の特徴量をうまく取得できない。
[CLS] に文の特徴量が現れるという主張もあるが、 それほどタスクに対して有益な情報は含まれていないとこの論文は主張する。
文単位の特徴量を取得できるようにBERTを拡張するモデルがSentence BERTである。
以下はSentence BERT を日本語で作成する際の手順に
tensorflow GPUメモリを一気に確保しない設定
tensorflow 1系は使える全てのGPUリソースを確保する。
メモリオーバーを観測できないので、 逐次的にGPUメモリを確保するように設定を変更する。
これによってGPU使用量の観測ができる。
ただし実行速度は劣化する。
記述例config = tf.ConfigProto( gpu_options=tf.GPUOptions( allow_growth=True
hugging face でBARTの利用 メモ
BARTは文書要約のためのモデル
BERTと同じtransformerの派生
BERTとは異なり、encoder-decoderの構造
これは文生成を目的とするため
このページではBARTのチュートリアルを実行する手順を示す。
手順transformersのインストール
pip install transformers
要約の実行
hugo での作業手順メモ
hugoを導入するにあたってのメモ
環境Mac OS Big Sur
ローカルの作業hugoのインストール
brew install hugo
hugoでプロジェクトの作成hugoで任意の名前のプロジェクトを作成する。 今回は"quickstart"とした。
この名前はなんでもいい。
hugo new site quickstartcd quickstartgit init
hugo