サブカル科学研究会

数理最適化、自然言語処理について書いていこうかな、と思います。 BOOTH 電子書籍に…

サブカル科学研究会

数理最適化、自然言語処理について書いていこうかな、と思います。 BOOTH 電子書籍にまとめたもの https://subcul-science.booth.pm/ BLOG noteに書いたものの清書版 https://www.subcul-science.com
すべてのマガジンを表示
  • 固定された記事

自分を変えるための習慣作成アプリ作ったった

今年こそは自分を変えて成長したいという目標、達成できていますか？ 例えばダイエットして痩せようとか、決意はしてもなかなか続きませんよね。 それは頑張りすぎが原因かもしれませんよ。力を抜いて徐々に始めるといいかもしれません。 徐々に始める=習慣化 習慣とは日々の行い、日々の行いが結果につながります。 結果を出すためには行動が必要になります。そして行動は継続して行うと結果につながりやすいです。 やる気はなくていいでは、やる気を出せば継続できるか？というとできません笑。人

サブカル科学研究会

    • 技術書典7に参加するに当たって技術書とプログラムを作成したメモ 経緯と売り上げ、あと感想

      経緯学位を取るための論文執筆が死ぬほど辛かった私は執筆の経験が浅いから苦しんだのだと仮説を置いた。 この仮説を検証するために論文よりレベルを落として薄い本を書くことを思い立った。 とりあえず知識を整理してブログにまとめようかと考えていたところに技術書典というイベントの存在を友人から教えられた。 技術書典というイベント技術書典とは技術書の書き手を増やし、技術書の流通を増やすという目的があるらしい。 技術書というもののジャンルがどういうものか分からなかったので2019年に

      500
      サブカル科学研究会

      • python 整理されたrequirements.txtの作成方法

        pip freeze > requirements.txt でrequirements.txtが作成できる。 しかし、依存関係を考慮した出力になっていない？ 煩雑なrequirements.txtになる。 煩雑なrequirements.txtはエラーが起きがち。 そうなると手作業でrequirements.txtを修正する必要がある。 開発環境の再現が面倒になる。 そこで整理されたrequirements.txtを作成して欲しくなる。 pipreqsの利用以

        サブカル科学研究会

        • MLops　実験開発環境の整備の必要性 メモ

          MLopsレベル1だけでもやっとけばええんちゃうか やることデータの前処理と保存 特徴量の抽出と保存 分類器の学習と保存 それぞれのパラメータの保存 利点実験する部分や追加したい機能の切り分けがしやすくなる。 実験サイクルが早くなる。 問題の切り分けが簡単になる。 他人が実験するときの再現性が高まる。 参考リンクhttps://qiita.com/arrowKato/items/8b0b2ccc50452c2090b7

          サブカル科学研究会
        • 固定された記事

        自分を変えるための習慣作成アプリ作ったった

        サブカル科学研究会

        マガジン

        • 機械学習、プログラム関連のまとめ
          68本
        • 音楽
          15本
        • 思考のメモ
          43本
        • 落書き
          17本
        • サブカル
          20本
        • 空想科学大学
          24本

        記事

          pythonに引数をとらせるArgparseメモ

          サンプルプログラム以下公式サイトより引用 import argparseparser.add_argument("square", type=int, help="display a square of a given number")parser.add_argument("-v", "--verbose", action="store_true", help="increase output ver

          サブカル科学研究会

          pythonに引数をとらせるArgparseメモ

          サブカル科学研究会

          Natural Language Inference Sentence BERT データ作成

          NLIを因果関係の情報抽出に使えないか？ NLI二つの文章の 前後関係を推測する 順 逆 無関係 の三つの関係 因果関係に当てはめる原因、結果のペア 結果、原因のペア 原因もしくは結果とそれ以外のペア 事例の報告書の件数×3以上はデータを作成できる。 疑問学習のエポックはどうするか？ そこはハイパーパラメータなんかな？

          サブカル科学研究会

          Natural Language Inference Sentence BERT データ作成

          サブカル科学研究会

          python janome 0.4系からstreamモードがデフォルト 解決策メモ

          janomeのバージョンを上げると、分かち書きの出力をgeneratorで返すようになった。 generatorはメモリ効率が良いというメリットがある一方でリストでデータを保持したいという気持ちがある。 対処としてリストに出力するステップを加える。 対処方token_generator = t.tokenize(text,wakati=true)token_list=[token for token in token_generator] 参考リンクhttps://m

          サブカル科学研究会

          python janome 0.4系からstreamモードがデフォルト 解決策メモ

          サブカル科学研究会

          python xlrd xlsx 読み込み失敗 解決法 メモ

          xlrdのバージョンによって、.xlsxファイルの読み込みに失敗する。 対策としてはバージョンを下げる。 pip3 install xlrd==1.2.0 参考リンク https://qiita.com/fujitatsu0520/items/9e37c2bd2ba2adfd18d4

          サブカル科学研究会

          python xlrd xlsx 読み込み失敗 解決法 メモ

          サブカル科学研究会

          Mac bashからzsh移行 メモ

          手順環境変数などの移行 cat .bash_profile » .zprofile bashからzshへの切り替えchsh -s /bin/zsh 参考リンクhttps://qiita.com/shionit/items/31bfffa5057e66e46450

          サブカル科学研究会

          Mac bashからzsh移行 メモ

          サブカル科学研究会

          分散表現の利用法 バギングによるクラス分類や汎化性能についてのメモ

          分散表現が得られた後、 機械学習によってクラス分類を行うことができる。 使えるモデルとして 決定木 SVM サポートベクターマシン NN ニューラルネット などがある。 SVMは広義のNNに含まれる。 ここでは決定木を用いた方法にする。 バギング複数の決定木による多数決的なイメージ シンプルな理論 決定木は説明可能性が高く、古典的な機械学習モデル 計算負荷も深層学習に比較して軽い モデルの大きさによる 説明可能性はあまりない 複数の決定木それぞれを解析するのだろうか

          サブカル科学研究会

          分散表現の利用法 バギングによるクラス分類や汎化性能についてのメモ

          サブカル科学研究会

          Sentence BERT 日本語モデルの学習 メモ

          BERTは自然言語処理タスクに強力に応用できるモデルである。 しかし、文章単位の特徴量をうまく取得できない。 [CLS] に文の特徴量が現れるという主張もあるが、 それほどタスクに対して有益な情報は含まれていないとこの論文は主張する。 文単位の特徴量を取得できるようにBERTを拡張するモデルがSentence BERTである。 以下はSentence BERT を日本語で作成する際の手順になる。 環境構築Google colabでのモデル学習方法を行う。 !pip

          500
          サブカル科学研究会

          Sentence BERT 日本語モデルの学習 メモ

          サブカル科学研究会

          tensorflow GPUメモリを一気に確保しない設定

          tensorflow 1系は使える全てのGPUリソースを確保する。 メモリオーバーを観測できないので、 逐次的にGPUメモリを確保するように設定を変更する。 これによってGPU使用量の観測ができる。 ただし実行速度は劣化する。 記述例config = tf.ConfigProto( gpu_options=tf.GPUOptions( allow_growth=True ))sess = sess = tf.Session(config=confi

          サブカル科学研究会

          tensorflow GPUメモリを一気に確保しない設定

          サブカル科学研究会

          hugging face でBARTの利用 メモ

          BARTは文書要約のためのモデル BERTと同じtransformerの派生 BERTとは異なり、encoder-decoderの構造 これは文生成を目的とするため このページではBARTのチュートリアルを実行する手順を示す。 手順transformersのインストール pip install transformers 要約の実行

          100
          サブカル科学研究会

          hugging face でBARTの利用 メモ

          サブカル科学研究会

          hugo での作業手順メモ

          hugoを導入するにあたってのメモ 環境Mac OS Big Sur ローカルの作業hugoのインストール brew install hugo hugoでプロジェクトの作成hugoで任意の名前のプロジェクトを作成する。 今回は"quickstart"とした。 この名前はなんでもいい。 hugo new site quickstartcd quickstartgit init hugoのthemeの追加今回はmainroadを選択した。 cd themesgit

          サブカル科学研究会

          hugo での作業手順メモ

          サブカル科学研究会

          vue でモーダルウィンドウに複数の種類のコメントを表示する

          vue でモーダルウィンドウに複数の種類のコメントを表示するpostItem変数を介して、親から子へと情報をやり取りする。 コードサンプル親js new Vue({ data:{postItem}, methods:{ openModal: function (item) { console.log("openModal "+item) this.showContent = true this.postItem = item

          サブカル科学研究会

          vue でモーダルウィンドウに複数の種類のコメントを表示する

          サブカル科学研究会

          Macの iMovieで動画の音量調整、オーディオ抽出

          楽器の練習、私の場合はソロギターの練習のために動画の撮影を行うことにした。 撮影はフォームや自分の演奏を客観的に聴くために有効だ。 ただ撮影に手間がかかるのでは、 練習から手が遠のいてしまう。 手持ちの環境(iPhone、MacBook)で動画とオーディオの作成を行う手順をメモする。 撮影機材:三脚とiPhone iPhone は優れたカメラとマイクを搭載しており、 個人練習用のレベルであれば外部機器を必要としない。 三脚はiPhoneを固定するために用いた。

          サブカル科学研究会

          Macの iMovieで動画の音量調整、オーディオ抽出

          サブカル科学研究会