Heroyuki_F

趣味で自然言語処理・3Dアニメーション・時系列モデルについて投稿する予定です。

Heroyuki_F

趣味で自然言語処理・3Dアニメーション・時系列モデルについて投稿する予定です。

日本語形態素解析器spaCyでのユーザ辞書の使い方

KEYWORDpython, spaCy, 形態素解析, テキスト分析 どんなときに使うか？　近年、半導体回路の爆発的な効率化とデータテックの向上により、toCビジネスでは商品レビュー、口(ｸﾁ)コミ、そしてSNSの投稿などのビッグテキストデータが活用できるようになってきました。特に、toCのうちのカスタマー(Customer)や消費者(Comsumer)の行動ログから過去から未来に架けて市場トレンドの洞察像をつくれるようになりました。"各ユーザにどんなより良いサービスを

Heroyuki_F

    • 【BIGQUERY】時系列データの欠損("歯抜け")データの補完

      KEYWORDBigQuery, 時系列データ, 欠損データ, GENERATE_DATE_ARRAY, UNNEST, LAST_LAVUE関数 どんなときに使うか　購買データから"企業課題"の発見、そして課題解決に向けた仕組みつくりをする際のデータ集計・分析を想定してます。このとき、データベース上の受注系テーブル(order_table)にはレコード自体が存在しない"歯抜け"レコードが存在します。今回はそんな欠損データをBigQuery上で補完する方法を記します。 テ

      Heroyuki_F

      • 【備忘録】pyenvでAnaconda環境を構築する。

        pyenvとは、ひとつのシステム上で複数のPython(例えばPython 2.x とPython 3.x)を使い分けられるようにするツールです。 想定環境・OS : Linux (Ubuntu LTS 20.04) コマンド# 下準備sudo apt updatesudo apt upgradesudo apt install curl# pyenvをインストールする。git clone https://github.com/pyenv/pyenv.git ~/.pye

        Heroyuki_F

        • 【備忘録】AnacondaでのPythonの仮想環境の設定とパッケージ管理; condaとpip

          備忘録です。 基本的にはcondaでパッケージ管理をしています。しかし、pipにしかないパッケージもあります。仮想環境で準備しなくてはなりません。また、Windowsでmxnet, pytorchなどの深層学習系ライブラリなどを利用する場合は、Python3.7にすることを推奨(2021年10月時点)します。 Anacondaにある仮想環境のリストアップ conda info -e 仮想環境の生成（構築） # your_env_nameに作成したい任意の仮想環境の名前

          Heroyuki_F

        日本語形態素解析器spaCyでのユーザ辞書の使い方

        Heroyuki_F

          Blender Pythonで複数メッシュをOBJ形式で一括エクスポートする。

          こちらはBlenderのシーンにある複数メッシュオブジェクトをWaveFont.objファイルで一括エクスポートするPythonコードです。 シーンに100個以上のメッシュがあるときにはプログラムで自動化しないとひとつひとつエクスポートを手作業するのは大変ではないでしょうか？🤔 調べている限りBlender2.9で動くコードがなかったのでここに記します。 環境 ・Blender 2.91.2 ・Python 3.8以上 ・Windows 10 コード multiobj

          Heroyuki_F

          Blender Pythonで複数メッシュをOBJ形式で一括エクスポートする。

          Heroyuki_F

          SSHでのリモート環境からイントラネット(社内)Webサイト閲覧方法

          SSH接続は開放しているけど、セキュリティの都合で公開していないイントラネット環境のサイトを外部PC(Windows PCなど)から閲覧する方法です。 前提と環境・Windows PC ・ OpenSSH(Windows ver.1803以降には標準でインストールされています)インストール済み ・ SSH接続環境構築済みであること # インストール済みか確認$ ssh -VOpenSSH_for_Windows_8.1p1, LibreSSL 2.9.2 また、C:\U

          Heroyuki_F

          SSHでのリモート環境からイントラネット(社内)Webサイト閲覧方法

          Heroyuki_F

          WSL上にJUMAN, JUMAN++,そしてKNPをインストールする。

          備忘録として京都大学黒橋・村脇研究室が公開している日本語形態素解析器のJUMAN, JUMAN++、そして構文解析器のKNPをWSL上にインストールする方法を記します。※JUMANは既に開発が停止している?ようです。 1. 必要なビルド環境を整える。sudo apt update -ysudo apt upgrade -yapt-get install build-essentialsudo apt-get install cmake -ysudo apt-get inst

          Heroyuki_F

          WSL上にJUMAN, JUMAN++,そしてKNPをインストールする。

          Heroyuki_F