テキスト分析の大通り#19: 参考にしたページ

このマガジンに記載したテキスト分析、ならびにPythonの処理を行うにあたり、以下のページを参考にさせていただきました。Sholder of Giants.

• Anacondaのインストール

Windows版Anacondaのインストール - python.jp

Anaconda でよく使うコマンド一覧 - Qiita

• MeCabのインストール

【MeCab】MeCabをインストールしてAnacondaで使えるようにする（Windows） - Qiita

• Excelファイル読み込み

Excel ファイルをPythonで読み込んで整理されたデータフレームにする | ブログ一覧 | DATUM STUDIO株式会社Excel ファイルをPythonで読み込んで整理されたデータフレームにする | DATUM STUDIO株式会社

PythonのPandasライブラリでExcelファイルを読み込み時のエラー対応 - エンジニアの備忘録

Python Pandasを使ってExcel読み込みと書き込み | アールエフェクト

• 列取得

Pandas Dataframe で複数の列を選択する

• docidを振る

pandasでインデックスとは別のカラムに連番を振る - Qiita

SQL-like window functions in PANDAS: Row Numbering in Python Pandas Dataframe

• 件数確認

pandasで行数、列数、全要素数（サイズ）を取得 | note.nkmk.me

• MeCabの利用

Pythonで感情分析（形態素解析準備編）- MeCab | Box CodePythonで感情分析（形態素解析準備編）- MeCab | Box Code

Python3 + Mecab で形態素解析してみた - Qiita

• append > concat
  FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead.

pandasのframe.appendの代わりにpandas.concatを使うには

図解！Pandas DataFrameの結合(UNION: concat, append) - AI-interのPython3入門

Pythonで既存のPandasにおけるDataFrameに辞書のリストを追加する

pandas.DataFrame 連結・結合メソッドのconcat、merge【Python tips】

• pandasでの件数カウント、データフレームとして戻す、並び替え、複数列groupby、列名変更

【pandas】ただgroupByの件数を知りたいだけなのに【.size()】

Pandas入門講座｜09.データ集計（groupby）の方法【PythonのライブラリPandas】 | キノコードPandas入門講座｜09.データ集計（groupby）の方法【PythonのライブラリPandas】

How to assign a name to the size() column?

pandas.DataFrame, Seriesをソートするsort_values, sort_index | note.nkmk.me

Pandas の groupby の使い方 - Qiita

【Pandas】DataFrameのcolumn名を一括で変更する - データアナリストのメモ帳

• sqlalchemy

to_sql() DataFrame Method | Teradata Python Package - 17.00 - to_sql() DataFrame Method - Teradata Package for Python

Python: Save Pandas DataFrame to Teradata

【python】pandasのto_sqlを試してみる - 静かなる名辞

• mojimoji

Python｜mojimojiで全角半角変換！使い方・インストールできないときの対処を解説

Pythonで半角・全角の変換を高速に行う - Qiita

Download Windows Vista SP2、Windows 7 SP1、Windows 8、Windows Server 2008 SP2、Windows Server 2008 R2 SP1、および Windows Server 2012 用 Microsoft .NET Framework 4.5.1 (オフライン インストーラー) from Official Microsoft Download Center

Windows SDK and emulator archive

• neologdn

mecab-neologd 前処理用 Python モジュール neologdn 公開しました - Debug me

形態素解析前の日本語文書の前処理 (Python) - け日記

pythonによる日本語前処理備忘録 | ブログ一覧 | DATUM STUDIO株式会社pythonによる日本語前処理備忘録 | DATUM STUDIO株式会社

(neologdnをデータフレームで扱う)

pandasでfor文を使わない日本語テキスト前処理 - Qiita

• neologd

mecab-ipadic-NEologdインストール[Ubuntu 16.04 LTS] - Qiita

【Python】自然言語処理で使われるTF-IDFと単純ベイズ分類器(Naive Bayes)について使いながら解説する - Qiita

(自然言語処理の前処理色々)

自然言語処理の前処理・素性いろいろ - Debug me

(neologdをwindowsで)

WindowsでPythonでMeCab（mecab-ipadic-NEologd） - Qiita

• 大文字を小文字に

大文字と小文字を変換する(lower, upper, capitalize, title, swapcase)

【Python】upper・lowerで大文字と小文字を変換｜Pandasデータフレーム

• mecabユーザー辞書追加

MeCabの辞書編集について - ビジネスと技術の狭間で

MeCabで固有名詞を単語として扱えるようにする

MeCabユーザ辞書作成時の陥りがち？なミス（エラー: cannot find LEFT-ID） - Qiita

• sudachipy

Pythonで形態素解析器Sudachiを使う (SudachiPy) - け日記

リストをカンマ区切りの文字列に変換する | Python学習講座

• sudachipyユーザー辞書追加

GiNZA(SudachiPy)のユーザ辞書に単語を登録する - Qiita

(コマンドラインがそのまま実行できなかった)

コマンドプロンプトの認識されていませんエラーの対処法 – Windows10

• 縦横変換、結合、group by等

【python】pandasのgroupbyで結果をlistにする - 静かなる名辞

pandas.DataFrameとSeriesを相互に変換 | note.nkmk.me

pandasの文字列メソッドで置換や空白削除などの処理を行う | note.nkmk.me

str.replace function creating NaN data

FutureWarning: The default value of regex will change from True to False in a future version

Pythonを使用して文字列から引用符を削除する方法

pandas groupbyでグループ化｜図解でわかりやすく解説 - YutaKaのPython教室

Python: PandasのDataFrameを横持ち・縦持ちに変換する - け日記

• Countvectorizer > ナイーブベイズ

scikit-learnでスパムメッセージを分類する(CountVectorizer + BernoulliNB) - け日記

【決定木】特徴量に文字列を使いたい場合、BoWとtf-idfを使って特徴量を無理やり作成する - Qiita

sklearnのCountVectorizerを用いて単語の出現頻度を数えてみる - AI人工知能テクノロジー

機械学習 〜 テキスト特徴量（CountVectorizer, TfidfVectorizer） 〜 - Qiita

機械学習 〜 テキスト分類（ナイーブベイズ分類器） 〜 - Qiita

sklearnでナイーブベイズによるテキスト分類にチャレンジ - Qiita

scikit-learn - sklearn.naive_bayes.GaussianNB - Gaussian Naive Bayes (GaussianNB)モデルパラメータのオンラインアップデートを実行可能

機械学習初心者がナイーブベイズに手を出してみる (1) - 理論編 - Qiita

ナイーブベイズ( Naive Bayes)とは?確率に基づいて分類する手法!! | 機械学習ナビナイーブベイズ( Naive Bayes)とは?確率に基づいて分類する手法!!

機械学習初心者がナイーブベイズに手を出してみる (2) - 実装編 - Qiita

(一文字が消える)

Countvectorizerをしたら単語(1文字)が消える、不要後にされてしまう件について - Qiita

• TF-IDF > ナイーブベイズ

いろんなtf-idf - Debug me

tf-idf（term frequency - inverse document frequency）とは？

Python: scikit-learn と色々な TF-IDF の定義について - CUBE SUGAR CONTAINER

ナイーブベイズについて勉強したのでざっくりまとめ — pythonでやってみた | DevelopersIO

Working With Text Data — scikit-learn 0.18.2 documentation

【python】tfidfは分類精度を向上させるのか？→向上しなかった - 静かなる名辞

【Python】自然言語処理で使われるTF-IDFと単純ベイズ分類器(Naive Bayes)について使いながら解説する - Qiita

Python tf-Idfを使ってナイーブベイズ分析をやってみる(1) | サクセスプラス

tf-idfの一般的な定義とscikit-learnにおけるtf-idfの定義 | 分析ノート

TfidfVectorizerのidfについて | 分析ノート

文書をTfidfVectorizerでベクトル化したときの正規化について | 分析ノート

PythonでベクトルをL2正規化(normalization)する方法一覧 - Qiita

• 細かな操作
  (csv書き出し)

pandasでcsvファイルの書き出し・追記（to_csv） | note.nkmk.me

(case文的な)

pandasで条件分岐(case when的な)によるデータ加工を網羅したい - Qiita

(配列に変換)

Pandas Dataframe を NumPy 配列に変換する方法

(型変換)

NumPyのastypeによるデータ型の変換（キャスト）について

(配列をデータフレームに変換)

NumPy 配列を Pandas DataFrame に変換する

(indexを結合キーに利用する)

pandasでDataFrameのデータを結合する方法

(rangeをリストに変換)

rangeからリストへの変換 - Qiita

(縦持ち変換)

How to Unpivot a Pandas DataFrame (With Example) - Statology

• コサイン類似度

２文章の類似度の計算〜Bag-of-wordsとcos類似度のしくみ〜 | データサイエンス情報局

コサイン類似度 - MOXBOX

文書のコサイン類似度を求める

Python でのコサイン類似性

(文書側ではなく、単語側の類似度を計算する)

協調フィルタリング cos(コサイン)類似度 | 優技録

• LDA(sklearn)

【機械学習】scikit-learnを使ったLDAトピック分類 - Qiita

Qiita「非エンジニア」記事をトピック分類（scikit-learnのLDAが重くldaで比較編） - Qiita

sklearn.decomposition.LatentDirichletAllocation

(トピック数決定)

トピックモデルの評価指標Perplexityの実験 | 分析ノート

• gensimをpipからインストール

anacondaのgensim word2vecよりpipのgensim word2vecの方が実行速度が3倍以上高速になった理由 - Qiita

• LDA(gensim)

gensimでCoherence(UMass)の算出 | 分析ノート

gensimでトピックモデル(LDA)をやってみる | 分析ノート

LDAの最適なトピック数を決めたい

トピックモデルを用いた併売の分析 - gensim の LdaModel 使用 - なんとなくな Developer のメモ

• データフレームがらみの操作
  (dict > データフレームに変換)

辞書をpd.DataFrameに変換 - Qiita

(縦横変換)

Pandas のデータフレームの行⇔列を入れ替える

行番号の付与

【pandas】DataFrameであるカラムを改行文字で分割して行番号をつける - Qiita

縦分解、SQLでいうregexp_split_to_table()

pandasの文字列を区切り文字や正規表現で複数の列に分割 | note.nkmk.me

列名の付与、何度やっても覚えられない

pandas.DataFrameの行名・列名の変更 | note.nkmk.me

janomeの処理について

百人一首

pandasのデータフレーム型変換について

Pandasでデータ型を確認するdtype/dtypesと型変換を行うastype | 侍エンジニアブログ

pandasのデータ型dtype一覧とastypeによる変換（キャスト） | note.nkmk.me

Janomeのユーザー辞書について

Welcome to janome's documentation! (Japanese) — Janome v0.4 documentation (ja)

Janomeでユーザー辞書を使ってみた

データフレームの全行削除

pandas.DataFrameの行・列を指定して削除するdrop | note.nkmk.me

///