マガジンのカバー画像

テキストマイニング技術の無駄遣い

7
大量のテキストデータを分析して有益な情報を取り出す技術である「テキストマイニング」の手法を使って、特に有益ではない情報を取り出します。分析対象:「異世界転生小説」や「死ぬほど洒落… もっと読む
運営しているクリエイター

2020年10月の記事一覧

異世界転生あるあるを定量的に導出してみた(4) まとめ

この記事は、以下の記事の続きです ・異世界転生あるあるを定量的に導出してみた(1):準備と…

miure
3年前
9

異世界転生あるあるを定量的に導出してみた(3)

この記事は、以下の記事の続きです ・異世界転生あるあるを定量的に導出してみた(1):準備と…

miure
3年前
7

異世界転生あるあるを定量的に導出してみた(2)

この記事は、以下の記事の続きです ・異世界転生あるあるを定量的に導出してみた(1):準備と…

miure
3年前
3

異世界転生あるあるを定量的に導出してみた(1)

ぼくは無類の漫画好きで、これまでに読んだ漫画が1万冊を突破しました。読み終わった漫画のリ…

miure
3年前
4

ネット上の怖い話をトピックモデルで自動分類してみた(3)

こちらの記事の続きです。 トピックモデルによる分類ではないのですが、せっかくコーパス化と…

miure
3年前

ネット上の怖い話をトピックモデルで自動分類してみた(2)

こちらの記事のつづきです。 (1) ではネット上の怖い話14,000件から30個のトピックを生成して…

miure
3年前
5

ネット上の怖い話をトピックモデルで自動分類してみた(1)

皆さんは怖い話は好きでしょうか? ぼくは怖い話が大好きで、ネット上の有名な怖い話はだいたい既読という状態です。コトリバコとか八尺様とかクネクネとか、そういうやつです。 今回はテキスト分析の練習台として、自分がよく知っている文書集合である「ネット上の怖い話」を対象にして文書の自動分類にトライしてみました。ゆくゆくは自動生成とかもやってみたいのですが、まずは分類です。 今回トライしたのは、LDA(潜在的ディリクレ配分法)を用いたトピックモデルによる分類です。解説が目的ではない