形態素解析

【レクチャー: Section4の概要】人工知能(AI)を搭載したTwitterボットを作ろう

人工知能(AI)を搭載したTwitterボットを構築する講座です。
Udemyで2020年11月に公開予定ですが、その一部を無料公開します。

Seq2Seq、Attentionなどのディープラーニング技術を使ってモデルを訓練し、Twitterへの投稿や返答が可能なボットを構築します。
また、このために必要な基礎としてTwitter APIの使い方、ディープラーニング用フレームワークPyTorch
もっとみる

よろしければ、シェアもお願いします。
スキをありがとうございます。

G検定 自然言語処理

株式会社リュディアです。今回はG検定対策として自然言語処理についてまとめてみます。

一般に自然言語処理の流れについてまとめてみます。まず処理対象となる文書全体のことをコーパスといいます。コーパスに対して以下の順に処理をしていきます。

形態素解析(字句解析)

英語のように単語がスペースで区切られている言語では不要なのですが、日本語ではまず最小単位の単語に切り出す必要があります。

構文解析

もっとみる

MacにMeCabを入れて品詞分解してみた

めかぶともずくだったら、めかぶを採るように指導されたことがあります(もずくは冷性で、からだを冷やすのだそうです)。

というのも、口の中の粘膜に綿棒をグリグリ採取して体質をみてもらえるサービスを以前受けまして。毎日もずくを食べる生活(10年以上)を否定されたようでそれはショックでした。

MeCabや利用する辞書のインストール

こちらを参考にしました。

またしても冒頭から初見の単語が出てきたの

もっとみる
よろしければシェアもいかがですか

11万の「アクタージュ」ツイートから,"作品"と"被害者"への想いを見る話

アクタージュ原作者が逮捕されたという衝撃的ニュースから丸1日以上が過ぎました.

Twitterではアクタージュに関するツイートが飛び交っています.

その多くがアクタージュの続きがどうなるかというツイートでした.

しかしその中で,ある1つのツイートを見つけました.

アシキさんのアカウント⇒https://twitter.com/ASHIKI_games *無断リンクすみません

自分はハッと

もっとみる

【時代の歌をデータで読む】モーニング娘。全力賛歌!~20世紀最後のザイナマイトソング!LOVEマシーンの正体を暴け①~

みなさん、はじめまして。RYOOO超いい感じ☆と申します。ふとしたきっかけで、はじめてnoteの記事を作りました。テーマは、タイトルの通り。そう、モーニング娘。さんの名曲『LOVEマシーン』について皆さんとお話しできればと思います。(あとでも書きますが、この記事は連載で全13章から構成されています)

『LOVEマシーン』、ひょっとしたら皆さんの方が色々と詳しいかもしれません。僕は、1991年生ま

もっとみる

2020/07/22

実家滞在の2日め。実家に帰って初めての晩は、必ず深く眠れる。12時間寝た。朝は死ぬほど菓子パンのストックがあったのでそれをいただいた。とりあえず、やることを紙に万年筆で書いた。

万年筆と言っても1000円の入門用のものである。これは若年者層向け万年筆の決定版として作られた経緯があり、気軽に使える。大容量のコンバータ(インクを貯めるパーツ)に換装して、別売りのインクを注いである。緑の混じった紺のよ

もっとみる
Σ( ;p;)⌒°ええスキや……
9

Google検索の裏側〜自然言語処理の形態素解析について〜

#毎日note #13日目

Googleで「近くの美味しいイタリアンを探して」って言ったら、うまい具合に検索してくれるあれ、凄くないですか。

スマートスピーカーやGoogle検索の裏側には自然言語処理が使われています。今回はその中の形態素解析というお話を東大のゼミでやったのでまとめてみます。

形態素解析とは、意味を持つ表現要素の最小単位である形態素に文章を分けて解析を行うものです。

まあ平

もっとみる
Thank you!! マスターーーヨーダ❗️
1

しりとりを"可視化"しよう

人生は死ぬまでの暇つぶしです。

そんな中でも、しりとりって暇つぶしにちょうどいいですよね。

でもガチでやり始めると、だいたいみんな『る』とかを攻め始める。

だいたいそこが攻めどころだとみんなわかっているようです。誰が言い出したわけでもないのに。初代ポケモンの裏技みたいですね。

さて、ここで疑問。

はじまるひらがな、おわるひらがな、偏りがあったりするのでしょうか?

可視化してみましょ。

もっとみる
今後とも投稿がんばっていきます
9