データ分析｜karupoimou

2020年2月27日 18:56

【Python+selenium+beautifulsoup】note.comの『記事ページ』をスクレイピングする方法

前回はPython+selenium+beautifulsoupを用いたnote.comのスクレイピングの例として、ハッシュタグ検索ページのスクレイピングについて解説しました。

そして今回はより実用的なnote.comの記事ページから、様々な情報を抽出するサンプルコードをご紹介したいと思います。

note記事ページに含まれるデータを確認スクレイピングのコードを書く前にまず、note記事ページに

もっとみる

karupoimou

2020年2月20日 22:11

note.comの「検索フォームの仕様」について調べる

webサイト分析における次善の策は『検索フォーム』webサイトのデータ分析において基本となるのは多くの場合『そのサイトの運営者が公式に公開しているAPI』です。

しかし、それが提供されていないwebサイトの場合には次善の策として、そのサイトが公開している『検索フォーム』を使うという方法があります。

検索フォームは多くのサイトに設置されており、そのURLの構造を読み解くことで、効率的に欲しいデー

もっとみる

karupoimou

2020年2月20日 00:41

note.comの『robots.txt』を読み解く

webスクレイピングなどでwebサイトをクローリングする際に行わなければならないことの一つに「robots.txt」の記載内容の確認が挙げられます。

ここではnote.comのrobots.txtについて実際にどの様に記載されているのか読み解きながら、その内容を確認していきたいと思います。

予備知識：「robots.txt」とはrobots.txtとは、サイトを巡回するクローラーの動作をコント

もっとみる

karupoimou

2020年2月19日 06:01

Chrome機能拡張「noteツイート検索」をリリースしました！

note記事のツイートを検索するChrome機能拡張をリリースしました！

この機能拡張を使えば２クリックだけで簡単にnote記事に関連するツイートをエゴサーチすることが出来ます。

機能拡張はChromeウェブストアから無料でインストールできます！

インストールはコチラから↓

firefox版もリリースしました（2020/02/22）↓

使い方1.　ツイート検索したいnote記事を開く
(

もっとみる

karupoimou

2020年2月18日 21:28

Atomエディタおすすめ追加パッケージの『使用感』と『オススメ度』

GitHubが開発・リリースしている「Atom」エディタは追加パッケージを入れることで様々な機能を付与でき、使い勝手が爆上がりします。

ただ『おすすめパッケージXX選』的な記事はweb検索したらいくらでも見つかるので、ここでは半年ぐらい使った時点での『使用感』と『オススメ度』を書いていきたいと思います。

パッケージのインストール方法「設定(Setting)　＞　＋インストール(Install)

もっとみる

karupoimou

2020年2月18日 01:29

【2020年版】動くグラフで見る『小説家になろう四半期ランキング推移』

Flourishサイトで作成したバーチャートレース（Bar chart race）の動画です。
データは『なろう小説ランキングAPI』で取得した”四半期ランキングデータ”と『なろう小説API』から取得した”作品データ”を突合して作成しています。

karupoimou

2020年2月17日 02:44

【Pythonコード】テキストデータから高画質なヘッダー画像を作る/wordcloud

　noteやツイッターなどのサイトでは自分のアカウントに「ヘッダー画像」を設定することができます。

　ヘッダー画像は写真やイラストなものでも使えますが、今回はテキストファイルを使って「文字情報のみ」からオリジナルな高画質で最適サイズなヘッダー画像を生成する方法をご紹介したいと思います。

使用するのはPythonの「WordCloud」パッケージ　今回使用するのはPythonのWordCloud

もっとみる

karupoimou

2020年2月16日 22:19

※重要：古い記事です：noteの非公式APIを使ってユーザーの"全記事データ”を取得してみる

！！重要！！この記事の内容はもはや古いです。2020/12/30時点でこの記事を書いた当初使えていた「v1」APIは使用できなくなっていますのでご注意ください

「v2」を用いた新しい記事は以下になります　

以下、古いバージョンの記事になります現在noteでは公式なAPIは公開されていない様ですが、「note API」でweb検索するといくつか情報がヒットします。

　そこで今回はその中から実際

もっとみる

データ分析

記事一覧