マガジンのカバー画像

データ分析

8
運営しているクリエイター

#note

【Python+selenium+beautifulsoup】note.comの『記事ページ』をスクレイピングする方法

【Python+selenium+beautifulsoup】note.comの『記事ページ』をスクレイピングする方法

前回はPython+selenium+beautifulsoupを用いたnote.comのスクレイピングの例として、ハッシュタグ検索ページのスクレイピングについて解説しました。

そして今回はより実用的なnote.comの記事ページから、様々な情報を抽出するサンプルコードをご紹介したいと思います。

note記事ページに含まれるデータを確認スクレイピングのコードを書く前にまず、note記事ページに

もっとみる
note.comの「検索フォームの仕様」について調べる

note.comの「検索フォームの仕様」について調べる

webサイト分析における次善の策は『検索フォーム』webサイトのデータ分析において基本となるのは多くの場合『そのサイトの運営者が公式に公開しているAPI』です。

しかし、それが提供されていないwebサイトの場合には次善の策として、そのサイトが公開している『検索フォーム』を使うという方法があります。

検索フォームは多くのサイトに設置されており、そのURLの構造を読み解くことで、効率的に欲しいデー

もっとみる
note.comの『robots.txt』を読み解く

note.comの『robots.txt』を読み解く

webスクレイピングなどでwebサイトをクローリングする際に行わなければならないことの一つに「robots.txt」の記載内容の確認が挙げられます。

ここではnote.comのrobots.txtについて実際にどの様に記載されているのか読み解きながら、その内容を確認していきたいと思います。

予備知識:「robots.txt」とはrobots.txtとは、サイトを巡回するクローラーの動作をコント

もっとみる
Chrome機能拡張「noteツイート検索」をリリースしました!

Chrome機能拡張「noteツイート検索」をリリースしました!

note記事のツイートを検索するChrome機能拡張をリリースしました!

この機能拡張を使えば2クリックだけで簡単にnote記事に関連するツイートをエゴサーチすることが出来ます。

機能拡張はChromeウェブストアから無料でインストールできます!

インストールはコチラから↓

firefox版もリリースしました(2020/02/22)↓

使い方1. ツイート検索したいnote記事を開く
(

もっとみる