【Python+selenium+beautifulsoup】note.comの『記事ページ』をスクレイピングする方法

前回はPython+selenium+beautifulsoupを用いたnote.comのスクレイピングの例として、ハッシュタグ検索ページのスクレイピングについて解説しました。 そして今回はより実用的なnote.comの記事ページから、様々な情報を抽出するサンプルコードをご紹介したいと思います。 note記事ページに含まれるデータを確認スクレイピングのコードを書く前にまず、note記事ページに含まれるデータについて確認します。 主要なデータとしては以下の項目などが挙げら

Chrome機能拡張『noteツイート検索』アップデートしました～ Google検索エゴサーチボタンを追加したので記事がGoogleにインデックスされているか簡単に確認できます！ またFirefox版もリリーしました！

【Python+selenium+beautifulsoup】note.comをスクレイピングする方法

Pythonで出来ることの代表的なことの一つに『スクレイピング』があります。 webサイトのデータ分析や作業の自動化に欠かせないスクレイピングですが、note.comの様にjavascriptを使った動的をスクレイピングするためには一工夫が必要です。 そこで今回はPythonとseleniumを使ったスクレイピング方法について解説していきたいと思います。 スクレイピングとはwebサイトの構造を解析し情報を抽出することを指します 静的なページのスクレイピングは『requ

note.comの「検索フォームの仕様」について調べる

webサイト分析における次善の策は『検索フォーム』webサイトのデータ分析において基本となるのは多くの場合『そのサイトの運営者が公式に公開しているAPI』です。 しかし、それが提供されていないwebサイトの場合には次善の策として、そのサイトが公開している『検索フォーム』を使うという方法があります。 検索フォームは多くのサイトに設置されており、そのURLの構造を読み解くことで、効率的に欲しいデータをピックアップすることが出来るようになります。 そこで今回はnote.com

note.comの『robots.txt』を読み解く

webスクレイピングなどでwebサイトをクローリングする際に行わなければならないことの一つに「robots.txt」の記載内容の確認が挙げられます。 ここではnote.comのrobots.txtについて実際にどの様に記載されているのか読み解きながら、その内容を確認していきたいと思います。 予備知識：「robots.txt」とはrobots.txtとは、サイトを巡回するクローラーの動作をコントロールするために記述するテキストファイル（.txt）のことです。 予備知識：r

Atomエディタおすすめ追加パッケージの『使用感』と『オススメ度』

GitHubが開発・リリースしている「Atom」エディタは追加パッケージを入れることで様々な機能を付与でき、使い勝手が爆上がりします。 ただ『おすすめパッケージXX選』的な記事はweb検索したらいくらでも見つかるので、ここでは半年ぐらい使った時点での『使用感』と『オススメ度』を書いていきたいと思います。 パッケージのインストール方法「設定(Setting)　＞　＋インストール(Install)　＞　Search Packages」からパッケージを検索しインストールできます

【2020年版】動くグラフで見る『小説家になろう四半期ランキング推移』

Flourishサイトで作成したバーチャートレース（Bar chart race）の動画です。 データは『なろう小説ランキングAPI』で取得した”四半期ランキングデータ”と『なろう小説API』から取得した”作品データ”を突合して作成しています。

【Pythonコード】テキストデータから高画質なヘッダー画像を作る/wordcloud

　noteやツイッターなどのサイトでは自分のアカウントに「ヘッダー画像」を設定することができます。 　ヘッダー画像は写真やイラストなものでも使えますが、今回はテキストファイルを使って「文字情報のみ」からオリジナルな高画質で最適サイズなヘッダー画像を生成する方法をご紹介したいと思います。 使用するのはPythonの「WordCloud」パッケージ　今回使用するのはPythonのWordCloud（ワードクラウド）パッケージです。 　Pythonはこの様な追加パッケージをp

※重要：古い記事です：noteの非公式APIを使ってユーザーの"全記事データ”を取得してみる

！！重要！！この記事の内容はもはや古いです。2020/12/30時点でこの記事を書いた当初使えていた「v1」APIは使用できなくなっていますのでご注意ください 「v2」を用いた新しい記事は以下になります　 以下、古いバージョンの記事になります現在noteでは公式なAPIは公開されていない様ですが、「note API」でweb検索するといくつか情報がヒットします。 　そこで今回はその中から実際に情報が正しいのか、2020年2月の現時点でも使えるのか検証してみたいと思います

note記事に貼った際に見切れないOGP画像サイズを調べてみた※追記あり

OGP画像とはnoteの記事にURLを貼った際に表示される画像のことです。 OGP画像はサイト側のメタダグ内で設定されていますが、この画像のサイズのサイズが上手く合っていないと見切れが生じてしまいます。 この様に…… そこで今回、OGP画像の適切なサイズについて調べてみました。 Twitter ・Facebookに最適とされるサイズは「1200 x 360」以上Twitter と Facebook の両方に対応させるには 600 x 315 以上（横が 600 ）。