特定のコードを含むWebサイトを検索して自動リストアップする方法
GASラボではどなたでもご利用いただける自動化ツール・AIツールを企画・開発しています。
これまで企画開発したツール一覧は下記のページでご覧下さい。
WebマーケティングやWeb開発、サイト構築、営業先のリストアップなどを行っていると、 以下のような場面はないでしょうか？
Shopifyで構築されたECサイトを探したい
WordPressの特定のテーマで構築されたWebサイトを探したい
同じAdsenseアカウントを使用しているサイトを探したい
特定のASPでアフィリエイトしているサイトを探したい
そのほか特定の技術を用いたWebサイトを探したい
競合調査や市場のリサーチなどで、上記のようなことを実行したいと考える方も少なくないでしょう。
しかし、上記のようなWebサイトをGoogleなどでそのまま検索して探し出すことは困難です。
となると、Webサイトひとつひとつのソースコードを目視していくしかありませんが、これでは膨大な時間と手間が発生してしまいます。
そこで今回GASラボでは、「サイトソースコード検索ツール」を開発しました。
本ツールを使えば、特定のソースコードを用いたWebサイトの検索が可能になります。
さらに、簡易スクレイピング機能も搭載しているので、任意のWebサイトのタイトルやメタデータを可視化することも可能です。
ソースコードをもとに特定の技術を用いたWebサイトをピックアップしたい方、競合や市場のリサーチを実施したい方は、ぜひ本ツールをご利用ください。
本記事では、特定のコードを含むWebサイトを検索して自動リストアップする方法として、今回GASラボが独自開発した「サイトソースコード検索ツール」を紹介します。
サイトソースコード検索ツール
本ツールは、特定のソースコードを利用しているWebサイトを検索できるツールです。
特定のWordPressなど特定のCMSを利用しているWebサイト、アフィリエイトタグを利用しているWerbサイトなどをピックアップする際、ひとつひとつ手作業でソースコードをチェックしていては、非常に時間がかかります。
しかし本ツールを使えば、特定のソースコードや技術を利用しているWebサイトを簡単に一覧化できます。
本ツールでは、ソースコード検索エンジン「PublicWWW」のAPIを利用して、特定のソースコードを利用しているWebサイトを検索します。
検索にヒットしたWebサイトの情報は、Googleスプレッドシートへ出力します。
さらに、本ツールに搭載されている「簡易スクレイピング機能」を使えば、Webサイトのタイトルやメタデータなどの情報も取得が可能です。
なお、本ツールは「GAS（Google Apps Script）」を使ったツールで、Googleスプレッドシート形式のツールとなります。
そのため、新たにソフト等をインストールする必要はなく、Googleスプレッドシートを使えるパソコンであれば、どなたでも簡単にご利用いただけます。
ShopifyなどのECプラットフォームを利用したWebサイトや、WordPressの特定のテーマを使ったWebサイトを検索したい方、特定のASPのアフィリエイトサイトをリサーチしたい方などにおすすめのツールです。
今回開発したツールは本記事をご購入頂いたお客様に配布いたします。
（※有料部分に配布ページのURLを掲載）
【ご購入者様限定】安心の使い方サポート付き！
ご利用時に不明点がありましたら、使い方を無料でサポートさせていただきます！
【note限定】GASラボの「返金申請制度」のご案内
初めて購入されることにご不安をお持ちのユーザー様に配慮し、
GASラボがnoteにて有料で販売しておりますツールにつきましては、全て「返金申請を受け付ける」設定にしております。
noteの仕組み上ご購入後24時間以内でしたら、返金申請ができるようになっております。
参考：noteの返金機能に関する記事
https://note.com/info/n/n0dc70d30b512
参考：ソースコード検索エンジン「PublicWWW」とは？
本ツールがソースコードの検索に利用している「PublicWWW」について、簡単に解説します。
「PublicWWW」とは、インターネット上のウェブサイトのソースコードを検索できるツール（ソースコード検索エンジン）です。
Google検索などの一般的なweb検索とは異なり、PublicWWWが検索対象とするのはWebサイトの「ソースコード」なので、特定のECプラットフォーム、WordPressなどに絞り込んだ検索が可能となります。
PublicWWWについて詳しく解説しているページもご用意しておりますので、詳しく知りたい方は下記のページもご覧ください。
サイトソースコード検索ツールの3つのPOINT
今回開発したサイトソースコード検索ツールの主な特徴を3つのポイントにまとめて紹介いたします。ツールの仕様を要点でご理解いただく上で、ご確認ください。
※ツールの詳細な仕様は下記の記事をご覧下さい。
POINT1：特定のコードやタグが利用されているサイトを簡単リストアップ
アフィリエイトやWordPressのテーマ、プラグインなど特定のコードやタグが利用されているサイトをGoogleスプレッドシートにリストアップします。
サイトの検索、データの取得にはPublicWWWのAPIを利用します。
PublicWWWのAPIは無料で利用することが可能です。
POINT2：リストアップしたサイトを簡易スクレイピングする機能を搭載
リストアップしたWebサイトのうち、選択式で簡易スクレイピングすることが可能です。
簡易スクレイピングできる情報は下記の情報です。
tilte
meta description
meta og:description
meta og:image
簡易スクレイピング機能があることで、ざっくりどんなサイトかが一目でわかるようになります。
POINT3：画像付き設定マニュアルがあるので、初心者でも安心！
本ツールは情報の検索・取得にPublicWWWのAPIを利用しております。
初心者の方でも簡単にAPIの設定や本ツールの利用のための設定ができるよう、画像付きの丁寧なマニュアルを用意しておりますので、ご安心ください。
サイトソースコード検索ツールのご利用イメージ
今回開発したサイトソースコード検索ツールを画像を用いて紹介いたします。
詳しい設定方法については下記のマニュアルにもまとめておりますので、併せてご覧ください。
STEP１：ご購入された本ツール（Googleスプレッドシート形式）をコピー
本ツールを開いたら、はじめに「ファイル」にある「コピーを作成」をクリックして、ツールをコピーして下さい。
本ツールはGAS（Google Apps Script）を実装しており、初めは「閲覧権限」に限定しているため、初回利用時に必ずツールのコピーを行ったうえでご利用ください。
STEP2：PublicWWW APIの利用設定
ツールをコピーしたら、次はPublicWWW APIの利用設定です。
本ツールはソースコード検索エンジン「PublicWWW」のAPIを使ってサイト検索を行うため、PublicWWWのAPI keyを取得して、「設定」シートの「API key」に貼り付けてください。
※参考：PublicWWW APIの利用に必要な「API key」の取得方法は下記のマニュアルページにてご確認ください。PublicWWWとは何かについても下記の記事で解説しております。
・PublicWWW API keyの取得・利用方法
STEP3：「サイト検索」メニューを実行
「PublicWWW API」を設定したら、「メニュー」にある「サイト検索」をクリックしてください。
すると、検索クエリの入力ボックスが表示されるので、クエリを入力して「OK」をクリックします。
参考：検索クエリの例
・WordPressの有料テーマ「The Thor」を使ったサイトを探したい場合
"wp-content/themes/the-thor"
・Baseを利用したサイトを一部探したい場合
“https://thebase.in/?from=”
すると、検索結果にヒットするサイト一覧がシート上に出力されます。
便利な機能のご案内：簡易スクレイピング機能
本ツールでリストアップしたWebサイトの情報を、「簡易スクレイピング機能」を使って取得できます。
STEP1：検索結果シートから簡易スクレイピングしたいサイトを選択
「検索結果」シートで、スクレイピングしたいWebサイトのE列「スクレイピング対象」のプルダウンから「●」を選択してください。
STEP2：メニューより「スクレイピング」を実行
スクレイピングしたいWebサイトを選択したら、「メニュー」にある「スクレイピング」をクリックしてください。
スクレイピングによって取得した情報は、「スクレイピング結果」シートに出力されます。
本ツールのご利用上の注意点
本ツールの利用には、Googleアカウント、PublicWWW APIの利用権限が必要になります。
本ツールはPublicWWW APIを使用して情報を取得、操作しております。場合によっては、一時的に情報が取得できない場合や、情報の取得や操作が失敗するケースもございます。予めご了承ください。
また、時間内の情報取得・操作制限もあります。これらのリスクについては、予めご了承ください。
本ツールの利用で発生した問題の責任は負いかねます。事前に使い方をテスト、理解した上で、ご利用ください。
本ツールは処理時間に上限があります（約6分）。処理時間を超える場合には、データの取得・出力が完了できないケースもございますので、予めご了承ください。
スクレイピング対象のWebサイトがスクレイピングを禁止している場合、本ツールでのスクレイピングはお控えください。
ツールおよびプログラムの著作はGASラボにあります。無断での転載・再販・配布・共有やソースコードのコピーは固く禁止しております。
本ツールは初回利用時に「認証・許可プロセス」が発生します。認証・許可を下記の記事を参考に進めて下さい。
本ツールはPublicWWW APIの仕様変更に伴い、ツール自体の仕様が変更になる可能性やアップデートされる可能性、情報が取得・操作できなくなる可能性がございます。予めご了承ください。
サイトソースコード検索ツールの今後の更新について（2023年7月29日時点）
ツールの機能追加について
基本的にユーザー様のリクエストをお伺いしながら機能の拡充に取り組んでいきます。是非、リクエストをお寄せください。
ツールの提供価格について
・本ツールはnote限定で「1,980円」でご提供します。
（今後値上げの可能性もございます）
・機能拡充のタイミングなど、今後価格が変更になる可能性があります。予めご了承ください。
GASラボのその他のツール開発について
GASラボでは、サイトソースコード検索ツール以外にも業務効率化・自動化に役立つツールの開発を進めています。
GASラボでは、今後も便利な自動化ツールや新規サービス、テンプレートを開発・公開してまいります。ご興味がある方はnoteやTwitterをフォローいただけると嬉しいです。
この先は有料コンテンツになります。本記事をご購入された方に「サイトソースコード検索ツール」の配布ページURLを公開しております。
この記事が気に入ったらサポートをしてみませんか？