競合調査リストをスプレッドシートで作ろう

今回の目的：クライアント様の必要な情報をリスト化する

やりたいこと：
1. ある業界の情報サイトから必要な情報を抜き出すべく、Googleスプレッドシートに調査リストを作成する。
2. データベース化し、不必要な情報は整理する。
3. クライアントがURLを利用できるようリストからリンクを取得。
4. サイトの更新にも柔軟に対応。
5. GASを使い自動システム化

やってみたこと：
1. シート1にIMPORTHTML関数のtableを利用し、情報サイトから都道府県ごとに取得可能なリストページを作成
2. シート2に対象となる都道府県のデータリストをARRAYFORMULA、CONCAT、IMPORTHTML関数で情報を取得。
3.  2で抜き出した情報からFIND関数を使用しテキストデータを取得。
4. 3の情報からMID、FIND関数を使用しURLのみ抽出。
5. 1件ずつURLに間違いがないこと、https化の有無を手動で確認。
6. シート3を作成し、シート2の必要な列のみをARRAYFORMULAで抜き出す、https化されていないサイトの件数をCOUNTIFでカウントし表示。
7. ファイル＞ウェブに公開＞シート3をウェブページで公開し、リンクをコピーしクライアント様に送信。←イマココ

現在の問題点：
1.  抜き出したデータを格納するシートは必要か？
2. IMPORTHTMLを多用したせいでしばらくするとLoodingが多発し、リストにも影響が出た。
3. 他の県にしたときにデータ量と膨大になり負荷がかかりエラーが多そう。
4. GASでどこを簡略化すればいいのかわからない。

今後：
※リスト化したデータを一件ずつ検索し、レスポンシブ化されているかも調査。
※リストが県ごと地域ごとにいつでも取り出せ、加工できることがまずは大事。
※大体イメージ通りに抜き出せたが、GASで各県ごとにシートを作成し何かに完成品をputしておくべきか？
※他業種でも通用するだろうからどんどんトライしよう

解決済

未解決

GASでやること

無駄に忙しすぎるので備忘録のため記録。また追記しよう。