リモートワーク：Webスクレイピングでお金を稼ぐ
こんにちは！今日の話題はリモートワークです。
最近リモートワークに関する話題は世界範囲で話題になったことを気がづいた。今後もその傾向も続くと予想されています。
もし在宅ワークでお金を稼ぎたいとしたら、「スクレイピング」という技術に興味を持つかもしれません。
DX推進の伴い、人間の経験に基づくビジネス上の課題の発見と解決をすることはどんどん「データドリブン（データの基づく）」に変わっていきました。現在より多くの業界はデータに対するニーズが増えています。「データ活用」その第一歩となっているのか「データ収集」です。
Webスクレイピングは一人だけで、どこにもできる作業です。
また、Webスクレイピングの汎用性が高いので、仕事にプラスになることがあります。
早速ですが、これからWebスクレイピングについて紹介します。
元記事：
クライアントはどんなデータにお金を払うの？
Octoparseをご利用しているユーザーの中で、フリーランスがたくさんいらっしゃいます。彼らは一般的に仕事依頼をもらえるフリーランス向けのWebサイトに集まっています。例えば、ランサーズなど。収集されたデータを販売したり、依頼主の要望に応じてデータサービスを提供したりすることです。
では、どんなデータは商品の価値があるでしょうか？
私はいくつかの求人サイトをお調べし、その中でよく依頼された「Webサイト」と「データ項目」を整理しました。つまり、これらのWebサイトでのこれらのデータは商品にお金を払う人が多いです。
そのクライアントがよく買いたいデータを下記にまとめました。
ECサイト上の商品データ
ECサイト上の商品情報へのスクレイピングはよくあります。フリーランスが集まっているWebサイトと弊社のお客様に「どんなサイトにスクレイピングしたい」という調査を行った際に、Amazon、eBay、楽天、メルカリなどのECサイトのデータという回答が3の１に占めていった。そのため、その後弊社がテンプレートの開発で、数多くECサイトのテンプレートを開発しました。
EC出品者は商品データ、例えば：商品名、価格データ、販売数、在庫データを収集することで、価格戦略を調整したり、商品を選定したりなどをすることです。
これはFreelancer.comに掲載された求人情報です。その依頼主は15万件のECデータをスクレイピングできるフリーランスを探しています。
画像から見ると、このクライアントさんは単なるデータ収集のだけでなく、データマイニングによるインサイト分析もやりたいです。
キーワード：データマイニング
業種：EC
データ：ECサイト上の商品リスト
料金：150ドルから
メールアドレスのデータ収集
電話番号やメールアドレスなどのデータを収集したい案件もよくあります。Webサイトでこのような営業リストを販売するサービスも少なくないと見えます。日本の場合はWeb上で営業リストを購入するならば、安くとも1件５円になります。実はそれらのデータ収集はスクレイピングツールで無料でこれらのデータを入手できます。それは全然可能です。
新規営業の際に、必ず必要になるのは営業リストです。営業リストの収集に対して、一番重要となっているのは「ターゲット」です。つまり、ターゲットはどこに集まっているのか、を把握しなければなりません。例えば、KOLを探している場合はYoutube、Twitter、Tiktokなどのメディアに注目。Webライターを探している場合はMedium、Noteなどのメディアに注目。
キーワード：営業リスト
業種：不明
データ：メールアドレス
料金：40ドル〜100ドル／ｈ
電話番号のデータ収集
メールアドレスの他に、電話番号のデータを収集するケースも多いです。それも営業リストとして、新規開拓のためによく使われています。ただ、電話マーケティングは飲食店などにとってもっと効果があるそうです。これらのデータを取得するには、Yelp、食べログ、ぐるなび、Google Mapsなどは最適なデータ取得対象です。
キーワード：電話番号の抽出
データ：電話番号
業種：不明（おそらく在宅サービス業者）
レート：時給7ドルから
LinkedInプロフィール/履歴書
LinkedInのプロフィールのデータを収集したいクライアントがいます。このような要望は欧米の方が多いです。なぜというと、LinkedInでは非常に多くの高品質なビジネス人材が活躍しているからです。ただLinkedInのスクレイピングは少し敏感です。ヨーロッパでは、個人情報はGDPRによって保護されています。ビジネスのために個人情報をスクレイピングしようとしたら、法律上の問題を事前に調べたほうがいいと思います。
キーワード： LinkedIn ウェブスクレイピング
データ： LinkedInのプロフィール
業種：不明
レート：250ドル〜500ドル
アプリ・Web開発のためのコンテンツ収集
Webスクレイピングは、データ分析、インサイト分析、営業リスト作成のだけではなく、Webサイトやアプリケーションの作成にも使用されます。
たとえば、コンテンツ集約など。
代表的な例は価格比較サイトです。それぞれのWebサイトで商品情報やクーポン情報をスクレイピングし、それを自分のサイトに整理することです。
以上、スクレイピングでお金を稼ぐ例を紹介しましたが、それでは、プログラムに詳しくない私たちはどのようにプロのエンジニアのように、Web上のデータをスクレイピングしますか？
プロのようにWebデータを取得する
ここでは、Octoparseというスクレイピングツールをお勧めたいです。Octoparseは、ノーコードのツールで、プログラミング知識に詳しくなくても簡単にWeb上のデータをスクレイピングできます。
Webサイトからデータをスクレイピングすることは何？
簡単に言うと、Web上で欲しいなデータをExcelやCSVなどのファイル形式で取り込むことです。もうちろんスクレイピングはそれだけの意味ではありません。それはすごく簡略化な説明です。
スクレイピングの活用は一般的にWeb上のデータをファイルに落とし、データ加工、データ分析、あるいは単なるコピペーとして保存することが多いです。
Octoparseを使えば、プログラミングが不要で、Web上のデータ収集は素人にも実施可能な作業になります。また、プログラミングと維持のコストも要らず、費用対効果的な解決策と言えます。
では、Octoparseを使ってどのようにWebデータを取得するのでしょうか？
対象サイトのULRをOctoparseで入力して、ツール内の指示に従って、データを抽出できるタスクのワークフローを設定することができます。
例えば、Yelpからデータを抽出したいとしたら、Octoparseに該当サイトのURLをツール内に貼り付け、抽出したいデータを選択し、抽出するワークフローを設定するだけでデータを抽出できます。
Octoparse をダウンロードし、こちらのチュートリアルを見ながらでーたを抽出できるタスクを作成しましょう！
まとめ：
ノーコードツールは、プロのグラマーのように効率的にスクレイピング作業を行えます。Octoparseは、Web上のデータを簡単な操作方法で誰でもスクレイピングできます。データ活用と意思決定のためにデータを収集したい方はぜひお試しください。
この記事が気に入ったらサポートをしてみませんか？