ebayの次は、メルカリで販売情報を収集してみた話。

こんにちは、本日は、曇りで長渕 剛や、堀内 孝雄をyoutubeで聞きながら、
お金もうけできないか考えている、どうも私です。
eコマースHPのスクレイピングを実施していました。やっぱり、練習すると出来るようになるね。

1.メルカリはロボットならいける。

直接、URLにアクセスしても、javaで動いているっぽく、爆発させないと
コードは取れなかったです。でもseleniumで動かして、
ソースを取得→パースで余裕っす。

２．HTMLは余裕だが、webpによるデータ保存がめんどくさい。

webpにてデータ保存されているので、画像とってきてもエクセル貼付けが難しい。。。でしたが、これもpillowを使えば余裕～

３．こんな感じで取れました。

ってか、ポケモンカード糞ほど値上がりしてるやん。

たかだか、紙屑一枚に3900円とか・・・

mercarin.xlsx

1.68 MB

ファイルダウンロードについて

ダウンロード

コードはこんな感じ
結局、ロボットにchromeを動かせたので、ドライバーは必須。
興味ある人。教えてください、有償に指南します。
ここは、あくま記載のみ

url = 'メルカリTOPサイトurl'
url = url + 'search?keyword=' + 'ポケモンカード' + '&status=on_sale'

#https://jp.mercari.com/search?keyword=nexsus
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome import service as fs
from urllib.parse import urljoin
import time
import requests
from bs4 import BeautifulSoup
import pandas as pd
import csv
import os
import openpyxl
import glob
from PIL import Image, ImageFilter

#soup = requests.get(url)
#soup = soup.text
CHROMEDRIVER = r'C:\Users\xuesh\chromedriver'
chrome_service = fs.Service(executable_path=CHROMEDRIVER)
driver = webdriver.Chrome(service=chrome_service)
driver.execute_script("""deleteObject.getPrototypeOf(navigator).webdriver;""")
driver.get(url)
driver.maximize_window()
time.sleep(5)
soup = BeautifulSoup(driver.page_source, 'html.parser')
soup1 = soup.find(class_ = 'sc-da871d51-7 ftpNhl')
soup2 = soup1.find_all('div')
gazo = [["price","link","src"]]
base = 'https://jp.mercari.com/'

ここら辺は割愛。（結構核心部分）

CSVファイルを開く。ファイルがなければ新規作成する。

f = open(path, "w", encoding='utf-8')
writecsv = csv.writer(f, lineterminator='\n')
writecsv.writerows(gazo)#リスト内容書き込み
f.close() # CSVファイル保存
print("csvにて保存完了、エクセルに変換用意")

さて、e-bay,メルカリときたから、あとはamazonか。
ここら辺全部同じフォーマットで収集して、
まとめサイトでも作ろうかしら。