webスクレイピングを知識0から始めて習得するまで②【アナコンダ仮想環境の作成】

2022/1/9 【2日目】

データ分析コンペである程度pythonのコードとかpandasとか使うのに慣れたので、ずっとやりたかったwebスクレイピングを1から勉強していきます。

webスクレイピングができるようになったらやりたいことは、webからTiborの履歴をとってきて、チャートを表示できるサイトを作りたい。データ分析で勉強したpandasとかmatplotも使うことになると思うから丁度いいとおもってる。

アナコンダ仮想環境の作成

ライブラリは知らぬ間にバージョンアップされるから、そのせいでうまくいかなくなることがよくある。仮想環境を作ることで、この講座の開発環境を固定させることができる。Environmentsに開発環境が入ってて、まだ追加せてなければ、base(root)だけがあって、その中にライブラリが入ってる。

現時点ではScrapyはPython3.8にしか対応していないから、3.8を選択。

open terminal でターミナルを開ける。

cd /Users/namae/Udemy\ web_scraping

ターミナルで作業ディレクトリに移動するにはこのように入力する。もしくは、cdまで打って、フォルダをドラッグ＆ドロップするとパスが入る。

これまでの開発環境はbase(root)でずっとやってたから、scrapy_env環境にはまだこれしか入ってない。

pip install -r requirements.txt

これでrequirements.txtに列挙されているライブラリを一括でインストールできる。condaコマンドで一括インストールする方法はいくら探しても出てこない。

pipとcondaは混ぜたくなかったけど、仮想環境だからまあいいか。

scrapyもちゃんとインストールされている。

「Codes&Co.」「コーズコー」