Naruhiko

フリーエンジニア。VB、C#、Powershell、Python のプロジェクトを仕事…

Naruhiko

フリーエンジニア。VB、C#、Powershell、Python のプロジェクトを仕事でこなしています。 一番好きな言語は Python ですね。

マガジン

  • 【初心者向け】Pythonでスクレイピングする環境を作る

    Pythonでスクレイピングする環境を作ることを目標にしてコードを書いていきましょう。全文無料で読めます。

最近の記事

  • 固定された記事

数独はPythonで考えて解く話

Naruhikoです。 小さい頃からパズルは大好きでした。 手で触りながら解くパズルや、紙の上で解く頭のパズル。 どれも一気に集中することができ、時間の溶けるもの。 それがパズルです。 家になぜか知恵の輪やルービックキューブなどがたくさんありました。 やっぱり親の影響を受けているんでしょうね。 知らず知らずのうちに解くことに夢中になったんです。 大人になってもパズルは好きで、その中でも数独(ナンプレ)は特に好きです。シンプルなのに奥が深く解けた時の達成感もいいものです。

    • 【初心者向け】Pythonでスクレイピングする環境を作る⑩ crawler と scraper を分ける

      Naruhiko です。 前回まで、crawler.py を作ってきました。 合わせてスクレイピングの注意点やテストのやり方なども一緒に説明しました。 今回は、今まで作ってきた crawler のスクレイピング部分を切り離し、モジュール化してみようと思います。 クローリングとスクレイピングの違いは?クローリングと言ったり、スクレイピングと言ったりしますよね。 その2つの違いはなんでしょうか。 ・クローリングは巡回する機能。 ・スクレイピングは抽出する機能。 というよ

      有料
      100
      • 【初心者向け】Pythonでスクレイピングする環境を作る⑨ テストしてみる

        Naruhiko です。 ここまで Python を理解してきましたか? どんどん楽しくなって来たのではないでしょうか。 あとは、自分のやりたいことを考えてそれをコードに起こせるようになれば もう次の次元へ進むことができますね。 この連載では基礎的な事はほとんど説明していません。 こうやって実際に作ってみて興味が出てきてからでも遅くはありません。 そうじゃないと覚えられないですしね。 さて、Class を作って、オブジェクト指向でのコードの書き方を少しだけ説明しました。

        有料
        100
        • 【初心者向け】Pythonでスクレイピングする環境を作る⑧ クラスにまとめてみる

          Naruhiko です。 Python どうですか?楽しんでますか? これまで進めてきて、 1.Google検索結果からURLを取得する 2.取得したURLのサイトのタイトルを取得する ここまでのコードを書くことができました。 関数を3つ作りましたね。 ・get_robots_txt() … robots.txt の内容を確認して取得可能か確認する ・get_html() … html 情報を取得する ・get_search_url() … 検索エンジンで検索した結果の

          有料
          100
        • 固定された記事

        数独はPythonで考えて解く話

        • 【初心者向け】Pythonでスクレイピングする環境を作る⑩ c…

        • 【初心者向け】Pythonでスクレイピングする環境を作る⑨ …

        • 【初心者向け】Pythonでスクレイピングする環境を作る⑧ …

        マガジン

        • 【初心者向け】Pythonでスクレイピングする環境を作る
          10本

        記事

          【初心者向け】Pythonでスクレイピングする環境を作る⑦ 検索結果のページのタイトルを取得する

          Naruhikoです。 google検索結果のURL一覧を取得するところまでできましたね。 このコードを使ってURL先のタイトルを取得してみましょう。 取得の仕方はもうできていますね。 あとは、何を取得するかで変わってきますが、これはBeautiful soupを勉強していくことでいろいろなものが取得できるようになるはずです。 まずは、今までのコードを見てみます。 import timefrom urllib.robotparser import RobotFileP

          有料
          100

          【初心者向け】Pythonでスクレイピングする環境を作る⑦ …

          【初心者向け】Pythonでスクレイピングする環境を作る⑥ スクレイピングでの注意事項

          Naruhiko です。 前回までに Google 検索した結果のサイトURL一覧を取得できるようになりました。 今度はそのサイト一覧URLを元にそのサイトのデータを取得してみたいと思います。 が、 その前に、スクレイピングをするにあたって注意事項が何点かあります。 これはとても大事なことです。 著作権法や不動産侵入法などに違反してしまう可能性もありますので十分注意してください。 ここでもキーになることを話していきますが、 できるだけスクレイピングに関するしっかりした

          有料
          100

          【初心者向け】Pythonでスクレイピングする環境を作る⑥ …

          【初心者向け】Pythonでスクレイピングする環境を作る⑤ Google検索をしてみる

          Naruhiko です。 サイトのデータの取得を簡単ですが説明しました。 Python の詳しい内容は専門書などにおまかせしますが、 前回までの方法をそのまま行えばスクレイピングが出来るようになっていると思います。 今回は、Google検索の結果を元にサイトのデータを取得してみます。 前回作成したコードはこれですね。 import requestsfrom bs4 import BeautifulSouptry: # urlを代入 url = "https

          有料
          100

          【初心者向け】Pythonでスクレイピングする環境を作る⑤ G…

          【初心者向け】Pythonでスクレイピングする環境を作る④ requestsでデータを取得してみる

          Naruhikoです。 環境はうまく構築できたでしょうか。 いつでも Python を始められますね。 今回から、Python のプログラムを組んでいきます。 少しずつ進めていきたいと思います。 crawler.py の作成では、Python のコードを書いていくファイルを用意しましょう。 VSCode の左にディレクトリが表示されています。 作成している「crawler」ディレクトリを右クリックし 「New File」をクリックします。 新しいファイルが出来るので

          有料
          100

          【初心者向け】Pythonでスクレイピングする環境を作る④ r…

          【初心者向け】Pythonでスクレイピングする環境を作る③ VSCodeでDocker環境を構築する

          開発環境。 自分のプログラミングしやすい環境はとても大事です。 自分流にセッティングすると、とても作業効率が上がります。 それはアプリケーションしかり、配色しかり。 集中する画面ですから、自分の好きな開発環境で作業したいものです。 今の僕のイチオシは VSCode (Visual Studio Code)です。 マイクロソフトが出している開発環境で最近ではとても人気です。 テーマはもちろん「solarized」。 絶妙にきもちいい配色が好きです。 VSCode のエクステ

          有料
          100

          【初心者向け】Pythonでスクレイピングする環境を作る③ V…

          【初心者向け】Pythonでスクレイピングする環境を作る② Dockerの使い方

          Naruhiko です。 新しいプログラムが必要になったとき、インストールを行います。 でも、あまりインストールしたくない環境ってありませんか? いろいろなものを入れると管理が大変になったりします。 あと、サーバーには余計なものを入れたくないです。 そういうときが多々あるんです。 では、どうすればいいか。 Docker を入れるんです。 余談ですが、 僕は Linux (Debian) を使っています。 Linux を使っていて、どうしても Windows にしかないソ

          有料
          100

          【初心者向け】Pythonでスクレイピングする環境を作る② D…

          【初心者向け】Pythonでスクレイピングする環境を作る① はじめに

          Naruhiko です。 スクレイピングって興味ありますか? 自動でネットの記事を取得できると、いろいろな作業効率を格段に上げることができます。 例えば、特定のサイトのタイトル一覧がほしいとか、ある言葉が書いてある文章を取得したいなどですね。 やってみたいと思っているのなら、この記事から読みすすめて実際に手を動かしてみてください。 できたときの感動とこれから自分で作り変える喜びを味わえると思います。 今回やりたいことDockerfile を使って Docker 内で環境を

          有料
          100

          【初心者向け】Pythonでスクレイピングする環境を作る① …