個人でSUUMOの賃貸情報を解析するサービス開発

個人で簡単なサービスを開発したので、その紹介となります。
ITエンジニアをしており、最後の方はかなり技術力の強い内容となっています。
サービスは以下となります。

スクレイピングサービスcue

※リリースしてから一週間後の2024年6月2日に気づいたのですが、Excelダウンロードができないという致命的な不具合がありました。
今は改修しています。

開発の経緯

仕事は、お客様から依頼されたシステムを開発するITエンジニアをしています。いわゆる受託開発を生業としています。
お客様の要望を伺って形にしていますが、あれこれと要望を伺って改善していると、企画から自分でもやりたいと思い、今回、個人開発でサービスを作ってみました。

開発は仕事柄慣れているので、システムの骨組みはGWに3日程度で作り上げたのですが、そこからサーバーで稼働させるための諸々の作業は本記事を書いたりで、5月下旬のサービス公開となりました。

まだまだ細かいところで自覚している改善点等もありますが、一旦は需要がそもそもあるのか把握したいと思い、見切り発車的に公開しました。

開発したサービス

今回、開発したサービスはSUUMOの賃貸情報を解析して、シンプルに一覧表示し、全件をExcelファイルにダウンロードできる機能を提供するものです。
技術な言い方をするとスクレイピングと言います。
SUUMOのサイトで検索した結果、一覧として閲覧できますが、分析ができるような形ではないので、ウェブサイトの情報を解析して、構造化されたデータとして提供します。

元々データ解析に興味があり、さらに物件情報を色々な軸で見たいと思い、まずはこちらのサービスとしました。
今後は、直近の予定として、できるだけ早く中古マンションにも対応したサービスを提供したいと思っています。
その後はSUUMO以外の情報を解析するサービスも開発することを考えています。
使いやすいものに改善していきたいので、要望や不具合のコメント・連絡を頂けると、非常に嬉しいです。

システム的なお話し

ここからは技術力の強いお話しとなります。

アプリケーション開発

アプリケーションは以下の言語で開発しています。

• サーバーサイド：Java、Spring Bootフレームワーク

• フロントエンド：Vue.js

作り的な面で気をつけた点としては、もし多数のアクセスが同時にきた場合、SUUMO側に負荷をかけてしまわないように、SUUMOにアクセスするところは並列処理させないようにしています。
また、一定の間隔をあけてアクセスしているため、Excelダウンロード機能は少し時間がかかってしまっており、ここは今後の改善点だと考えています。
多数のデータを取得するように予約して、しばらく経ったら、Excelデータができて、それをダウンロードする、という作りに出来ないか、など、もやもや考えています。

インフラ構成

まずはお試し的な公開なので、かなり最小限の構成としています。

• サーバーはAWS上に構築しています

• EC2×1台構成で冗長化等もしていない

• DBはPostgreSQLを使用しているが、RDSは高いのでEC2上に構築

• Webサーバはnginxを使っており、Vue.jsのモジュールはここにデプロイ、APIはSpringBootアプリケーションにプロキシしている

以上となります。
初めての記事となりますが、少しずつでも継続的に更新していきます。