大量の画像を高速で取得してS3とDBに保存する

こんにちは、求人Hubでバックエンド兼インフラを担当している川口( @kawasystem )です。 今回は求人Hubで利用している大量の画像を高速で取得してS3に保存する仕組みを紹介したいと思います。 背景求人Hubでは、1日数十万件の求人データを取り扱います。当然、数十万件以上の画像URLを出稿企業様から頂戴するのですが、この画像URLから画像を取得し、掲載企業様に提供する時は求人HubのCDNにアクセスされるように画像URLを提供します。 どの様に処理するのか数十