【日記 21.03.19】GitHub API で1,000件以上検索したい奴
「nomi-sec/PoC-in-GitHub」は GitHub API で検索してリポジトリ情報を収集しているが、1,000以上は収集できない。
1ページに30件表示されるので34ページまでしか検索できず、35ページ以降はエラーとなる。
$ curl "https://api.github.com/search/repositories?q=\"CVE-2020-\"&page=35&sort=updated"{ "message": "Only the firs