DataFrameのレコードを SQLite に入れる時に重複は無視したい

DataFrameのレコードをSQLITEに格納するコードを書いている時に、DB へ insert する時に使う .to_sql メソッドは重複データを無視する機能は入っていないことがわかりました。

色々調べていたら、ここにいい感じの解決方法が紹介されていました。

Python: Pandas.to_sql INSERT IGNORE the correct way (sqlalchemy) - Sick Codes - Security Research, Hardware & Software Hacking, Consulting, Linux, IoT, Cloud, Embedded, Arch, Tweaks & Tips!

to_sql メソッドの説明も兼ねて、Colabにまとめたのでご利用ください。試してませんが mysql とか postgresql でも同様のパッチがあてれるんじゃないかな？と思います。