Sparkでパーティション単位で上書きする

TL;DRconfでspark.sql.sources.partitionOverwriteModeをdynamicにする spark.conf.set('spark.sql.sources.partitionOverwriteMode','dynamic')( df.write .partitionBy(parts) .mode('ovewrite') .parquet(path)) 目的基本的には直近データだけ追記なんだけど、過去分と重複しているものも