Sparkでパーティション単位で上書きする

TL;DRconfでspark.sql.sources.partitionOverwriteModeをdynamicにする

spark.conf.set('spark.sql.sources.partitionOverwriteMode','dynamic')( df.write .partitionBy(parts) .mode('ovewrite') .parquet(pat