Photo by
kochitaku
学び(2024/05/17)
今日の学び
polarsでavroファイル扱える
OutOfSpecのエラーがあり、Issueが作成されている。
どうもpolarsが書き込んだ時のバージョンと同じものを使わないと読み込めないとか。
例えば全然別のシステムが出力したavroファイルでこれが起きるのかどうか気になる。
振り返り
構造化データのやり取りでよく使うのはcsvかjsonで、たまにtxt、avro、parquetを使う。
データフレームライブラリも同じような範囲でカバーしているだろうから、他のシステムが作ったもの読み込めないってことはないと思うから、格納されたファイルの作り方がよくなかった説。
スキーマに付随する名前が空とか。
終わりに
ファミレスを享受したい
この記事が気に入ったらサポートをしてみませんか？