FireDucks

FireDucks開発チーム https://fireducks-dev.github…

FireDucks

FireDucks開発チーム https://fireducks-dev.github.io/ja/

FireDucks と Polarsを比較してみた

本記事はFireDucksユーザー記事シリーズの第6弾です．本記事はBell様に執筆して頂きました はじめにとある企業でデータサイエンティストをやっています。今回はデータサイエンスでよく使うpandasを高速化するという、FireDucksを触ってみました。通常のpandasと、polarsとの比較をいくつかの処理でやってみました。 FireDucks とはFireDucksとは、pandasを高速化するためのライブラリで、NECさんが提供しています。import 文を少

FireDucks

    • FireDucks性能評価

      本記事はFireDucksユーザー記事シリーズの第5弾です．本記事はYoshiyuki Kofuji様に執筆して頂きました はじめにPythonでデータ収集・加工処理に欠かせないpandasのAPI互換ソフトウェアであるFireDucksについて、 動作環境やデータ量を変化させたときの高速化性能を確認します。 検証は、データセット内の数値データをカテゴリ化する処理に対し、複数の実装について高速化性能を測定する形で行います。 1．DataFrameに新たな行を追加(数値→カ

      FireDucks

      • pandasの代替案: Fireducks,Vaex, Polars, Modinを徹底比較！どれが最適？

        本記事はFireDucksユーザー記事シリーズの第4弾です．本記事は黒柳茂様に執筆して頂きました 1. はじめにpandasの一般的な使用と課題 Pandasはデータ分析の世界でよく使われるPythonライブラリで、データの読み込み、加工、分析を簡単に行えます。特にその使いやすさと柔軟性は、多くのデータサイエンティストやアナリストに愛用されています（私も10年以上愛用しています！）しかし、Pandasは大きなデータセットを扱うときにメモリ消費が高くなり、処理速度が低下する

        FireDucks

        • FireDucksユーザー記事シリーズ

          我々はpandasとAPI互換で高速なデータフレームライブラリFireDucksを開発しています． FireDucksをもっと多くの方に知っていただきたと思い，FireDucks開発チーム以外の方に利用してもらい，記事を書いてもらう企画を行っています．開発者とはまた違った視点でFireDucksを見て頂き，より良い紹介記事になると考えています． 記事は順次公開していきますが，本ページでは公開された記事を一覧にまとめます． [6] FireDucks と Polarsを比

          FireDucks

        FireDucks と Polarsを比較してみた

        FireDucks

          AWS GlueでFireDucksを使ってPandasを高速化する

          本記事はFireDucksユーザー記事シリーズの第3弾です．本記事はアリス様に執筆して頂きました． AWS Glueはデータ統合サービスで、データの抽出、変換、ロード（ETL）を簡単に実現します。世界中の企業で人気があります。 一方、Glueのサービスは比較的高価であるため、日々大量のデータを処理する必要がある場合、コストを削減するためにツールのパフォーマンスをチューニングに苦労します。 NEC研究所からFireDucksベータ版が無料公開されています。他の高速化ライブ

          FireDucks

          AWS GlueでFireDucksを使ってPandasを高速化する

          FireDucks

          pandas高速化の新星、FireDucksに迫る

          本記事はFireDucksユーザー記事シリーズの第1弾です．本記事はBell様に執筆して頂きました． データ処理と分析をする際に、多くの方がPythonを使ていると思います。中でも、PandasライブラリはPythonを用いたデータ処理においてなくてはならないものになっています。Pandasには便利な関数が多数あり、複雑なデータセットを効率的に処理・分析することができます。 しかし、Pandasの使用にあたっては、大規模なデータセットを扱う際にパフォーマンスが課題になるこ

          FireDucks

          pandas高速化の新星、FireDucksに迫る

          FireDucks

          FireDucks入門: 学習コストゼロでpandasを超えるパフォーマンスを手に入れる!

          本記事はFireDucksユーザー記事シリーズの第2弾です．本記事は黒柳茂様に執筆して頂きました データサイエンティストであれば必ず利用していると言って良いpandas。 とても愛着を持っているライブラリだけど、もっと手軽に高速化できないものかと検索していたところFireDucksを発見し興味を持ちました！ 1. はじめにFireDucksとは何か？ FireDucksは、NECが開発した「pandas」の分析を高速化するpythonライブラリ。NECが30年以上にわた

          FireDucks

          FireDucks入門: 学習コストゼロでpandasを超えるパフォーマンスを手に入れる!

          FireDucks