機械学習コンペ「yukiCup 2023 Summer」を開催しました
2023/7/30にyukiCup2023Summerという機械学習コンペを開催しましたのでこの記事は運営目線で感想など書こうと思います。
開催の経緯
yukiCupは共同運営者であるトミーさん(@johannyjm1)の「内輪で短期間コンペやったら楽しのでは？」という思い付きから始まりました。kagglerがコンペに求めるものはいろいろあると思いますが、とにかく参加者が楽しめるコンペにしよう！というコンセプトです。
コンペは8時間という他ではあまりない短さですが、個人的には過去参加したatmaCup#3（8時間）やKaggle Days Championship予選（4時間）でも、十分楽しめた、というかなんならこれくらいがちょうどいいのではと感じていたので、短期間コンペに一定の需要はあるだと考えていました。
また、上級者だけでなく初心者も楽しめるコンペにしようということでテーブルコンペを開催することも当初から決定していました。
今回は第一回ということもあり、大々的に告知はしませんでした。（関西kaggler会で告知したのみ）
データ準備の苦悩
お題は運営の二人がバイク乗りであることから、中古バイクの価格予測にしました。実は以前からバイクの価格予測コンペをやりたいと思っていました。
お題を決めてからデータはすぐに集まったのですが、難易度設定がとにかく難しかったです。参加者がなんだかんだ50人くらいになりそうだったので、適当なコンペにはできないという思いがあり、難易度の調整にはそれなりに時間を使いました。
データの準備では次のようなことに悩みました。
時間に対する適切な難易度がわからない
コンペの時間が8時間ということで、難しすぎると消化不良になり、かといって難易度を下げすぎると、コンペとしてのおもしろさがなくなるのでこのバランスが難しかったです。
難易度的には、8時間だとやりたいこと全部はやりきれないけど消化不良とまでは言えない、くらいの難易度にしたいと考えていました。
初心者から上級者まで楽しめるコンペにしたい
初心者でも楽しめるように簡単にベースラインを作れないといけませんが、一方でクセのあるデータをこねくり回すような要素も必要だと考えていました。先にデータを集めてから難易度を調整したため、調整にも限界があり苦労しました。
データをずっとさわっていると感覚がバグってくる
事前検証を進める中でデータに詳しくなっていくので、「こんな特徴量だれでも思いつくだろう」と考えがちになり、データを触れば触るほど「もっと難しくしないといけない」と必要以上の難易度を求めるようになってしまいました。（実際はそこまでしなくてよいのに）
事前準備の段階では難易度を上げるためにバイクの画像を加えたり、testデータにしか存在しないバイクメーカーを作ってみたりと色々試行錯誤しました。
最終的には、あまりにも効きすぎるカラムと、情報がありそうでないカラムをいくつか削除するくらいの調整になりました。
コンペの当日
コンペはオンサイト+オンラインという形式で行いました。オンサイト会場は終始全員集中しており、簡単に話しかけられない空気でした。
オンライン参加の人たちもハッシュタグ#yukiCupでTwitterでも盛り上がっていたので、コンペの盛り上がりを感じたい人は是非Twitterを見てみてください。
8時間という短い時間のコンペでしたが、notebookを公開してくれる方、Discussionを書いてくれる方もたくさんいました。盛り上げてくださった皆さんには本当に感謝しています。
コンペ中は運営は意外とやることがなく、開会式、初心者講座、閉会式以外はお昼ご飯の買い出しをしたり、リーダーボードを眺めて楽しんでました。（個人的にはもっとバイクの質問をしてドメイン知識を引き出してほしかった）
コンペを終えて
今回42チームに参加してもらい、合計で342subもしてもらいました。
内訳としてはGrandmaster5名、Master12名、Expert13名、Contributor6名、Novice7名と初心者から上級者まで幅いろいたくさんの方に参加しただけました。参加してくださったみなさん本当にありがとうございました。
コンペのアンケート結果は非常に満足度が高く、たくさんの方に楽しんでもらえたことがわかりました。
コンペが始まるまで、このお題やデータでコンペが成立するのか？みんなに楽しんでもらえるのか？とすごく不安でしたが、「とにかく参加者が楽しめるコンペにしよう！」というコンセプトを達成できたようで、ホッとしています。
今回は第一回ということもあり大々的に告知はしませんでしたが、少しずつ大きなコンペティションにしていきたいと思っています。今回参加できなかった方は、次回是非参加してください！
この記事が気に入ったらサポートをしてみませんか？