LLM のプロンプトを書くだけの Kaggle コンペの参加方法だけシュッと書いてみる

bbz

ちゃっす(/・ω・)/



今現在（2023/10/18）LLM のプロンプトを書くだけでよい Kaggle コンペが開催されててちょっと内容が変わっていたので概要だけシュッと書いてみる(/・ω・)/



コンペはこちら



概要

大規模言語モデル（LLM）は世界中の何百万人もの人々の想像力をかきたてています。このコンペティションの目的は、Kaggleコミュニティの専門知識を活用し、LLMの実際の使用例を示す実用的、創造的、革新的なプロンプトを開発することです。このコンペティションには、教育、開発者、ユーティリティなどのプロンプトを含むいくつかのカテゴリーがあります。受賞したプロンプトは、GoogleのPaLM APIを含むLLMと対話するための使いやすいインターフェイスを提供するGoogleのツール、MakerSuiteに含まれます。

https://www.kaggle.com/competitions/llm-prompting-with-makersuite/overview

期間

2023/11/7 まで

期間

詳細

このアナリティクス・コンペティションでは、参加者はMakerSuiteで以下のカテゴリーのいずれかに属するプロンプトをデザインする：

開発者ツール：デバッグ、コード生成、質問応答、アイデア生成など）開発者のあらゆる側面をモデルが支援できるようにするプロンプト。

データサイエンスツール：開発者ツール」のサブセットで、これらのプロンプトは、プロジェクト策定ステップにおいてデータサイエンティストのガイドを支援したり、データサイエンティストが堅牢なデータサイエンスコードを作成するのを支援したりします。

教育および対話型チューター：モデルが優れたチューターとして機能することを可能にするプロンプト。学校で一般的に教えられている科目（物理、英文学、化学）を選ぶこともできるし、コーディングのチューターや、実践的なスキル（住宅改修）を教えるチューターなど、好きなものを探求することもできる。

日常生活（家庭や職場）のためのユーティリティ：日常生活で問題を解決するのに役立つようなプロンプト（例えば、表計算ソフトで数式を使うのを助けたり、プレゼンテーションや電子メールを支援したり、技術サポートを提供したりするツールとして機能する）、あるいは水漏れを直したり、衣服の厄介なシミを取る最良の方法を理解したりするのに役立つようなプロンプト。

よく説明された理由：なぜその答えを出したのか、その答えを正当化するため、あるいは何がわかっていて何がわかっていないのかを説明するために、モデルが優れた説明を提供するよう促すプロンプト。

ストーリーテリングとインタラクティブなゲーム：モデルをストーリーテラーとして演じさせたり、あなたと一緒にストーリーを作ったりするようなプロンプト。

その他のアイデア：あらゆるアイデアを歓迎します。上記のカテゴリーに限定されるものではありません。楽しいアイデア、クリエイティブなアイデア、役に立つアイデア、実用的なアイデアもお待ちしています。

投稿されたアイデアはGoogleによって評価され、受賞者や賞品が発表されるまで非公開となります。このコンテストにはリーダーボードはありません。このコンペティションは MakerSuite、Google Developer Relations、Kaggle のコラボレーションです。

https://www.kaggle.com/competitions/llm-prompting-with-makersuite/overview

要するに？

日々の生活を便利にするようなプロンプトを Google の MakerSuite を使って作ってみよう～という感じ(/・ω・)/

（なので MakerSuite が利用可能であることが前提条件になるので以下で自分が使えるか確認してみるとよいでござんす。お住いの国によっては参加できないやも。）

MakerSuite

MakerSuite の説明ブログ


提出方法

コンペのページにキャプチャ付きで書かれている（英語で）ので詳細には実際のページを見てもらうとよいのですが、プロンプトの提出方法がちょっと変わってますので書いておくのだ(/・ω・)/

  1. MakerSuite でプロンプトのドラフトを作る

  2. 作成したプロンプトの共有 URL を `kaggle-makersuite-competition@google.com` に共有する（ReadOnly がいいよ！)

  3. Google Form で 2 で共有した URL とスクリーンショットを張り付けて送る


評価

このコンペではいわゆるリーダーボードはないのである(/・ω・)/
つまり、ある程度の順位とかが期間中にわかるわけではないのだ(/・ω・)/


じゃあどういう評価になるの？(　・ω・)


となるけれど

  • Developer tools

  • Data science tools

  • Education and interactive tutors

  • Utilities for everyday life

  • Well-explained reasoning

  • Storytelling and interactive games

  • Other

の各カテゴリ別で Kaggle and Google によってジャッジされるのである(/・ω・)/


プロンプトの評価観点としてはこんな感じでそれぞれ 0 - 10 ポイントで評価されるみたい

Practical:

プロンプトは、ユーザーの役に立つ現実の問題を解決する。


Useful:

モデルは、役に立つ、あるいは質の高いアウトプットを出す。

Robust:

このプロンプトは、さまざまなタイプの入力に対してうまく機能する。

Novel:

そのプロジェクトはユニークで創造的だった。

Delightful:

私たちはこのアイデアと結果の両方に感銘を受け、グーグルの幅広い開発者コミュニティと共有したいと感じました。



っちゅーことで、敷居が高そうな Kaggle でございますが割とシュッと参加できそうなのがあったので布教してみた(/・ω・)/



ということでおしまい。


この記事が気に入ったらサポートをしてみませんか？