見出し画像

GPTsハッカソン＠GMO Yours チャエン✖️ KNR✖️ ChatGPT研究所に行ってきた話(AIパーソナルスポーツ教室GPTsを作成してみた)

KIRIKO.tech株式会社

こんにちは！KIRIKO.tech(株)代表の佐藤です。
タイトルの通り、2月27日渋谷で開催されたGPTsハッカソンに参加してきました！
その時の様子と今回作成したGPTsについて記事を書いていければと思います。



開幕

渋谷のGMOすげぇ

まずはじめの感想はこれでした、渋谷駅すぐ近くに立っているお洒落で大きなビルが会場でした。
ここに150人ものChatGPTプレイヤーが一同の集まる様は、生成AIの熱を間近で感じるいい機会になりました。
まさに日本最大級のGＰＴｓハッカソンの謳い文句にふさわしい覇気！

登壇された方々は、この業界なら知らない人はいないくらいの方々ということもあり、テンションは上がりつつもとても勉強になりました。

まずはじめに、GPT研究所の代表である石川陽太さんがChat-GPT、GPTsの基本を説明してくれました。
この辺りは、知っていることでも改めて聞くと勉強になることが多いと気づかされます。
何事も基本が大切ですよね、安西先生。

GPTに指示する時は、しつこいくらい言った方がいいなと改めて

KNRさん、チャエンさんはこれからのGPT、生成AIの行く末の予測を話してくれました。
やはりポイントはAIは、日本では、企業ではあまり浸透していないところが課題であり、チャンスといったところでしょうか。

こちらチャエンさんが開発した呪術廻戦の最強キャラをモチーフにした「魔虚羅GPT」というGPTsなのですが、この辺りのおもしろいなと思えるアイデアが鍵なんじゃないかなとか思ったり。
お前が呪術廻戦、魔虚羅が好きなだけだろｗというツッコミはなしですｗ

いざハッカソン

そんなこんなで時間はあっという間にすぎ、ハッカソンの開始時刻に。
作成時間は一時間、持参したアイデアをもとに作成していきます。

今回のハッカソンのテーマは「業務生産性を向上させるGPT | AIで日本全体の業務生産性向上させよう」というもの。

業務の生産性を向上

は生成AI、GPTが出てきてからというもの１つの大きなテーマとなっていますね。
この辺りの意見や議論も日々加熱して技術的にも幅広く展開されています。

今回は、というか、今回も僕は自分があったらいいな、欲しいなをポリシーにこんなGPTsを作成してみました。

スポーツのフォーム動画をGPTsに読み込ませることで解析し、アドバイスをくれるGPTs！！

お客さん目線としては、パーソナルなスポーツ教室はなかなかに高額なので費用を抑えたい方（第三者からフォーム見た上でアドバイスが欲しい方は沢山いると思うので）に使って欲しいなぁと考えました。

僕もテニスでフォームが～と口酸っぱく言われた側なので高校時代に欲しかったなぁーって作ってて思いました。

自分では、わからないんですよ！フォーム直してやっている気になっても。

また、インストラクター側としてもお客さんにどのようにアドバイスをしたらよいかという一つのモデルケースをくれるように使って貰えたりするのでは？なんても考えました。

伝えるために何を言っていいかわからないもんですよね。
僕とか「ああやってこうきたらこうよ」なんて説明してそれ先輩しかわからないっすとよく言われたもんです・・・。

AIパーソナルスポーツ教室GPTs

さて、それでは作成したGＰＴｓについて説明していきたいと思います。

まずはじめに動きをお見せするとこんな感じです。

大まかな流れはこう

【使い方】
動画を読み込ませる
↓
ZIP形式で8枚の画像を抽出
↓
抽出された複数枚の動画を再度、読み込ませる
↓
フォームについての改善点がリストアップされたものをCSV形式で提供

【工夫した点】
Pythonで動画の解析を試み、画像をZIP形式で抽出します。 その画像を読み込んだ上で、フォームの改善点を述べてくれます。
フォームの改善点は最終的にCSV形式でくれるので、実際に印刷や保存して使えます。
(もし、文字化けしていしまっている場合はその旨を伝えてください、再度出力してくれます)

プロンプト

あなたのフォーム確認しますと言われたら、動画を投稿してくださいと返してください。

ユーザーから動画を受け取ったら直ちにステップを実行していってください。

目標は、ユーザーが提出したフォームの改善点をリストアップすることです。以下は、このプロセスを実行するための提案です。

### 変数
- `userVideo`: ユーザーが提出したフォームを撮影した動画のパスまたはURL。
- `formChecklist`: フォーム改善のための基準リスト（例：姿勢、動作の連続性、技術的な正確さなど）。
- `improvementSuggestions`: 改善のための提案を保存するためのリスト。

### 実行ステップ
1. **動画の分析**:
   - ユーザーが提出した動画を詳細に観察し、フォームの各部分を分析します。
   - 動画から8枚の画像を抽出して、ZIPにして一つにまとめます。
   - [ZIP]ファイルから**画像をダウンロードして複数枚渡してください。**とユーザーに促します。

2. **画像のチェック**
   - ユーザーから送られた画像を使ってフォームの確認をします。
   - `formChecklist`を参照して、ユーザーのフォームが基準にどの程度合致しているかを評価します。

3. **問題点の特定**:
   - フォームに関する問題点や改善が必要な領域を特定します。
   - これには、姿勢の問題、動作の不連続性、技術的な誤りなどが含まれる場合があります。

4. **改善提案の作成**:
   - 特定した問題点に基づいて、具体的かつ実行可能な改善提案を作成します。
   - 提案は明確かつ具体的で、ユーザーが理解しやすいものである必要があります。

5. **フィードバックの整理**:
   - 改善提案を`improvementSuggestions`リストに追加し、整理します。
   - リストを出力する際は、テーブル形式で表示します。
   - リストは、問題点の重要性や改善の優先度に基づいて構成されると良いでしょう。
   - CSV形式で出力してください。**文字化けしている場合は、その旨を伝えてください**

### 専門家
あなたは以下の専門家です。
- **フォーム分析専門家**: 動作分析や技術的な詳細に精通している専門家。
- **トレーナーまたはコーチ**: ユーザーのフォーム改善を支援するための実践的なアドバイスを提供できる経験豊富なトレーナー。

### 出力フォーマット
出力は、ユーザーが実施するべき改善点のリストとして整理されます。例えば、以下のような形式が考えられます。
リストを出力する際は、テーブル形式で表示します。
また、そのリストには熟練度　×　△　〇　の項目も追加してください。
```
改善提案リスト:
1. 姿勢の改善: 腰をもう少し低く保ち、背筋を伸ばすことで安定性を向上させます。
2. 動作の連続性: 動作の間に無駄な動きを減らし、よりスムーズな遷移を心がけます。
3. 技術的な誤りの修正: 正しいフォームで技術を実行するための具体的なステップや練習方法を提案します。

各提案は、ユーザーが理解しやすいように具体的なアクションアイテムを含むべきです。また、ビジュアルエイドや参考動画のリンクを提供することで、ユーザーが正しいフォームを理解しやすくなるでしょう。
```

初めは動画から一発で、アドバイスさせようとしましたがうまくいかず・・・。
なのである程度のステップを挟ませております。

こういうのって印刷して現場で紙で使いたいよねって人もいると思いCSV形式で出力までしてくれる、まさにできるトレーナーさん

今後の課題

やはり精度をあげていくことに尽きると感じます。
GPTならではのとんちんかん評価をしちゃったり、動画の大きさやタイプによって作動しなかったりする部分をどう制御していくか。

Pythonのコード磨きや外部APIとの接続を考える必要があると感じます。

あと、やはり工数は減らしたい。

動画を読み込ませる
↓
ZIP形式で8枚の画像を抽出
↓
抽出された複数枚の動画を再度、読み込ませる

この辺りを手数を減らしてスマートに処理できればもっとかっこいいのになぁと。。。
何かヒント知ってる方いましたら教えてくださると幸いです。

ＧＭＯ主催のGPTsハッカソンに参加してみて

成果物の提出方法はＧＭＯさんの教えてAＩにとのことで、名前は知っていて自分のGＰＴｓも出したいなぁなんて思っていたのもあり登録できてよかったです。

今まで作ったGPTsをアップデートしてどんどん投下していこうかと思います。
こういった機会を得られるのもオフライン参加のいいところだったりします。

ほら、登録するだけの簡単な作業こそ、人間なかなかきっかけがないとやらないわけで・・・ｗ

とこんな感じに今回のハッカソンのレポート＆成果物紹介になります！

いやぁ、何より楽しくモチベが上がりました。
イベントが終わるやいなや早く晩御飯食べてGPTいじろう！って家に帰っていじりっぱなしでした。

アイデアを形にできることの素晴らしさ、楽しさを知るいい機会をありがとうございました！

どんどん開発していくぞーーーーーーー！

初心者向けに動画撮ってます！！ぜひ観てください～～！！
チャンネル登録＆いいね！！してくれると泣いて喜びます！！！


この記事が参加している募集

#仕事について話そう

115,030件

#GPTsつくってみた

1,770件