【Python】食事画像アップロードでカロリー計算ができるアプリを作ってみた【Gemini Flash】

最近話題の Gemini 、皆さん使っていますか？

今回は、Gemini の中でも高速処理が可能な Gemini Flash を用いて、画像をアップロードするだけでカロリー計算ができるウェブアプリを Streamlit で作成してみました。

なぜGemini Flash？

GeminiはGoogle DeepMindが開発したマルチモーダルAIで、テキストだけでなく、画像や音声も理解できるのが特徴です。その中でも、Gemini Flash は高速処理に最適化されたモデルで、ChatGPT 3.5 Turbo よりも低コストで利用できる点が魅力です。

アプリの仕組み

アプリの動作は非常にシンプルです。

1. ユーザーが食事の画像をアップロードします。

2. アップロードされた画像は一時的にサーバーに保存されます。

3. Gemini Flash APIに画像とカロリー計算を指示する英語のプロンプトを送信します。※日本語ではうまくいきませんでした。

4. Gemini Flash APIは画像を解析し、JSON形式で食材名とカロリーを返します。

5. アプリはJSONデータをPythonの辞書型に変換し、合計カロリーを計算します。（カロリーは目安になります。）

6. 合計カロリーと設定したカロリー上限との差分を計算し、結果を画面に表示します。

アプリ画面

Google API keyの取得

ブラウザでGoogle AI Studioのページに行き、左上のGet API keyからGoogle API keyの取得。何かに一旦コピーしておく。

Google AI Studioの画面