AIが献立を提案？！ChatGPT4oでスーパーのチラシを解析してみた

1. はじめに

こんにちは❗Naoと申します。
大手メーカーでChatGPTの社内講師を担当しています。

5月14日にChatGPTが大幅にアップデートされ、頭の良いモデル「ChatGPT-4o」が無料で使えるようになりました❗

ChatGPT-4oは従来モデルよりも画像認識精度に優れています。

そこで、以下のことを考えました。

スーパーのチラシの写真から、ChatGPTが買い物リストと献立表を考えてくれたら、物凄く便利じゃない？👀

そこで、本記事で検証してみたいと思います❗

ChatGPT-4oの実力と限界を実感して頂けたら嬉しいです✨

本記事の対象者

✅ChatGPTに興味がある方
✅ChatGPTを何に使ってよいか分からない方

<参考>
ChatGPTの設定がまだの方は、以下の記事から設定が可能です。
⭕PCでの設定→こちら
⭕スマホでの設定→こちら

2. 検証方法

以下のチラシを使います。

野菜、魚、お肉など色々掲載されています✨
ChatGPTに、以下の順番で質問してみます。

✅①何の画像か聞いてみる

✅②商品の値段について質問

✅③商品と値段の一覧表を作成

✅④チラシの商品を使った献立の作成

✅⑤買い物リストの提案

✅⑥予算と家族の人数を決めて、献立と買い物リストを作成


どこまでできるのか、楽しみです❗

3.検証

まずはChatGPTにチラシを読み込ませます。

✅①添付ファイルボタンをクリック

✅②チラシの画像を選択し、「開く」をクリック

✅③画像がChatGPTに添付される

✅④プロンプトにメッセージを入れる！
準備が整ったので、色々と聞いてみましょう❗

①何の画像か聞いてみる

---------------------------------------------------------------------
Nao🧑🏻‍💻「これは何の画像ですか？」

ChatGPT⚙️：「これは日本のスーパーのチラシの画像です。このチラシには、様々な食品や日用品の特売情報が掲載されています。例えば、野菜や果物、魚、肉、乳製品、冷凍食品、飲料などが特価で販売されています。価格は主に95円や295円などで表示されており、お買い得な商品がたくさん紹介されています。」
---------------------------------------------------------------------

素晴らしい❗
画像が日本のスーパーのチラシであることを理解し、価格まで教えてくれました。期待が持てますね〜👀

②商品の値段を聞いてみる

---------------------------------------------------------------------
Nao🧑🏻‍💻「豚肉の切り落としと、ブリの切り身の値段を教えて下さい」

ChatGPT⚙️：「豚肉の切り落としとブリの切り身の値段は以下の通りです：

豚肉の切り落とし: 100グラムあたり95円

ブリの切り身: 100グラムあたり193円

もし他の商品や詳細について知りたい場合は、お知らせください。」
---------------------------------------------------------------------

あらら？？

豚肉の切り落としは正解ですが、ブリの切り身は1パック395円ですね💦

そこで、もう1回ChatGPTに聞き直してみます。

---------------------------------------------------------------------
Nao🧑🏻‍💻「本当ですか？」

ChatGPT⚙️：「それでは、もう一度画像を確認して、正確な情報をお伝えします。

豚肉の切り落とし: 画像の中央やや右下に「豚肉切り落とし」の記載があり、100グラムあたりの値段は 95円 です。

ブリの切り身: 画像の右上に「ブリの切り身」の記載があり、100グラムあたりの値段は 95円 です。

前の回答のブリの値段について誤りがありましたことをお詫び申し上げます。」
---------------------------------------------------------------------

豚肉の切り落としは画面右上、ブリの切り身は画面右下です。

何を見て答えているか分からないですね💦

ChatGPTにはよくあることですが、1回間違えると聞き直しても間違えた答えを返すことが多いです😅

画像解析の進歩は素晴らしいですが、まだ正確な文字・数字の読み取りには至っていないようです。

チラシの文字は日本語で手書き風なので、AIには読み取りづらいのかもしれませんね…

③商品の名前と値段の一覧表を作ってもらう

ChatGPTがどこまで正確に値段を把握しているのか確認するため、商品の一覧表を作ってもらいましょう。

---------------------------------------------------------------------
Nao🧑🏻‍💻「このチラシに掲載されている商品と価格の一覧表を作り、表形式で出力して下さい」

ChatGPT⚙️：「以下の表に、チラシに掲載されている商品と価格の一覧をまとめました。

---------------------------------------------------------------------

チラシには約50個の商品が掲載されていますが、ChatGPTが出してきたのは16個です。そして、その大半が間違っています…

これがAIのハルシネーション（幻覚）です。

一見矛盾が無いので気づきにくいですが、回答に嘘や間違いが紛れ込んでいることがあります。ChatGPTに限らず、生成AIを利用される際には十分ご注意下さい🙏

この読み取り精度では、献立や、買い物リストも作るのは難しいです💦

そこで以降の検証では、私が作成した正しい商品の価格の一覧表を使って、献立と買い物リストをChatGPTに考えてもらうことにします❗

正しい買い物リストは以下の通りです。

④チラシの商品を使った献立の作成

上で示した表をGPTに読み込ませ、献立を考えてもらいましょう❗

---------------------------------------------------------------------

Nao🧑🏻‍💻「このリストから、4人家族の夕食の献立を3日分考えて
1食につき、主菜1品と副菜3品をつけ、3日で献立が重複しないようにして」

ChatGPT⚙️：「以下は、主菜1品と副菜3品を含む献立を3日分作成します。

献立提案

1日目
主菜: 牛切り落とし（牛丼風）
副菜1: トマトときゅうりのサラダ
副菜2: えのきだけと小松菜のおひたし
副菜3: ぶなしめじと生姜の炒め物

2日目
主菜: 銀鮭切り身（塩焼き）
副菜1: なすの炒め物
副菜2: 洗いサントリーほうれんそうのおひたし🌀
副菜3: ミニトマトと台湾パクチーのサラダ🌀

3日目
主菜: 豚カツ切り身（とんかつ）
副菜1: エリンギスライスとピーマンの炒め物
副菜2: 大葱とハルイチゴのサラダ🌀
副菜3: 真イカの炒め物🌀

※🌀は買い物リストから作れないレシピ

---------------------------------------------------------------------

12レシピ中、8レシピは実際に作れるものでした😊

全て信じなければ、十分参考になりそうですね👀

⑤買い物リストの提案

では、④に続いて買い物リストを作ってもらいましょう❗

---------------------------------------------------------------------

Nao🧑🏻‍💻「素晴らしい❗この献立を作るための買い物リストを作って」

ChatGPT⚙️：「買い物リスト

※🌀はリストに載っていないもの

野菜

トマト：1個（95円）
きゅうり：2本（95円）
小松菜：1束（95円）
生姜：1パック（95円）
ぶなしめじ：1袋（95円）
えのきだけ：1袋（95円）
なす：1袋（195円）
ミニトマト：1パック（95円）
🌀台湾パクチー：1袋（195円）
🌀洗いサントリーほうれんそう：1袋（95円）
🌀大葱：1束（95円）
🌀ハルイチゴ：1束（95円）
ピーマン：1袋（95円）
エリンギスライス：150g（95円）

銀鮭切り身：2切れ（295円）
🌀真イカ：1尾（195円）

牛切り落とし：100g（195円）
豚カツ切り身：3切れ（395円）

合計金額

95円 x 10 = 950円
195円 x 5 = 975円
295円 x 1 = 295円
395円 x 1 = 395円

総計：950円 + 975円 + 295円 + 395円 = 2615円

このリストをもとにスーパーでお買い物をすれば、3日分の夕食の献立が準備できます。素敵な食事をお楽しみください！
---------------------------------------------------------------------

買い物リストをしっかり作ってくれました✨
合計金額も出してくれて、凄いです❗

でも、よく見るとツッコミどころが満載です💦

🌀台湾パクチー、大葱、ハルイチゴはリストに無い
🌀洗いサントリーほうれん草って何❓😅
🌀家族4人分の牛切り落としが100g❗❓
🌀家族4人分の銀鮭が2切れ❗❓

などなど
かなり小食な家族なようです笑

参考にするのは良いですが、信じてそのまま買い物すると痛い目を見そうですね👀

※今回は適当なプロンプトなので、工夫すれば実用レベルのものができるとは思います※

⑥予算と家族の人数を決めて、献立と買い物リストを作成

最後のステップです。
⑤では予算が2650円でしたが、2300円に抑えてもらいましょう❗

---------------------------------------------------------------------

Nao🧑🏻‍💻「予算2300円で、4人家族の夕食の献立を3日分考えてくれない？
買い物リストもお願い！」

ChatGPT⚙️：

予算2300円で、4人家族の夕食の献立を3日分考え、買い物リストを作成します。

献立提案

主菜: 豚切り落とし（生姜焼き）
副菜1: トマトときゅうりのサラダ
副菜2: 小松菜のおひたし
副菜3: えのきだけとぶなしめじの炒め物

主菜: 銀鮭切り身（塩焼き）
副菜1: なすの炒め物
副菜2: ミニトマトと台湾パクチーのサラダ
副菜3: 大葱の味噌汁

主菜: 豚カツ（とんかつ）
副菜1: キャベツの千切り
副菜2: ピーマンとエリンギスライスの炒め物
副菜3: 新玉ねぎと洗いサントリーほうれんそうのサラダ

買い物リストと価格

トマト：1個（95円）
きゅうり：2本（95円）
小松菜：1束（95円）
えのきだけ：1袋（95円）
ぶなしめじ：1袋（95円）
なす：1袋（195円）
ミニトマト：1パック（95円）
台湾パクチー：1袋（100g、95円）
大葱：1束（95円）
キャベツ：1/2カット（95円）
ピーマン：1袋（95円）
エリンギスライス：150g（95円）
新玉ねぎ：1個（95円）
洗いサントリーほうれんそう：1袋（95円）

銀鮭切り身：2切れ（295円）

豚切り落とし：100g（95円）
豚カツ切り身：3切れ（395円）

合計金額

95円 x 13 = 1235円195円 x 1 = 195円295円 x 1 = 295円395円 x 1 = 395円

総計：1235円 + 195円 + 295円 + 395円 = 2120円

これで予算2300円以内に収まりました。

---------------------------------------------------------------------

一応、指示通りのものができました👍
一家が小食過ぎる問題は残っていますが、GPTが十分に仕事ができることは分かりました😊

4. 検証結果まとめ

⭕良かった点

・チラシを「日本のスーパーのチラシ」と認識できた
・こちらの指示を理解して、使える献立を提案してきた
・献立に合った買い物リストを作成できた
・買い物の合計金額も、指示に合わせてくれた

🌀悪かった点

・チラシに掲載された品物と値段が十分に読み取れなかった
・チラシに載っていない品物から献立を作った
・買い物の量が少なすぎた

チラシ読み取りの部分は、GPT自体の改善が必要ですね💦
でも、他の項目はプロンプトの工夫で十分に実用的になりそうです👀

今後に期待です❗❗

5. 終わりに

いかがでしたでしょうか？

凄い性能を持つChatGPT-4oですが、日本語の読み取り精度や、一般常識の理解にまだまだ課題があることが分かりました。

でも、私は工夫次第で献立の立案に使えそうだと感じました😊

本記事をきっかけに、ChatGPTデビューをして下さる方がいたら嬉しいです✨

もし参考になったら、レビュー・いいねを頂けると非常に喜びます❗❗

他にも以下の記事を投稿しています。

宜しければご覧ください🙇‍♂️

ChatGPT関連の主な記事

ChatGPTの利用例

①【大公開❗】楽しく学ぶChatGPT初心者セミナー【リベシティを題材に】

②【初心者〜中級者向け】ChatGPTを本業/副業で活用する方法【セミナー資料】

ChatGPTの設定

【PC】超簡単！GoogleアカウントでChatGPTの初期設定をしよう❗【Mac対応】

【スマホ】簡単設定！スマホで使うChatGPT4o完全ガイド【メルカリ出品も解説！】

便利な拡張機能など

①【ChatGPT】間違えてEnterを押してしまう方へ【拡張機能で解決！】

②もう悩まない❗プロンプト入力の手間を激減する神機能を紹介【ChatGPT】

③【期間限定？】GMOの出血大サービス！有料AIを無料で使い倒せるチャンス

その他の記事はこちらでジャンル別にご確認頂けます✨