ChatGPT最新版「o1-preview」でFP３級を受けてみた【頭良すぎて震える】

１．はじめに

こんにちは❗Naoです。
本業はChatGPTの講師で、趣味は家計管理です✨

話題のChatGPTを使っている方、多いのではないでしょうか？

2024年9月14日に、新しいモデル「GPT o1-preview」が、課金ユーザー向けに公開されました👀

Open AIの公式ページによれば、GPT o1は以下の特徴があります。

⭕応答する前に深く考えることで、より難しい問題を解決できる

⭕特に科学・プログラミング・数学に強い

⭕分野によっては、博士号を持っている人間を上回る知識を持つ

そこで前回の記事では、o1-previewと従来のモデル 「GPT-4o」が東大の入試問題を解けるか検証しました。

本記事では、より身近なFP３級の問題に挑戦してもらいました❗

結論

✅GPT o1-previewは59点/60点で合格🎉🎉🎉

✅GPT-4oは48点/60点で合格🎉🎉🎉

✅o1-previewは知っていることを出力できる可能性が高い。応答する前に深く考えるから？

各AIの得意、不得意を、楽しみながら実感頂けたら嬉しいです🙏

2．検証方法

2.1. 試験問題

日本FP協会のHPで公開されている、2024年5月のCBT方式の学科試験問題を利用しました。→こちら

2.2. AIのモデル

✅GPT o1-preview　（最新モデル）
✅GPT-4o（従来モデル）

の２つのAIで挑戦しました。

2.3. プロンプトの入力方法

⭕問1〜問30の正誤問題は、以下のようなプロンプトで指示を出しました。

＃命令
以下は日本のファイナンシャルプランナーの問題です。
各問の質問に◯または×で解答し、根拠も教えて下さい

#問
問１
ファイナンシャル・プランナーは、職業倫理上、顧客情報に関する守秘義務を厳守しなければならない。
…これを問30まで一気に送信

⭕問31〜問60の選択問題は、以下のようなプロンプトで指示を出しました。

＃命令
以下は日本のファイナンシャルプランナーの問題です。
各問の解答を3つの選択肢から選び、数字で答えてください。
根拠も教えて下さい

問31
一定の利率で複利運用しながら一定期間経過後に目標とする額を得るために必要な毎年の積立額を試算する際、目標とする額に乗じる係数は、（ ）である。
現価係数
資本回収係数
減債基金係数
…これを問60まで一気に送信

🌀o1-previewは図が読めないので、問57の親族関係図は文章で説明して指示しました。

シンプルなプロンプトなので、ご興味ある方はぜひお試しください😊

3．結果

各問の正解とGPT-4oの解答結果、GPT o1-previewの解答結果を表で示します。60点満点中で36点とれば合格です。

結果は…
✅GPT-4oは48点で合格🎉🎉🎉
✅GPT o1-previewは59点で合格🎉🎉🎉
でした❗❗素晴らしい〜👏

4．考察

GPT達が間違えた問題をおさらいし、AIの課題やモデルの違いを考察したいと思います👍

4.1. o1-previewが間違えた問題

o1-previewは１問だけ間違えていました。この問題はGPT-4oも間違っています👀

正解は…×です。

正しくは、年齢が「20歳以上60歳未満」です❗
基本的な知識問題で、検索すればすぐに分かります。

ChatGPTがこれを知らないのは不思議です…🤔

そこで、別のチャットで聞いてみました。

Nao🧑🏻‍💻「国民年金の第１号被保険者の定義は？」

GPT-4o⚙️「以下の条件に該当する日本国内に住む20歳以上60歳未満の人を指します：（以下略）…」

やっぱり知ってました😅

知識としては知っているのに、質問されるとうまく答えられない場合もあるのですね。人間みたいです。

このように、生成AIは簡単な問題でも間違う可能性があります。100%信じず、重要な情報は自分で確認するのが大切です❗

4.2. 4oは間違えたが、o1-previewが正解した問題

GPT-4oが間違え、GPT o1-previewが正解した問題を見て、モデルが進化した点を確認したいと思います😊

正解は⭕です。

GPT-4oは間違えていますが、他のチャットで同じ質問をするとちゃんと正答してきます。先ほど4.1.で見たように、「知識としては知っているのに、質問されるとうまく答えられない」ということがGPT-4oにはよくあります。
GPT o1になり、この不具合が大きく解消された結果、得点が大きく伸びたと思われます❗

もう１問見てみたいと思います。

①6,000万円、 ② 9,000万円、 ③1億2,300万円 

正解は③の1億2,300万円です。

GPT-4oの解答を見てみましょう👀ちゃんと1億2,300万円と計算しているのに、なぜか②の9000万円を選んでいます。

o1-previewはこのようなことはありません。出力する前に考えるため、人間で言うケアレスミスが減っているのだと考えています👍

5．おわりに

いかがでしたでしょうか？

今回の検証で、以下のことがわかりました。

✅GPT o1-previewは59点/60点で合格🎉🎉🎉

✅GPT-4oは48点/60点で合格🎉🎉🎉

✅o1-previewは知っていることを出力できる可能性が高い。応答する前に深く考えるから？

o1-previewは問題を解くのにかなり使えそうです❗

課金ユーザーの方は、ぜひお試し頂ければと思います😊

他にも以下の記事を投稿しています。

宜しければご覧ください🙇‍♂️

①【AIは東大に入れるか】衝撃の実力！ChatGPT最新モデルで東大入試に挑戦してみた

②AIが献立を提案？！ChatGPT4oでスーパーのチラシを解析してみた

③ハマる人続出？ChatGPT4oでキャバクラを完全再現!【想像以上のクオリティ】

④1枚じゃ足りない！ ChatGPTで複数枚の画像を生成する方法【驚愕のクオリティ】

⑤【驚きの進化！ChatGPTでパワポを作成する方法【画像も生成可】

その他の記事はこちらでジャンル別にご確認頂けます✨