Claude Fable 5.1 と GPT-6 Astra を提案書作成で比較：品質は横並び、費用と速さで差が出た

本稿は、YouTube「fussa | AI自動化」の運営者が行った提案書作成の比較検証を整理したものです。Anthropic の Claude Fable 5.1、OpenAI の GPT-6 Astra と Sol の3モデルに同じ指示で日本語の提案書を作らせ、別のAIに採点させました。前回の動画で行った Astra と Sol の比較に、Fable を加えた第2弾にあたります。

結論は意外なものでした。推論の強さをそろえると、3モデルの品質スコアはほぼ横並びになりました。差が出たのは費用と時間で、Fable は Astra の約3分の1の費用、4分の1以下の時間で提案書を仕上げています。費用対効果で最もよかったのは Sol で、運営者は「提案書作成のために急いで上位プランを契約する必要はない」と見ています。

比べた2つの上位モデル

まず公式の情報で、今回の主役である2モデルを整理します。

Fable 5.1 は Anthropic が一般向けに出している中で最も性能の高いモデルです。Anthropic は、長時間のエージェント型コーディングや複数段階の調べもののほか、文書・表計算・スライドの作成が強くなったとしています。Claude のアプリでは有料の全プランで使えますが、利用料が月額に含まれるのは Max プランと、Team・Enterprise の上位席に限られます。Pro などでは、月額とは別の従量課金で払う形になります。

GPT-6 Astra は OpenAI の最上位モデルで、コンピューター操作やコーディング、専門業務を得意とします。公開時点で ChatGPT の Pro、Enterprise、Business Premium と API で使えるようになり、Plus と Business にも広げると発表されました。

注目したいのは、両者の API 単価が同じことです。1トークンあたりの値段に差はないので、実際の費用はモデルがどれだけトークンを使うかで決まります。今回の検証でも、この点が結果を大きく分けました。

なお、動画は Sol の版を明示していません。動画の公開日（9月10日）の時点で OpenAI が API で提供していた Sol は GPT-5.6 Sol で、料金は入力100万トークン4ドル・出力20ドルでした。後継の GPT-6 Sol が出たのは9月22日です。

検証の方法：3ページの提案書を別のAIが採点

お題は、建設会社に現場報告用の SaaS の試験導入を提案する3ページの提案書です。前回の動画と同じ内容にしています。

手順は次のとおりです。

1. 同じ指示文を3モデルに渡し、スライド形式の提案書を作らせる。
2. 推論の強さ（エフォート）を high・medium・low の3段階で変えて試す。
3. できたスライドを、別のレビュー用AIが100点満点で採点する。

採点の内訳は、内容15点、数値25点、根拠15点、試験設計15点、レイアウト15点、デザイン性15点です。実務で使える水準とみなす「実務合格」には、80点以上であることに加え、重大な誤りが0件、全ページで文字の切れや重なりが0件であることを求めました。

結果：品質は横並び、費用と時間は大きく違った

推論の強さが同じなら、3モデルのスコアはほぼ同じでした。low では Astra だけがなぜか低めに出ましたが、全体として大きな差はありません。運営者は、OpenAI と Anthropic が互いを意識してモデルを作っている以上、似たスコアになるのはある意味当然だと述べています。

一方、費用と時間には大きな開きが出ました。いずれも high で比べた運営者の測定値は次のとおりです。

Astra は Fable の3倍近いトークンを使い、時間も4倍以上かかりました。単価が同じなので、そのまま費用の差になっています。運営者は、Astra は Fable より安くて性能がよいと受け止めていたものの、日本語の提案書作成では3モデルで最も高くついたと述べています。処理時間でも、Fable が Sol より速いという意外な結果になりました。

Fable について推論の強さ別に見ると、次のようになります。

high と low の費用差は30円ほどしかありません。運営者は、推論の強さを下げても費用があまり下がらない点を、OpenAI のモデルとの違いとして挙げています。今回の検証全体で実務合格したのは high の設定だけで、検証にかかった費用は合計665円でした。

スライドの見た目：数値に表れない差

運営者は、実務合格した high の3つを1ページずつ見比べています。以下は運営者の評価です。

• 1ページ目。 Astra は人が作った資料には及びませんが、手直しすれば実用になる水準です。Sol はテンプレートらしさが否めないものの、整っていて文字の詰め方も悪くありません。Fable はパネルが6枚並び、どこを見ればよいか分かりにくくなっています。承認してほしい事項をもっと目立たせてほしいとのことです。
• 2ページ目。 Astra のグラフはコンサルティング会社の資料のようで評価が高いです。Fable はグラフの数が多く、見どころが分かりにくくなっています。考える時間が短かったため、グラフをまず並べる方針に早く決めたのではないかと運営者は見ています。
• 3ページ目。 ここは Fable が最も見やすいです。Astra は表を5列にしていて文字も多めです。Fable は3列で簡潔で、担当も分けて書かれています。ただし、改行の位置が甘く、「件」の1文字だけが次の行に送られるなど、人なら普通は避ける粗さが残っています。

ページごとに良し悪しはありますが、並べると全体ではおおむね横並びというのが運営者の評価です。

採点したAIは Fable について、文字の切れや重なりはなく、配色や図表の対応も明瞭だとしました。一方で、文字の密度が高いこと、カードと表を並べた定型的な構成であることを減点の理由に挙げています。運営者はこの指摘自体は妥当としつつ、90点台は甘く、実際は80点に届くかどうかだと見ています。レビュー用AIの採点基準は今後見直すそうです。

どれを選ぶべきか：状況別の判断

運営者の結論は前回と変わらず、費用対効果で見れば Sol です。検証結果と運営者の見方をもとに、状況別に整理します。

運営者は、上位プランを契約しておらず Fable や Astra を使えない人が、提案書作成のために急いで契約する必要はないと述べています。少なくともこの業務では、投資に見合うだけの差は出なかったからです。

一方で、最先端のモデルに触れ続けること自体には価値があるとも述べています。定額の範囲内で使えるなら、とりあえず上位モデルで動かすのも悪くない選択だといいます。

経営者・事業責任者は何を考えるべきか

今回の検証から、AIで文書を作る業務を考えるうえでの判断材料が3つ見えてきます。

1. 単価ではなく1件あたりの費用で比べる。 Fable と Astra は単価が同じでも、同じ提案書1件の費用は約3倍違いました。モデルを選ぶときは、自社の業務で実際に試し、1件あたりの費用と時間を測る必要があります。
2. 長い文書は推論を強めにする。 提案書のように、長い前提を読み込んで長い文章を出す業務では、実務合格したのは high だけでした。推論を弱めて節約しても、品質が足りなければ意味がありません。
3. AIの採点をうのみにしない。 レビュー用AIは Fable に90点台を付けましたが、運営者の目では80点前後でした。AIに評価させる仕組みを作るなら、人が採点基準を点検し続ける必要があります。

運営者は、AIをいずれ定額では使えなくなる世界を見越して、費用対効果を常に把握しておく立場を取っています。どのモデルが一番賢いかより、自社の業務でいくらかかり、どこまで任せられるかを測っておくことが、モデルの入れ替わりが速い今の時期には重要だと見ています。