スケーリング則とは

スケーリング則は、AIを大きくするほど、性能が予測できる形でなめらかに上がっていくという経験則です。ここでいう「大きくする」には3つの意味があります。モデルの大きさ（パラメーター数）、学習させるデータの量、学習に使う計算の量です。人間にたとえると、脳の大きさ、読んだ本の量、勉強した時間にあたります。

AI企業が巨額を投じて巨大なデータセンターを建てている背景には、この考え方があります。「これだけ投資すれば、これくらい賢くなる」と、作る前に見込めるからです。ただし、物理法則のように証明されたものではありません。実験してみたら、きれいな傾向が出たという観察に基づくもので、どこまで続くかは分かっていません。

2020年の発見：規模と性能の関係が「線」で予測できる

スケーリング則が広く知られるきっかけは、2020年に OpenAI の研究チーム（Kaplan ら）が発表した論文です。大きさの違うモデルを多数学習させたところ、モデルの大きさ、データ量、計算量を増やすほど、AIの予測の誤差が決まったペースで減っていくことが分かりました。

この関係は、横軸を10倍、100倍、1,000倍と増える目盛りにしたグラフで、ほぼ直線になります。論文によると、その傾向は7桁以上（1,000万倍以上）の範囲にわたって続いていました。一方で、モデルの層の深さや幅といった設計の細部は、広い範囲で性能にあまり影響しないことも示されています。

ビジネスの観点で大きかったのは、小さなモデルで実験すれば、大きなモデルの性能を作る前に予測できるようになったことです。巨額の学習費用がかかる投資でも、根拠を持って判断できるようになりました。動画では、GPT-3 やその後の大規模モデルは、まさにこの考え方の上に作られたと述べています。

2022年の修正：大きさとデータ量はバランスよく

2022年、Google DeepMind の研究チーム（Hoffmann ら）が重要な修正を発表しました。それまでの大規模モデルは、大きさに比べて学習データが足りていなかったという指摘です。

同じ計算量で、モデルを4分の1の大きさにし、その分データを約4倍読ませた Chinchilla は、より大きな Gopher を上回りました。論文は、計算量を最適に使うには、モデルの大きさとデータ量を同じ割合で増やすべきだと結論づけています。モデルを2倍にするなら、データも2倍にするということです。Chinchilla の場合、1パラメーターあたり約20トークンのデータを読ませた計算になり、この比率はその後の目安としてよく引用されます。

脳だけ大きくしても、本を読まなければ賢くならない。大きさとデータのバランスが大事だということが、この研究で明確になりました。

2024年以降：答えるときに「考える時間」という新しい軸

2024年頃から、スケーリングにはもう1つの軸が加わりました。答える前に考える時間です。OpenAI は2024年9月に推論モデル o1 を発表し、学習時の計算を増やすほど、また答えるときに考える時間を長くするほど、性能が一貫して上がると報告しました。数学やプログラミングの難しい問題で、その効果がはっきり表れています。

今の多くのAIサービスで「じっくり考えるモード」を選べるのは、この流れを受けたものです。学習のときにお金をかけるだけでなく、使うときにも計算をかければ賢くなる。スケーリングの考え方が、学習から推論（AIを使う段階）へと広がってきたといえます。

限界はどこにあるのか：3つの壁

スケーリングが無限に続くわけではありません。動画では、よく挙げられる壁として次の3つを紹介しています。

1. データの壁。 ネット上の質の高い文章には限りがあります。研究機関 Epoch AI の研究者らは、今のペースが続けば、2026年から2032年の間に、学習データの量が人間が書いた公開テキストの総量に並ぶと予測しています。AIが生成したデータで学習させるなどの工夫が必要になります。
2. 電力とコストの壁。 国際エネルギー機関（IEA）は、世界のデータセンターの電力消費が2030年に約945テラワット時に達し、今の日本全体の電力消費とほぼ同じ規模になると見込んでいます。米国では、2030年までの電力需要の伸びの半分近くをデータセンターが占める見通しです。
3. 伸び方そのものの壁。 スケーリング則は、少し良くするのに何倍もの資源が要るという性質を持っています。10倍の投資をしても、劇的に変わるとは限りません。

こうした理由から、専門家の間でも「スケーリングはまだ続く」という見方と「そろそろ限界に近い」という見方が分かれています。

経営者・事業責任者はどう捉えるか

動画では、ビジネスの視点として次の3つを挙げています。

1. AIはまだしばらく良くなり続ける前提で計画する。 主要なAI企業は、数か月ごとに新しいモデルを出しています。動画では、2023年の ChatGPT と今とでは、できることが比べものにならないと述べています。今のAIではうまくいかない業務も、1年後には普通にできるかもしれません。「半年後、1年後に何ができるようになっているか」を前提に導入を進め、モデルを差し替えやすい仕組みにしておくとよいでしょう。

2. 賢いモデルほど高くて遅いと理解し、使い分ける。 すべての仕事に最上位のモデルを使うと、費用がかさみ、応答も遅くなります。簡単な定型作業は小さく速いモデルに、難しい判断は大きなモデルや「じっくり考えるモード」に任せる。この使い分けが、コストと品質を両立させる基本です。

3. AI企業の巨額投資のニュースを読む物差しにする。 データセンターや半導体への大型投資は、スケーリング則が続くことに賭けた判断です。動画の運営者は、こうしたニュースを「スケーリング則に賭けているから、これだけの資金が必要なのだ」と読むことを勧めています。同時に、データや電力の壁がある以上、その賭けが外れる可能性もあることを頭に置いておきましょう。

スケーリング則は、AIの進化の速さを見積もるための、いちばん基本的な手がかりです。ただし、どこまで続くかは誰にも分かっていません。将来の性能向上に期待しつつ、今の性能で成り立つ使い方から始めるのが現実的な姿勢です。