ノーフリーランチ定理とは | 万能な手法は存在しない。では、なぜ手法を増やすだけでは解決しないのか

機械学習には、回帰分析、決定木、ランダムフォレスト、サポートベクターマシン、ニューラルネットワークなど、多数の手法があります。また、最適化には、勾配法、遺伝的アルゴリズム、焼きなまし法、粒子群最適化など、さまざまな方法が存在します。

こうした手法について、「どのアルゴリズムが最も優れているのか」という疑問が生じます。

しかし、ある問題で優れた性能を示した手法が、別の問題でも優れているとは限りません。

この問題について、数学的な条件を明確にしたうえで重要な結果を示したのが、ノーフリーランチ定理（No Free Lunch Theorem、NFL定理）です。

ノーフリーランチ定理は、特定の条件の下で、考えられるすべての問題に対する性能を平均すると、異なるアルゴリズムの間に優劣がなくなることを示します。

つまり、ある種類の問題で優れた性能を発揮するアルゴリズムがあっても、それだけでは、あらゆる問題に対して優れたアルゴリズムであるとはいえません。

しかし、この定理は誤解されやすいものです。

「万能なアルゴリズムが存在しない」ということから、「可能な限り多数のアルゴリズムを学び、使いこなさなければならない」という結論を導いてしまうかもしれません。

実際、機械学習や統計分析の世界では、次々と登場する新しい手法を追いかけ、多数のアルゴリズムを比較すること自体が目的になってしまう危険があります。

しかし、ノーフリーランチ定理は、多数の手法を使うべきだという定理ではありません。

むしろ重要なのは、なぜ特定の手法が特定の問題で有効なのかを理解することです。

現実の問題には、物理的な法則、時間的な連続性、変数間の関係、データの分布、業務上の制約などがあります。こうした問題固有の性質を理解することによって、適切な手法の候補を絞り込むことができます。

ノーフリーランチ定理は、アルゴリズムの種類を無制限に増やすことよりも、問題の構造と、手法が前提としている条件との適合性を考えることの重要性を示唆しています。

ノーフリーランチ定理の成立

ノーフリーランチ定理は、一つの定理ではなく、機械学習、探索、最適化などに関する一連の理論的結果を指します。

代表的な研究として、David H. Wolpertによる1996年の「The Lack of A Priori Distinctions Between Learning Algorithms」と、David H. WolpertおよびWilliam G. Macreadyによる1997年の「No Free Lunch Theorems for Optimization」があります。

1996年の研究では、学習アルゴリズムが、学習に利用したデータ以外の対象について、どの程度正しく予測できるかという問題が扱われました。

1997年の研究では、最適化問題において、異なる探索アルゴリズムの性能を比較するための数学的な枠組みが示されました。

両者は関連していますが、対象としている問題や数学的な定式化は同一ではありません。

ノーフリーランチという名称は、「ただで昼食を得ることはできない」という英語の表現に由来します。

ある手法が特定の問題で優れた性能を発揮するためには、その手法が利用している仮定や特性が、対象となる問題に適している必要があります。

問題の特性に関する情報をまったく利用せずに、あらゆる問題で優れた性能を得ることはできません。

ただし、この説明は定理の実践的な意味を要約したものです。厳密な数学的結果が成立するためには、問題の集合や確率分布、性能の評価方法などに条件が必要です。

最適化におけるノーフリーランチ定理

最適化とは、与えられた条件の下で、目的関数の値を最大化または最小化する解を探すことです。

例えば、製造工程において、品質を維持しながら生産コストを最小化する条件を探すことができます。

また、機械部品の設計では、重量を減らしながら必要な強度を満たす形状を探索できます。

このような問題について、さまざまな最適化アルゴリズムを利用できます。

では、すべての最適化問題について、ほかの方法より常に優れたアルゴリズムを作れるのでしょうか。

WolpertとMacreadyの1997年の研究は、有限の探索空間について、すべての可能な目的関数を一様に扱うなどの条件の下では、異なる探索アルゴリズムの平均性能が等しくなることを示しました。

例えば、あるアルゴリズムが、なだらかに変化する目的関数について優れた探索性能を持っているとします。

しかし、すべての可能な目的関数を対象にすると、そのアルゴリズムが利用している「近くの点には似た値が存在する」という性質が成立しない問題も含まれます。

そうした問題まで区別せず平均すれば、特定のアルゴリズムの優位性は保証されません。

ここで重要なのは、最適化アルゴリズムが利用する規則性は、対象となる目的関数の側に対応する構造が存在するときに有効になるということです。

簡単な探索問題で考える

A、B、C、Dという四つの候補から、最も大きな値を持つ候補を探す問題を考えます。

ある問題では、次のような値を持っているとします。

候補	目的関数の値
A	9
B	7
C	1
D	0

この問題で、Aから順番に調べるアルゴリズムは、最初の一回で最も大きな値を発見できます。

一方、Dから順番に調べるアルゴリズムは、最初に最も小さな値を調べることになります。

ところが、別の問題では、次のようになっているかもしれません。

候補	目的関数の値
A	0
B	1
C	7
D	9

この場合、Dから調べるアルゴリズムの方が有利です。

つまり、探索の順序と目的関数の構造との関係によって、どちらが優れているかが変化します。

ただし、これら二つの例だけでノーフリーランチ定理が証明されるわけではありません。

定理では、可能な目的関数の集合全体を考え、一定の条件の下でアルゴリズムの性能を平均することによって、一般的な結果を導きます。

数学的には何が示されるのか

有限の探索空間を (\mathcal{X})、目的関数の値の集合を (\mathcal{Y}) とします。

目的関数は、

$$
f:\mathcal{X}\rightarrow\mathcal{Y}
$$

です。

すべての可能な目的関数の集合を、

$$
\mathcal{F}=\mathcal{Y}^{\mathcal{X}}
$$

と表します。

アルゴリズム (A) が、一定回数の探索を行ったときの性能を (M(A,f)) とします。

ここで、すべての関数を一様に扱い、各アルゴリズムが同じ回数だけ相異なる点を評価するなど、適切な条件を設定すると、任意のアルゴリズム (A) と (B) について、

$$
\frac{1}{|\mathcal{F}|}
\sum_{f\in\mathcal{F}}M(B,f)
$$

という関係が成立します。

これは、あらゆる可能な問題を一様に平均した場合、特定のアルゴリズムが平均性能で優位になるわけではないことを表しています。

例えば、各候補の値が0または1のどちらかで、可能な割り当てをすべて等確率で考えるとします。

すでに評価した点を再び評価せず、相異なる二つの候補を調べる場合、少なくとも一つの候補で値1を発見する確率は、

$$
1-\left(\frac12\right)^2=\frac34
$$

です。

この条件では、最初にどの候補を選ぶか、あるいは最初の結果に応じて二番目の候補をどう選ぶかによって、この確率を改善することはできません。

しかし、現実の問題において、各候補の値が完全に無関係で、あらゆる割り当てが等確率であるとは限りません。

例えば、近くの設計条件が似た性能を持つという構造があれば、その構造を利用する探索方法は有利になる可能性があります。

「すべての問題を平均する」という条件

ノーフリーランチ定理を理解するうえで、特に重要なのが、何について平均しているかという問題です。

最適化における代表的な定理では、有限の探索空間で定義できるすべての目的関数を一様に扱います。

しかし、現実の最適化問題は、そのようなすべての関数から無作為に選ばれているわけではありません。

例えば、機械設計の最適化では、材料の強度、形状、荷重などの間に物理的な関係があります。

製造条件の最適化では、温度、圧力、速度などが、製造工程の特性に従って結果へ影響します。

こうした目的関数は、物理的な制約や規則性を持っている場合があります。

一方、可能なすべての関数には、隣り合う点の値が何の規則性もなく変化するような関数も含まれます。

実際の問題を対象にする場合には、どのような目的関数が現れやすいのか、どのような構造が存在するのかを考えることができます。

そのような問題固有の情報を利用できるなら、特定のアルゴリズムが、ほかの方法より優れた結果を示すことは十分にあり得ます。

したがって、ノーフリーランチ定理は、現実のあらゆる問題において、すべてのアルゴリズムが同じ性能になると主張しているわけではありません。

すべての問題集合について成立するわけではない

ノーフリーランチ定理は、問題の集合を制限した場合にも、無条件に成立するものではありません。

例えば、特定の産業で実際に発生する問題だけを集めたとします。

その問題群に共通する構造が存在すれば、それを利用するアルゴリズムが平均的に有利になる可能性があります。

最適化におけるノーフリーランチ定理の成立条件については、その後も研究が進められました。

特に、目的関数の集合が、探索空間上の値の並べ替えに対して閉じていること（Closed Under Permutation）が、関連する結果の成立条件として重要であることが示されています。

IgelとToussaintは2004年の「A No-Free-Lunch Theorem for Non-Uniform Distributions of Target Functions」で、ノーフリーランチ定理が成立する関数集合の条件について研究しています。

これらの研究は、ノーフリーランチ定理を理解する際には、問題の集合や確率分布に関する仮定を明確にする必要があることを示しています。

単に「万能なアルゴリズムは存在しない」という標語だけで理解するのでは不十分です。

機械学習におけるノーフリーランチ定理

機械学習におけるノーフリーランチ定理では、過去のデータから学習したモデルが、未知のデータについてどの程度正しく予測できるかが問題になります。

例えば、ある分類アルゴリズムが、過去の顧客データから、顧客が商品を購入するかどうかを学習したとします。

しかし、過去に観測した顧客について正しく分類できたとしても、新しい顧客について正しく予測できるとは限りません。

過去の事例から未知の事例へ一般化するためには、何らかの規則性を仮定する必要があります。

例えば、「似た特徴を持つ顧客は、似た購買行動を示す傾向がある」という仮定です。

この仮定が対象となる市場で成立していれば、類似性を利用する学習方法は有効かもしれません。

しかし、類似した特徴を持つ顧客が、まったく異なる行動を示す場合には、同じ方法は有効でないかもしれません。

Wolpertの1996年の研究は、学習対象について仮定を置かない場合、ある学習アルゴリズムがほかの方法より一般的に優れているとはいえないことを論じました。

これは、機械学習における汎化（Generalization）の問題と密接に関係しています。

なぜ未知のデータを予測できるのか

機械学習では、有限の観測データから未知の事例について予測します。

しかし、有限のデータだけでは、未知の対象についてどのような結果が生じるかを、論理的に一意に決めることはできません。

例えば、次のような観測が得られたとします。

入力	観測された結果
1	2
2	4
3	6

このデータから、「結果は入力の2倍になる」という規則を考えられます。

したがって、入力4に対して8を予測できます。

しかし、観測された三つの点に一致しながら、入力4では100になる関数も数学的に構成できます。

つまり、観測データだけから、未知の点に対する値を一意に決めることはできません。

それにもかかわらず、私たちが予測できるのは、対象となる現象に何らかの規則性や連続性が存在すると考えているからです。

例えば、物理的な現象では、入力がわずかに変化しただけで結果が突然大きく変化するとは限りません。

もちろん、閾値や相転移などによって、不連続な変化が存在する場合もあります。

重要なのは、どのような規則性を仮定するかによって、適切な予測方法が変わることです。

帰納バイアスは必要なもの

機械学習では、特定の種類の規則性や仮説を、ほかのものより優先する性質を帰納バイアス（Inductive Bias）と呼びます。

例えば、線形回帰では、入力変数と出力の関係を、基本的に線形の関係として表現します。

決定木では、変数の値に基づいてデータを段階的に分割する規則を学習します。

ニューラルネットワークでは、ネットワークの構造、パラメータ、学習方法などによって、表現可能な関数や学習の進み方が変わります。

こうした手法には、それぞれ異なる前提や性質があります。

手法	利用する構造・前提の例
線形回帰	線形的な関係を基本としてモデル化する
決定木	変数の条件によってデータを分割する
k近傍法	近い対象は似た結果を持つという関係を利用する
正則化されたモデル	モデルの複雑さやパラメータの大きさを制約する
畳み込みニューラルネットワーク	局所的な空間構造や重みの共有を利用する

帰納バイアスという名称には「偏り」という言葉が含まれますが、これは必ずしも誤りを意味しません。

むしろ、有限のデータから未知の事例へ一般化するには、何らかの前提が必要です。

問題は、帰納バイアスを持つことではなく、そのバイアスが対象となる問題の構造に適合しているかどうかです。

ノーフリーランチ定理は手法の多様化を要求するのか

「どの手法も万能ではない」という結論を聞くと、多数の手法を準備しておく必要があると考えたくなります。

確かに、異なる性質の問題へ対応するために、複数の手法を利用できることは有益です。

しかし、ノーフリーランチ定理は、手法の数を増やせば問題が解決すると示しているわけではありません。

例えば、ある分析者が50種類の分類アルゴリズムを利用できるとします。

しかし、分析対象のデータにどのような特徴があり、何を予測する必要があるかを理解していなければ、どの手法を選ぶべきかを判断することは困難です。

また、50種類のアルゴリズムを実行して、最も高い正解率を示したものを選ぶだけでは、適切な分析にならない場合があります。

なぜなら、性能評価に偶然のばらつきが存在するためです。

多数の手法を比較すれば、偶然によって高い評価値を得る手法が現れる可能性があります。

その結果、実際の汎化性能よりも高く評価されたモデルを選んでしまうことがあります。

したがって、多数の手法を利用できることは能力の一部ですが、それだけでは十分ではありません。

必要なのは、手法の数ではなく、問題に適した手法を選択し、その性能を適切に評価する能力です。

手法を増やすこと自体が新しい問題を生む

機械学習や統計分析のソフトウェアには、多数の手法が搭載されています。

手法の選択肢が増えることには、明らかな利点があります。

従来は分析できなかった種類のデータや問題に対応できる可能性が広がるからです。

しかし、利用者の側では、別の問題が生じる場合があります。

第一に、それぞれの手法が前提としている条件を十分に理解することが難しくなります。

第二に、同じ目的に見える手法であっても、実際には異なる数学的な問題を解いていることがあります。

第三に、新しいアルゴリズムを使うこと自体が目的になり、分析対象の問題から注意が離れてしまう場合があります。

第四に、多数の手法を試した結果から都合のよいものだけを選ぶことで、分析結果の信頼性を損なう可能性があります。

第五に、手法の習得や比較に時間を費やし、分析によって得られた結果を実際の問題解決へ結びつける作業が不足する場合があります。

このような問題は、ノーフリーランチ定理によって数学的に証明される現象ではありません。

しかし、手法の選択肢が増えた分析環境において、実践上注意するべき問題です。

多数の手法を比較すると、過大評価が起こり得る

例えば、あるデータについて、10種類の分類モデルを比較するとします。

それぞれのモデルについて、検証データを使って正解率を推定します。

しかし、検証データから得られる正解率には、偶然のばらつきがあります。

あるモデルが、実際にはほかのモデルとほぼ同じ性能しか持っていなくても、たまたま高い評価値を示すかもしれません。

多数のモデルを比較して、最も高い評価値を得たモデルを選ぶと、その評価値には楽観的な偏りが生じる可能性があります。

さらに、同じテストデータを何度も利用してモデルを修正・選択すると、テストデータが実質的にモデル開発へ利用されたことになります。

その結果、最終的な性能評価が信頼できなくなる場合があります。

この問題は、モデル選択に伴う過学習（Overfitting in Model Selection）と関係します。

実務では、学習、モデル選択、最終評価に用いるデータを適切に分離することが重要です。

また、必要に応じて、ネストした交差検証（Nested Cross-Validation）などを利用できます。

scikit-learnの公式資料でも、モデルの選択と性能評価に同じデータを利用することによって、楽観的な性能評価が生じる問題が説明されています。

したがって、「多数の手法を比較すれば、最もよい方法を発見できる」という考え方には注意が必要です。

高度な手法ほど優れているのか

新しい機械学習アルゴリズムが登場すると、従来の方法よりも優れた性能を持つと紹介されることがあります。

もちろん、新しいアルゴリズムによって、実際に分析能力が向上する場合はあります。

しかし、あるベンチマークデータで高い性能を得たことが、すべての実務データについて優れた性能を保証するわけではありません。

David J. Handは2006年の「Classifier Technology and the Illusion of Progress」で、分類アルゴリズムの比較研究について、実際の問題に存在する不確実性や運用条件が十分に考慮されていない場合があることを論じました。

また、複雑な手法によって得られた性能の改善が、実務上のほかの不確実性と比べて小さい場合もあると指摘しています。

例えば、あるモデルの予測精度が90.1％で、別のモデルが90.5％だったとします。

この差が実務上重要であるかどうかは、評価データの規模、誤りの種類、データの変化、計算費用、運用上の制約などによって変わります。

また、複雑なモデルは、学習や運用に多くの資源を必要とする場合があります。

そのため、予測精度がわずかに高いという理由だけで、常に複雑なモデルを選ぶことが適切とは限りません。

ただし、医療や安全に関係する問題などでは、小さな性能差が重大な意味を持つ場合もあります。

重要なのは、モデルの複雑さや新しさではなく、対象となる問題に対して、どの程度の価値を提供するかということです。

少数の代表的な手法から始める

機械学習を実務へ利用する場合、最初から多数のアルゴリズムを試す必要はありません。

例えば、表形式の分類データを分析する場合、まず単純な基準モデルを設定できます。

次に、ロジスティック回帰や決定木など、性質の異なる代表的な手法を比較することが考えられます。

それらによって必要な性能が得られなければ、より複雑な方法や、別の仮定を持つ方法を検討します。

検討段階	主な目的
基準モデル	最低限どの程度の性能が得られるかを確認する
単純なモデル	基本的な関係でどの程度説明・予測できるか
性質の異なるモデル	異なる構造を仮定することで性能が改善するか
複雑なモデル	追加の計算や複雑さに見合う改善があるか
最終評価	未知のデータに対して必要な性能を満たすか

これは、どの問題でも三種類や四種類のモデルだけで十分だという意味ではありません。

問題の難しさ、求められる精度、データの規模などによって、比較するモデルの数は変わります。

しかし、最初からすべての手法を試すのではなく、問題の性質に基づいて候補を選び、必要に応じて比較範囲を広げる方が、合理的な場合があります。

問題の性質から手法を選ぶ

ノーフリーランチ定理の実践的な意味は、どのアルゴリズムを選択するかを、問題の性質から考えることにあります。

例えば、入力と出力の関係が比較的単純であると予想される場合には、線形モデルから始めることができます。

変数の条件によって結果が大きく変化する場合には、決定木などの方法が候補になります。

画像に局所的な空間構造が存在する場合には、その構造を利用するニューラルネットワークが有効な可能性があります。

時間的な順序が重要な問題では、時系列の構造を考慮した方法が必要になる場合があります。

問題の性質	検討する視点
線形的な関係が重要	線形モデル
条件分岐や変数間の相互作用が重要	決定木、木ベースのアンサンブル
画像などに局所的な構造がある	空間構造を利用するモデル
時間的な依存がある	時系列モデル、時間情報を扱う学習方法
正解ラベルがない	クラスタリング、次元削減など
少数の観測しかない	単純なモデル、正則化、事前知識の利用
解釈や説明が重要	解釈可能性を重視したモデルや分析方法

この表は、アルゴリズムを自動的に決定する規則ではありません。

同じ問題について、複数の手法が有効に働く場合もあります。

また、利用できるデータや評価基準によって、適切な選択が変わる可能性があります。

問題の性質から候補を絞り込み、実際のデータで評価することが重要です。

データの構造を理解することが先決

機械学習の実務では、アルゴリズムの選択に関心が集中しがちです。

しかし、分析結果の改善には、モデルの変更よりも、データの理解や前処理の改善が重要な場合があります。

例えば、欠損値の意味を理解せずに補完すると、実際には異常を示していた情報を失う可能性があります。

また、同じ顧客について複数の記録が存在しているのに、それらを独立した観測として扱うと、評価結果が不適切になる場合があります。

さらに、予測対象と関係する重要な変数が含まれていなければ、アルゴリズムを変更しても十分な性能を得られない可能性があります。

こうした問題は、アルゴリズムの数を増やすことでは解決しません。

むしろ、何を観測し、何を特徴として与え、どのような条件で予測したいかを理解することが必要です。

機械学習の民主化においても、手法の種類を学ぶことより、こうした基本を理解することが重要になります。

ノーフリーランチ定理とAutoML

AutoMLは、モデルの候補選択やパラメータ調整などを自動化する技術です。

AutoMLを利用すれば、分析者が多数のアルゴリズムを個別に実行しなくても、与えられたデータに対して複数のモデルを比較できます。

これは、機械学習を利用するための技術的な障壁を下げるものです。

しかし、AutoMLがノーフリーランチ定理の問題を解決するわけではありません。

AutoMLも、探索対象となるアルゴリズム、評価基準、探索方法、計算時間などについて、何らかの前提を持っています。

例えば、分類正解率を最大化するように設定した場合、その評価指標に従ってモデルを選択します。

しかし、実際の業務では、誤検知と見逃しの費用が異なるかもしれません。

また、予測精度だけでなく、計算時間、説明可能性、運用費用なども重要になる場合があります。

したがって、AutoMLが選択したモデルが、実務上も最適であるとは限りません。

さらに、AutoML自身が探索を行う方法にも、問題に関する仮定や制約があります。

アルゴリズムを選ぶアルゴリズムを導入しても、何をよい結果とみなすかという問題が消えるわけではありません。

メタ学習は万能な手法選択を実現するのか

メタ学習（Meta-Learning）は、複数の学習課題についての経験を利用し、新しい課題に適した学習方法を選択・調整する研究分野です。

例えば、過去に分析した多数のデータセットについて、データの特徴と、各アルゴリズムの性能を記録しておくことができます。

新しいデータセットが与えられたときに、その特徴を利用して、有望なアルゴリズムを推奨することが考えられます。

このような方法は、手法の選択を効率化する可能性があります。

しかし、メタ学習も、過去の課題と新しい課題の間に何らかの共通する規則性が存在することを前提としています。

過去の課題について学習した関係が、新しい課題へ適用できなければ、適切な推奨はできません。

つまり、メタ学習はノーフリーランチ定理を否定するものではありません。

問題間に存在する構造や規則性を利用して、特定の問題群に対するアルゴリズム選択を改善する試みと理解できます。

ノーフリーランチ定理とベイズ推論

ノーフリーランチ定理は、ベイズ推論とも関係しています。

ベイズ推論では、観測データだけでなく、事前確率（Prior Probability）などの前提を利用して、未知の事象について推論します。

例えば、ある設備の故障が非常にまれであると分かっていれば、その情報は、異常検知の結果を解釈するうえで重要になります。

また、特定の関係が成立する可能性について事前知識が存在する場合、その情報を推論に利用できます。

ノーフリーランチ定理の観点から考えると、こうした事前知識や仮定は、考えられるすべての問題を無差別に扱わないための情報として理解できます。

ただし、事前確率を設定すれば、必ずよい推論ができるわけではありません。

事前確率やモデルの仮定が現実に適していなければ、推論結果が不適切になる場合があります。

重要なのは、何らかの前提を利用すること自体ではなく、その前提が対象となる問題に対して妥当であることです。

ノーフリーランチ定理と帰納の問題

ノーフリーランチ定理は、哲学における帰納（Induction）の問題とも関係しています。

私たちは、過去に観測した事例から、まだ観測していない事例について一般化します。

例えば、ある製造条件で品質が安定していることを確認すると、将来も同じ条件で品質が安定すると予想することがあります。

しかし、過去に成立した規則性が、将来も必ず成立するという論理的な保証はありません。

この問題は、デイヴィッド・ヒューム以来、帰納的推論の正当化に関する重要な哲学的問題として議論されてきました。

ノーフリーランチ定理は、一定の形式的な条件の下で、あらゆる可能な規則性を区別せず扱う場合、未知の事例に対して特定の学習方法を優先できないことを示します。

この意味で、帰納的推論における仮定の必要性を考えるための数学的な手掛かりになります。

ただし、ノーフリーランチ定理が、帰納の哲学的問題を完全に解決したわけではありません。

また、科学的な帰納や一般化が不可能であるという結論を示しているわけでもありません。

現実の科学研究では、物理的な法則、過去の観測、実験結果、既存の理論などを利用して、対象となる現象についての仮説を形成します。

こうした情報を利用することによって、すべての可能性を無差別に扱う状況から離れることができます。

ノーフリーランチ定理の哲学的な再検討

ノーフリーランチ定理については、数学的な結果そのものだけでなく、その解釈をめぐる研究も行われています。

Tom F. SterkenburgとPeter D. Grünwaldは、2021年の「The No-Free-Lunch Theorems of Supervised Learning」で、教師あり学習におけるノーフリーランチ定理の哲学的な意味を再検討しました。

この研究では、データだけを入力として結論を出す学習アルゴリズムと、明示的なモデルや仮説集合を入力として利用する学習方法を区別しています。

現実に利用される多くの学習方法は、データだけでなく、モデルの構造や仮説集合についての前提を必要とします。

例えば、線形モデルを利用する場合には、線形的な関係を基本とするモデルを選択しています。

ベイズ推論では、事前分布やモデルについての仮定が必要です。

こうした方法については、設定したモデルや仮定に対して、どのような性能が保証されるかを研究できます。

したがって、ノーフリーランチ定理を理由に、すべての学習方法が実務上同じ価値を持つと考えることは適切ではありません。

むしろ、学習方法の妥当性を、問題に関する具体的な仮定と結びつけて評価することが重要になります。

醜いアヒルの仔の定理との関係

ノーフリーランチ定理は、渡辺慧の醜いアヒルの仔の定理（Ugly Duckling Theorem）とも、興味深い関係を持っています。

醜いアヒルの仔の定理は、すべての可能な述語を同等に数えると、任意の異なる二対象が共有する述語の数が等しくなることを示します。

つまり、すべての特徴を無差別に扱うだけでは、どの対象同士がより似ているかを決められません。

一方、ノーフリーランチ定理は、すべての可能な問題を一定の条件の下で平等に扱うと、特定の学習・探索アルゴリズムを普遍的に優先することができないことを示します。

比較項目	醜いアヒルの仔の定理	ノーフリーランチ定理
主な対象	類似性と分類	学習・探索・最適化
数学的な背景	論理学・組合せ論	学習理論・最適化理論
重要な前提	すべての可能な述語を同等に数える	すべての可能な問題を特定の条件で平均する
主な帰結	共有述語の数だけで類似性を区別できない	一定の平均化条件ではアルゴリズムの優劣がなくなる
実践的な示唆	重要な特徴や関係を選ぶ必要がある	問題に適した仮定や手法を選ぶ必要がある

これらは異なる数学的な結果ですが、共通する方法論上の示唆があります。

それは、何も優先せず、すべての可能性を平等に扱うだけでは、実践的に有用な判断が得られない場合があるということです。

ただし、これは両者を比較することによって得られる哲学的な解釈であり、二つの定理が同じ数学的構造を持つという意味ではありません。

次元の呪いとの関係

次元の呪い（Curse of Dimensionality）は、多数の特徴や状態変数を扱う際に、計算量や必要なデータ量が増大する問題を広く指します。

また、高次元空間では、一定の条件の下で、データ点間の距離が相対的に似た値へ集中する場合があります。

これは、すべての特徴を増やし続けるだけでは、対象を適切に識別できるとは限らないことを示しています。

ノーフリーランチ定理と次元の呪いも、直接には異なる数学的な問題です。

ノーフリーランチ定理は、問題の集合に対するアルゴリズムの性能についての結果です。

次元の呪いは、高次元の問題における計算、推定、幾何学的な性質などに関係します。

しかし、どちらも、問題の構造を利用することの重要性を考えるための基礎になります。

例えば、実際のデータが高次元空間に存在していても、少数の重要な変数や低次元の構造によって説明できる場合があります。

その構造を利用できれば、すべての特徴や可能性を均等に扱う場合より、効率的な分析が可能になるかもしれません。

限定合理性との関係

ノーフリーランチ定理は、限定合理性（Bounded Rationality）とも関係づけて考えることができます。

人間や組織には、利用できる情報、時間、計算資源などに限界があります。

そのため、考えられるすべての分析方法や意思決定手続きを試すことはできません。

例えば、ある企業が製品の品質予測モデルを導入するとします。

考えられる機械学習アルゴリズムをすべて比較するためには、データの準備、パラメータ調整、結果の検証など、多くの作業が必要になります。

一方、問題の性質が比較的明確であれば、限られた数の候補を比較するだけでも、必要な性能を得られるかもしれません。

限定合理性の観点からは、さらに手法を比較することによって得られる利益と、それに必要な費用や時間を考慮する必要があります。

したがって、現実の分析では、理論的に最も優れたアルゴリズムを発見することだけが目的ではありません。

利用可能な資源の下で、十分に信頼できる分析結果を得ることも重要です。

この考え方は、サイモンの満足化（Satisficing）とも関係します。

ただし、ノーフリーランチ定理が満足化を数学的に証明しているわけではありません。

両者は異なる理論ですが、問題に応じた方法選択と探索費用を考える際に、相互に関連づけることができます。

手法を選択する能力とは何か

機械学習の手法選択では、多数のアルゴリズムについて知識を持つことが役立つ場合があります。

しかし、実際に手法を選択するためには、別の能力も必要です。

第一に、分析したい問題を明確にする能力です。

第二に、データがどのような性質を持っているかを理解する能力です。

第三に、利用する手法がどのような前提や制約を持つかを理解する能力です。

第四に、分析結果を適切に評価する能力です。

第五に、得られた結果を実際の問題解決へ結びつける能力です。

例えば、ある品質管理の問題について、ニューラルネットワークを使用したからといって、原因が分かるわけではありません。

また、高精度な予測モデルを作成できても、製造条件をどのように改善するべきかが明らかになるとは限りません。

分析手法を選ぶ際には、単に予測精度を高めたいのか、原因を理解したいのか、異常を発見したいのか、未知の構造を探索したいのかを区別する必要があります。

この意味で、手法の選択能力は、個々のアルゴリズムについての知識だけでなく、問題構造化や科学的な推論と関係しています。

手法を比較する前に、評価基準を決める

機械学習では、複数のアルゴリズムを比較して、最も高い性能を示したものを選択することがあります。

しかし、評価基準を適切に設定しなければ、比較結果には意味がありません。

例えば、異常検知では、異常を見逃すことと、正常な対象を異常として検出することの費用が異なる場合があります。

その場合、単純な正解率だけでは、適切なモデルを選択できません。

また、予測精度が高くても、計算時間が長すぎたり、結果を説明できなかったりすれば、実務へ導入することが困難な場合があります。

評価する項目	主な確認事項
予測性能	未知のデータに対して十分な精度があるか
誤りの種類	見逃しと誤検知の影響は何か
計算費用	学習や予測に必要な資源は適切か
解釈可能性	結果の根拠を理解する必要があるか
安定性	データや条件の変化に対して安定しているか
保守性	モデルの更新や運用が可能か
業務上の価値	分析結果が実際の改善につながるか

こうした評価基準を明確にしたうえで、比較するアルゴリズムを選択することが重要です。

評価基準を設定せずに多数の手法を試すことは、問題の解決よりも、手法の探索そのものを目的にしてしまう危険があります。

手法の探索をどこで止めるべきか

多数の手法を比較することには、追加の計算費用や時間が必要です。

一方、さらに探索することで、より優れた方法が見つかる可能性もあります。

このとき、どこで手法の探索を終了するかが問題になります。

例えば、ある分類モデルについて、実務上必要な再現率と適合率をすでに満たしているとします。

この場合、さらに多数の手法を比較することによって、わずかな性能改善が得られる可能性があります。

しかし、その改善に必要な費用が大きければ、実務上の利益は小さいかもしれません。

逆に、医療や安全に関係する問題などでは、比較的わずかな性能改善であっても、重要な価値を持つ場合があります。

したがって、探索をどこで止めるかは、問題の重要性、必要な性能、分析の費用、残された不確実性などによって判断する必要があります。

これは、単に「最もよいアルゴリズム」を探すこととは異なる問題です。

手法の探索そのものについても、どこまで調べることが合理的なのかを判断する必要があります。

ThinkNaviにおけるノーフリーランチ定理

ThinkNaviでは、ノーフリーランチ定理を、機械学習や最適化の手法を選択する際に、万能な方法を期待せず、問題の性質と手法の適合性を理解するための基礎理論として位置づけます。

これは、単に多数の分析手法を紹介することとは異なります。

例えば、統計学や機械学習を学ぶとき、さまざまな手法の名称や計算方法を覚えることに時間を費やし、実際の問題に対して何を選ぶべきか分からなくなる場合があります。

ThinkNaviでは、まず分析の目的を明確にし、その目的に応じて、必要な手法を選択できることを重視します。

例えば、予測したい場合には、分類や回帰を検討します。

データの構造を理解したい場合には、クラスタリングや次元削減を検討します。

原因を調べたい場合には、実験計画法や因果推論などの方法も検討する必要があります。

さらに、候補となる手法が複数ある場合には、データの特徴、評価基準、必要な計算資源などを考慮して選択します。

ThinkNavi Freeでは、こうした手法選択の考え方を理解するためのワークシートが考えられます。

例えば、利用者が分析目的、データの種類、観測数、変数の数、必要な評価指標などを入力し、適切な分析手法を検討できるようにすることが考えられます。

LLM活用版では、問題の説明から候補となる手法を提案し、それぞれの前提、長所、制約、検証方法などを比較する機能が考えられます。

ただし、LLMが手法を推奨しただけで、その方法の妥当性が保証されるわけではありません。

重要なのは、利用者が、なぜその手法が候補になったのかを理解できることです。

機械学習の民主化への示唆

機械学習の民主化（Democratization of Machine Learning）は、機械学習を高度な技術的訓練を受けた専門家だけでなく、さまざまな分野の利用者が活用できるようにすることです。

しかし、手法の種類を増やし、操作を簡単にするだけでは、機械学習を適切に利用できるようになるとは限りません。

例えば、ノーコードの分析ツールで、多数のアルゴリズムを簡単に実行できるようになったとします。

その場合でも、分析対象のデータや、評価基準について理解していなければ、正しい判断はできません。

むしろ、多数のアルゴリズムを比較できることによって、最も高い性能を示したものを安易に選択してしまう危険もあります。

機械学習の民主化では、アルゴリズムを利用するための技術的な障壁を下げることに加えて、問題に適した方法を選び、結果を評価するための基本を分かりやすくする必要があります。

機械学習を利用するために、あらゆるアルゴリズムを習得する必要はありません。しかし、どのような問題に対して、なぜその方法を選ぶのかを理解することは重要です。

ConceptMinerへの示唆

ConceptMinerでは、埋め込みベクトル、次元削減、GNGなどの方法を利用して、大量の情報から概念構造を分析します。

例えば、文書の埋め込みベクトルを直接クラスタリングすることもできます。

一方、UMAPなどを利用して次元削減した後に、GNGによってデータの分布構造を表現することも考えられます。

こうした方法について、どの手順が最も優れているかは、分析目的やデータの性質によって変わる可能性があります。

例えば、元の埋め込み空間での距離構造を重視する場合と、局所的な近傍関係を整理して概念マップを作成する場合では、求められる条件が異なります。

そのため、複数の手法を組み合わせる場合には、それぞれの手法が、どのような構造を学習し、次の処理へどのような情報を渡すかを理解する必要があります。

また、複数の手法を組み合わせることによって、必ず性能が改善するとは限りません。

例えば、次元削減によって形成された距離構造をGNGが学習する場合、GNGが学習するのは、元の高次元空間そのものではなく、変換後の空間です。

そのことが分析目的に対して有利かどうかを、実際のデータや評価基準によって検討する必要があります。

さらに、ConceptMiner R&Dでは、単なる意味的な類似性だけでなく、技術の特徴、機能、構造などを抽象化して異分野を探索します。

この場合、文書を整理するための類似性と、新しい技術的な仮説を生成するための類似性は、必ずしも同じではありません。

したがって、アルゴリズムを選択する際には、単にクラスタリングの品質指標を改善することだけでなく、技術的な探索に有用な構造が得られているかを評価することが重要です。

ノーフリーランチ定理の示唆は、すべての手法を試すことではありません。

ConceptMinerが何を発見するためのシステムなのかを明確にし、その目的に適した手法を選択し、必要な場合に組み合わせることです。

ノーフリーランチ定理の限界と誤解

ノーフリーランチ定理については、いくつかの注意点があります。

第一に、最適化と機械学習のノーフリーランチ定理は、対象とする問題や数学的な前提が異なります。

第二に、すべての可能な問題を同等に扱うなど、特定の条件の下で成立する結果を、そのまま現実の問題へ一般化することはできません。

第三に、現実の問題に構造や規則性が存在する場合には、それを利用する手法が、ほかの方法より優れた性能を示すことがあります。

第四に、定理は、あらゆるアルゴリズムが実務上同じ価値を持つことを示していません。

第五に、定理から、多数の手法を利用するべきだという結論は導かれません。

第六に、逆に、一つの手法だけを利用すれば十分であるという結論も導かれません。

第七に、AutoMLやメタ学習のような方法も、問題に関する仮定や経験を利用しているため、定理の問題設定から無条件に自由になるわけではありません。

第八に、どの手法を選ぶかを考える際には、予測精度だけでなく、分析目的、利用できるデータ、計算費用、説明可能性などの条件が重要になります。

したがって、ノーフリーランチ定理を「どの手法も同じ」「すべての手法を試せ」「万能な方法などないのだから何を使ってもよい」と理解することは不適切です。

この定理の重要性は、手法の有効性が問題の性質や仮定と関係していることを考えるための、数学的な基礎を提供している点にあります。

まとめ：手法を増やすより、問題を理解する

ノーフリーランチ定理は、特定の数学的な条件の下で、考えられるすべての問題に対する性能を平均すると、異なるアルゴリズムの間に優劣がなくなることを示します。

この結果は、機械学習や最適化において、普遍的に優れたアルゴリズムを期待することの限界を明らかにしています。

しかし、それは、分析のたびに多数の手法を試さなければならないという意味ではありません。

現実の問題には、それぞれ特有の構造、規則性、制約があります。

そのような性質を理解し、適切な仮定を利用することによって、少数の候補から有効な方法を選択できる場合があります。

また、アルゴリズムの種類を増やし続けることによって、手法の前提を理解しないまま利用してしまったり、モデルの比較に時間を費やし、実際の問題解決が進まなくなったりする可能性もあります。

多数の手法を比較した結果として、偶然に高い評価値を得たものを選んでしまう危険もあります。

そのため、手法選択では、対象となる問題の理解、データの性質、評価基準、検証方法などを重視する必要があります。

醜いアヒルの仔の定理が、すべての特徴を平等に扱うだけでは意味のある類似性を決められないことを示すように、ノーフリーランチ定理は、すべての問題を区別なく扱う場合に、特定のアルゴリズムを普遍的に優先できないことを示します。

両者は異なる数学的な定理ですが、何を重要なものとして扱うかという問題において、共通する示唆を持っています。

ノーフリーランチ定理から学ぶべきなのは、できるだけ多数の手法を使いこなすことではありません。対象となる問題の性質を理解し、その性質を利用できる手法を選択することです。

機械学習やデータ分析を多くの人が利用できるようにするためにも、アルゴリズムの数を増やすことだけではなく、問題に適した方法を見極める能力を育てることが重要になります。

英語表記： No Free Lunch Theorem / No Free Lunch Theorems

関連する用語： Inductive Bias、Generalization、Optimization、Search Algorithms、Algorithm Selection、Model Selection、Meta-Learning、AutoML、Cross-Validation、Overfitting、Prior Distribution、Hypothesis Class、Benchmarking、Model Complexity、Problem Structure

関連する思考技法・理論：

参考文献・資料

David H. Wolpert, “The Lack of A Priori Distinctions Between Learning Algorithms,” Neural Computation, Vol. 8, No. 7, pp. 1341–1390, 1996. 学習アルゴリズムの性能を、学習対象についての仮定を置かない場合にどのように比較できるかを検討した基礎的研究。
David H. Wolpert and William G. Macready, “No Free Lunch Theorems for Optimization,” IEEE Transactions on Evolutionary Computation, Vol. 1, No. 1, pp. 67–82, 1997. 最適化におけるノーフリーランチ定理の代表的な原著論文。
Christian Igel and Marc Toussaint, “A No-Free-Lunch Theorem for Non-Uniform Distributions of Target Functions,” Journal of Mathematical Modelling and Algorithms, Vol. 3, pp. 313–322, 2004. 最適化のノーフリーランチ定理と、問題集合の置換に対する閉性などの条件について論じた研究。
Tom F. Sterkenburg and Peter D. Grünwald, “The No-Free-Lunch Theorems of Supervised Learning,” Synthese, Vol. 199, pp. 9979–10015, 2021. 教師あり学習における定理の哲学的な意味を再検討し、モデルに依存する学習方法の正当化について論じた研究。
David J. Hand, “Classifier Technology and the Illusion of Progress,” Statistical Science, Vol. 21, No. 1, pp. 1–14, 2006. 分類アルゴリズムの性能比較と、複雑な手法による改善の実務上の意味を再検討した研究。
Pedro Domingos, “A Few Useful Things to Know about Machine Learning,” Communications of the ACM, Vol. 55, No. 10, pp. 78–87, 2012. 汎化、過学習、データ、特徴量、モデル選択など、機械学習を実務で利用する際の重要な原則を整理した論文。
Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press, 2014. 機械学習の理論、汎化、帰納バイアス、アルゴリズムの基礎を体系的に説明した著作。
scikit-learn, “Nested versus Non-Nested Cross-Validation.” モデル選択と性能評価に同じデータを利用することによる評価の偏りを説明した公式資料。
Satosi Watanabe, Knowing and Guessing: A Quantitative Study of Inference and Information, Wiley, 1969. 醜いアヒルの仔の定理、類似性、分類、推論について論じた著作。
Herbert A. Simon, “From Substantive to Procedural Rationality,” in Method and Appraisal in Economics, Cambridge University Press, pp. 129–148, 1976. 限定合理性と手続き的合理性について論じた研究。