私たちは、二つの対象が似ているかどうかを判断するとき、その特徴を比較します。例えば、製品であれば価格、性能、寸法、用途などを比較し、企業であれば売上高、利益率、研究開発費、技術分野などを比較します。
こうした特徴が増えれば、対象についてより詳しく理解でき、分類や判断の精度も高くなると考えられます。
しかし、特徴の数を増やすことが、必ずしも分析の精度を高めるとは限りません。
多次元のデータでは、変数の数が増えるにつれて、データ空間の大きさ、点と点の距離、情報の分布などが、私たちの直感とは異なる振る舞いを示すことがあります。
例えば、高次元空間では、一定の条件の下で、データ点間の距離の相対的な差が小さくなる「距離集中（Distance Concentration）」が生じます。
最も近い点と遠い点の距離が相対的に区別しにくくなると、距離を手掛かりにした分類や類似性の判断が難しくなる場合があります。
また、高次元の球では、体積の大部分が球の中心から遠い表面近くに集中します。これは、高次元空間の幾何学が、二次元や三次元での直感と大きく異なることを示す例です。
こうした現象は、一般に「次元の呪い（Curse of Dimensionality）」と呼ばれる問題群と関係しています。
ただし、次元の呪い、球殻への体積集中、距離集中は、同じ現象ではありません。また、高次元であれば、必ず距離や分類が無意味になるわけでもありません。
重要なのは、特徴を増やすことと、対象の重要な違いを識別できることは別問題だということです。
この問題は、機械学習だけでなく、統計学、多変量解析、最適化、制御理論、科学的なモデル化、さらに人間の認識や概念形成を考えるうえでも意味を持っています。
次元とは何か
データ分析における次元（Dimension）とは、通常、一つの対象を表現するために使用する変数や座標の数を指します。
例えば、ある製品を価格と重量によって表現する場合、二次元のデータになります。
価格、重量、耐久性を利用すれば三次元です。
さらに、消費電力、寸法、動作速度、温度特性、材料組成などを追加すれば、データはより高い次元を持つことになります。
一般に、対象 (x) を (d) 個の変数で表現する場合、次のようなベクトルとして表せます。
$$
x=(x_1,x_2,\ldots,x_d)
$$
これは (d) 次元のベクトルです。
二次元や三次元のデータは図として表現できますが、数十次元、数百次元、数千次元のデータを、そのまま人間が視覚的に理解することは困難です。
しかし、高次元データは特別なものではありません。
例えば、画像は多数の画素値を持ち、分光分析では多数の波長に対応する測定値を取得します。文章を埋め込みベクトルへ変換する場合には、数百から数千次元の数値表現が利用されることもあります。
ただし、変数の数が多いことと、データが実際に同じ数の独立した自由度を持っていることは、必ずしも一致しません。
この違いは、後述する「実効次元」や「内在次元」を考えるうえで重要になります。
次元の呪いとは
次元の呪い（Curse of Dimensionality）は、問題を表現する次元の数が増加することによって、計算量、必要なデータ量、推定の難しさなどが急速に増大する現象を広く指す言葉です。
この用語は、数学者Richard Bellmanによる動的計画法（Dynamic Programming）の研究に由来します。
Bellmanは1957年の著書『Dynamic Programming』などで、多数の状態変数を扱う最適化問題において、計算量が急激に増大する困難を論じました。
例えば、一つの状態変数について10通りの値を考える場合、必要な状態の組み合わせは10通りです。
二つの変数では100通り、三つでは1,000通りになります。
一般に、各変数を (m) 通りに分割し、変数が (d) 個ある場合、組み合わせの数は、
$$
N=m^d
$$
となります。
| 次元数 | 各次元を10通りに分割したときの組み合わせ数 |
|---|---|
| 1次元 | 10 |
| 2次元 | 100 |
| 3次元 | 1,000 |
| 5次元 | 100,000 |
| 6次元 | 1,000,000 |
| 10次元 | 10,000,000,000 |
10次元では100億通りになります。
これは、各次元を独立に分割してすべての組み合わせを考える場合の例です。すべての高次元問題で必ずこの計算量が必要になるわけではありません。
しかし、次元の増加によって、状態空間や探索空間が急速に大きくなることを示しています。
この問題は、動的計画法や最適化だけでなく、統計的推定、実験計画、数値計算、データ分析などにも関係しています。
次元の呪いには複数の問題がある
次元の呪いは、単一の数学的現象を指す名称ではありません。
実際には、複数の異なる問題が含まれています。
| 問題 | 何が起こるか |
|---|---|
| 組み合わせの爆発 | 状態や条件の組み合わせが急増する |
| データの疎化 | 広い空間に対して、観測データの密度が低くなる |
| 推定の困難 | 多数のパラメータを推定するための情報が不足する |
| 距離集中 | データ点間の距離の相対的な差が小さくなる場合がある |
| ノイズの累積 | 関係のない変数が距離や判断へ大きく影響する |
| 計算負荷の増大 | 検索、推定、最適化などに多くの資源を必要とする |
これらは互いに関連しますが、発生する条件や対処方法は同じではありません。
例えば、距離集中が明確に生じていなくても、状態空間が非常に大きければ、探索や最適化の計算は困難になります。
逆に、計算資源が十分にあっても、データの分布によっては、距離を利用した近傍探索の有効性が低下する場合があります。
したがって、「次元の呪いによって高次元データは扱えない」と一括りにするのではなく、どの問題が生じているかを区別する必要があります。
高次元空間ではデータが疎になる
次元の増加によって生じる代表的な問題の一つが、空間に対するデータの疎化（Sparsity）です。
例えば、0から1までの範囲を持つ変数が二つある場合、データを正方形の中に配置できます。
各軸を10区間に分割すれば、全体は100個の区画になります。
同じ分割を10次元で行えば、区画の数は100億個になります。
このとき、100万件のデータが存在したとしても、すべての区画へ十分な観測値を配置することはできません。
これは、データが各次元へ広く分布しており、細かい分割を利用する場合の問題です。
一方、実際のデータが低次元の構造へ集中している場合には、空間全体を均等に埋める必要はありません。
例えば、多数の測定変数が互いに強く相関している場合、データが実際に変化する自由度は、変数の数より少ない可能性があります。
したがって、観測変数が1,000個あるからといって、1,000次元の空間全体を網羅するデータが必ず必要になるわけではありません。
高次元の球では体積が表面近くへ集中する
高次元空間の特徴を理解するために、球の体積を考えてみましょう。
二次元では円の面積、三次元では球の体積に相当します。
(d) 次元の半径 (R) の球の体積は、
$$
V_d(R)=C_dR^d
$$
と表されます。
ここで (C_d) は次元に依存する定数で、具体的には、
$$
C_d=\frac{\pi^{d/2}}{\Gamma(d/2+1)}
$$
です。
重要なのは、体積が半径の (d) 乗に比例することです。
例えば、半径1の球に対して、半径0.9の内側の球を考えます。
内側の球の体積が占める割合は、
$$
\frac{V_d(0.9)}{V_d(1)}=0.9^d
$$
です。
したがって、半径0.9から1までの外側の層が占める体積の割合は、
$$
1-0.9^d
$$
となります。
| 次元 | 外側10％の厚さの層が占める体積 |
|---|---|
| 2次元 | 19.0％ |
| 3次元 | 27.1％ |
| 10次元 | 65.1％ |
| 30次元 | 95.8％ |
| 100次元 | 約99.997％ |
100次元では、球の体積のほぼすべてが、半径0.9から1までの範囲に存在します。
これは、二次元や三次元の直感からは理解しにくい現象です。
ただし、球の表面そのものに体積があるという意味ではありません。
表面近くの薄い領域が、球全体の体積の大部分を占めるということです。
また、これは球の内部に一様に分布する点を考えた場合の結果であり、すべての高次元データが同じような分布を持つことを意味しません。
この現象は、球殻集中（Concentration in a Thin Shell）として説明できます。
球面への集中と球面上での集中は異なる
高次元空間の「球面集中」という表現には、区別するべき二つの現象があります。
一つは、先ほど説明した、球の内部の体積が表面近くへ集中する現象です。
もう一つは、高次元の球面上で、確率的な量や幾何学的な関係が特定の値の近くへ集中する現象です。
例えば、高次元の単位球面上から点を一様に選ぶと、任意に固定した方向に対する座標成分は、0に近い値をとりやすくなります。
これは、その方向と直交する「赤道」の周辺へ球面上の面積が集中するという現象として理解できます。
一般に、高次元空間で確率的な量が平均値などの周辺へ集中する現象は、測度集中（Concentration of Measure）と呼ばれます。
測度集中は、高次元幾何学や確率論における広い研究対象です。
球殻への体積集中、球面上の赤道付近への集中、距離集中は、互いに関連していますが、同じ定理をそのまま言い換えたものではありません。
以下では、データ分析への影響が分かりやすい距離集中について考えます。
高次元ではランダムな方向がほぼ直交する
二次元の平面では、二つのベクトルが直交するという状態は、特定の角度関係を意味します。
しかし、高次元では、ランダムに選んだ二つの方向が、ほぼ直交する傾向を持ちます。
これを数学的に考えてみます。
(d) 次元の単位球面上から、独立に二つの単位ベクトル (u,v) を一様に選びます。
それぞれの長さは1です。
このとき、内積 (u\cdot v) について、
$$
E[u\cdot v]=0
$$
となります。
また、
$$
\mathrm{Var}(u\cdot v)=\frac{1}{d}
$$
です。
つまり、次元が大きくなるほど、内積のばらつきが小さくなり、0に近い値をとりやすくなります。
二つの単位ベクトルの内積は、そのなす角のコサインに等しいため、内積が0に近いことは、角度が90度に近いことを意味します。
さらに、二つの単位ベクトル間のユークリッド距離については、
$$
|u-v|^2=2-2(u\cdot v)
$$
が成立します。
したがって、内積が0付近に集中すると、距離は、
$$
|u-v|\approx\sqrt{2}
$$
となります。
これは、独立に一様抽出した単位ベクトルについての確率的な性質です。
現実のデータに存在する意味的な関係や、学習されたベクトル間の構造が消失するという意味ではありません。
距離集中とは
距離集中（Distance Concentration）は、高次元空間において、一定の確率分布や距離尺度の下で、対象間の距離が比較的狭い範囲へ集中する現象です。
例えば、低次元の空間では、ある点から非常に近い点と、非常に遠い点を直感的に区別できます。
しかし、高次元のデータでは、近い点と遠い点の距離の相対的な差が小さくなる場合があります。
重要なのは、距離の絶対値が小さくなるわけではないことです。
むしろ、次元数が増えるにつれて、一般的なユークリッド距離は大きくなる場合があります。
距離集中では、距離の大きさに比べて、そのばらつきや、近い点と遠い点の差が小さくなることが問題になります。
この現象は、近傍探索やクラスタリングなど、距離を利用する分析方法の有効性と関係しています。
Beyerらは1999年の「When Is ‘Nearest Neighbor’ Meaningful?」で、一定の条件の下では、高次元化に伴って最近傍点と最遠方点までの距離の相対的な差が小さくなることを示しました。
ただし、同論文は、高次元における近傍探索が常に無意味になると主張しているわけではありません。距離集中が生じない高次元データの例についても論じています。
距離集中を数式で理解する
距離集中を理解するために、単純な確率モデルを考えます。
二つのデータ点 (X,Y) が、独立に (d) 次元の標準正規分布から得られたとします。
$$
X,Y\sim N(0,I_d)
$$
ここで、各座標は独立で、平均0、分散1です。
二つの点の差は、
$$
X-Y\sim N(0,2I_d)
$$
となります。
このとき、ユークリッド距離の二乗は、
$$
D^2=|X-Y|^2
$$
です。
その期待値は、
$$
E[D^2]=2d
$$
となります。
一方、分散は、
$$
\mathrm{Var}(D^2)=8d
$$
です。
したがって、距離の二乗の標準偏差は、
$$
\sigma(D^2)=\sqrt{8d}
$$
です。
期待値に対する標準偏差の比率、すなわち変動係数は、
$$
CV(D^2)
=\frac{\sqrt{8d}}{2d}
=\sqrt{\frac{2}{d}}
$$
となります。
次元 (d) が増加すると、この値は0へ近づきます。
| 次元 (d) | 距離の二乗の変動係数 |
|---|---|
| 10 | 約44.7％ |
| 100 | 約14.1％ |
| 1,000 | 約4.5％ |
この結果は、距離の二乗の期待値が次元に比例して増大する一方、その相対的なばらつきは小さくなることを意味します。
したがって、典型的な距離はおおむね (\sqrt{2d}) の周辺に集中するようになります。
ただし、この例は独立な正規分布という特定の条件に基づいています。
また、ここで厳密に計算した変動係数は距離の二乗に対するものであり、距離そのものの変動係数ではありません。
一般的な実データについて、同じ数値関係がそのまま成立するとは限りません。変数間の相関、データの分布、距離尺度、対象の集合の大きさなどによって、距離集中の程度は変わります。
近い点と遠い点の区別が難しくなる
距離集中が近傍探索へ与える影響を考えるために、ある対象 (q) と、複数の候補点との距離を調べます。
候補点までの距離の最小値を (D_{\min})、最大値を (D_{\max}) とします。
例えば、両者の相対的な差を、
$$
C=\frac{D_{\max}-D_{\min}}{D_{\min}}
$$
と定義できます。ただし、(D_{\min}>0) とします。
この値が小さくなるほど、最も近い候補と遠い候補の距離の差は、最近傍距離に比べて小さくなります。
例えば、最近傍距離が10、最遠方距離が20ならば、相対差は1です。
一方、最近傍距離が100、最遠方距離が101ならば、相対差は0.01です。
後者では、距離の値だけから候補を大きく区別することが難しくなっているように見えます。
ただし、この指標が小さいからといって、近傍点の識別が必ず無意味になるわけではありません。
例えば、距離の絶対差が小さくても、それが安定した意味のある差であれば、近傍の順位は有用かもしれません。
逆に、距離の差が一定程度存在しても、それがノイズに左右されるなら、近傍関係の信頼性は低くなります。
Beyerらの研究が重要なのは、高次元という理由だけで近傍探索を否定するのではなく、どのようなデータ分布の下で距離集中が生じ、近傍関係の意味が失われるのかを検討した点にあります。
高次元であれば必ず距離が集中するのか
高次元データについての説明では、「次元が増えるとすべての点が等距離になる」と述べられる場合があります。
しかし、これは正確ではありません。
距離集中は、データの分布や特徴量の性質に依存します。
例えば、1,000次元のデータであっても、実際には少数の変数だけが大きく変動し、残りがほぼ一定であるならば、距離の違いが明確に残る可能性があります。
また、複数の明確に異なる集団が存在している場合、集団内の距離と集団間の距離が区別できることがあります。
さらに、特定の意味を持つ特徴が、ほかのノイズ的な特徴よりも強く反映される場合にも、近傍関係が維持される可能性があります。
2009年の「When Is ‘Nearest Neighbour’ Meaningful: A Converse Theorem and Implications」では、距離集中が生じない条件についても理論的に検討されています。
したがって、実際のデータ分析では、次元数だけで近傍探索の有効性を判断するべきではありません。
距離の分布、近傍関係の安定性、対象の構造、分析目的などを確認する必要があります。
重要な特徴とノイズの関係
高次元データにおいて、特に問題になるのが、目的に関係する特徴と、関係のない特徴が混在している場合です。
例えば、製品の品質を判断するために100個の測定変数を利用するとします。
しかし、そのうち品質不良と強く関係する変数が5個だけで、残りの95個は目的にほとんど関係しないとしたらどうでしょうか。
すべての変数を同等に扱って距離を計算すると、関係のない変数の違いが累積し、重要な5変数の違いが相対的に目立たなくなる可能性があります。
この場合、変数を増やしたことで対象の情報量は増えていますが、品質不良を識別するための情報が、必ずしも増えているわけではありません。
逆に、目的に関係する変数を適切に選択できれば、少数の変数だけでも有用な分類が成立する可能性があります。
ただし、ここで「関係のない変数」をどう判断するかが問題になります。
既知の品質不良についての予測を目的とする場合には、その不良との関係から特徴を評価できます。
一方、まだ認識していない不良パターンを探索する場合には、現在の目的変数との関連性だけで特徴を排除すると、新しい発見を妨げる可能性があります。
したがって、特徴選択は単純な次元削減ではなく、何を発見・説明・予測するための特徴なのかという目的と結びついています。
ユークリッド距離とコサイン類似度
多次元データの類似性を評価するときには、ユークリッド距離のほかに、コサイン類似度（Cosine Similarity）が広く利用されます。
ユークリッド距離は、二つのベクトルの差の大きさを測定します。
$$
d(x,y)=\sqrt{\sum_{k=1}^{d}(x_k-y_k)^2}
$$
一方、コサイン類似度は、二つのベクトルの方向の関係を表します。
$$
\cos(x,y)
=\frac{x\cdot y}{|x||y|}
$$
文章の埋め込みベクトルなどでは、コサイン類似度が利用されることが多くあります。
しかし、コサイン類似度を利用すれば、必ず距離集中を回避できるというわけではありません。
例えば、すべてのベクトルを長さ1へ正規化した場合には、
$$
\|x-y\|^2=2-2\cos(x,y)
$$
が成立します。
したがって、正規化されたベクトルについては、ユークリッド距離とコサイン類似度は、近傍の順位を同じように表します。
高次元球面上でランダムな方向がほぼ直交する現象は、コサイン類似度にも直接関係します。
重要なのは、距離尺度の名前だけではありません。
対象のどのような性質を比較したいのか、その性質が選んだ距離尺度によって適切に反映されているのかを検討する必要があります。
距離尺度によって近傍関係は変わる
多次元データでは、ユークリッド距離以外にも、多くの距離尺度が利用されています。
例えば、マンハッタン距離は、各変数の差の絶対値を合計します。
$$
d_1(x,y)=\sum_{k=1}^{d}|x_k-y_k|
$$
ユークリッド距離は、
$$
d_2(x,y)=\left(\sum_{k=1}^{d}|x_k-y_k|^2\right)^{1/2}
$$
です。
一般に、ミンコフスキー距離は、
$$
d_p(x,y)=\left(\sum_{k=1}^{d}|x_k-y_k|^p\right)^{1/p}
$$
と表されます。ただし、通常、距離として扱うために (p\geq1) とします。
距離尺度を変えると、どの特徴の違いが強く反映されるかが変化します。
Aggarwal、Hinneburg、Keimは2001年の「On the Surprising Behavior of Distance Metrics in High Dimensional Spaces」で、高次元空間における距離尺度の振る舞いを検討しました。
この研究は、高次元での近さや類似性を考える際に、どの距離尺度を利用するかが重要であることを示しています。
ただし、特定の距離尺度が、あらゆる高次元データについて最善であるという結論は導かれません。
また、(p<1) の形を利用して差の影響を調整する研究もありますが、その場合、通常の距離の公理を満たさないことがあるため、一般的な距離と同一視するべきではありません。
ハブネス：特定の点が多くの対象の近傍になる
高次元データにおける別の興味深い現象に、ハブネス（Hubness）があります。
これは、一部のデータ点が、多数のほかの点の最近傍リストへ繰り返し登場する現象です。
例えば、各データ点について、最も近い10個の点を求めるとします。
通常、近傍として選ばれる頻度には、ある程度のばらつきがあります。
しかし、特定の高次元データでは、少数の点が非常に多くの対象から近傍として選ばれる場合があります。
このような点をハブ（Hub）と呼びます。
Radovanović、Nanopoulos、Ivanovićは2010年の「Hubs in Space: Popular Nearest Neighbors in High-Dimensional Data」で、高次元空間におけるこの現象を研究しました。
ハブネスは、クラスタリング、最近傍分類、情報検索などへ影響する可能性があります。
例えば、ある文書が多数の検索対象と近いと判断される場合、それが幅広く関連する重要な文書である可能性もありますが、ベクトル空間の幾何学的な性質によって、過度に近傍として選ばれている可能性もあります。
ただし、ハブネスは、単に距離が集中することと同じ現象ではありません。
近傍として選ばれる頻度の偏りという、別の統計的な特徴を表しています。
また、すべての高次元データに強いハブネスが生じるわけでもありません。
内在次元と実効次元
高次元データを理解する際に重要なのが、観測された次元数と、実際のデータの自由度を区別することです。
例えば、1,000個の測定変数を持つデータを考えます。
これらの変数がすべて独立に変動しているならば、非常に複雑なデータ構造になります。
しかし、実際には、少数の共通する要因によって、多数の変数の値が決まっているかもしれません。
例えば、100個の変数が、一つの物理的な状態の変化に連動している場合、それらは100個の独立した情報を持っているわけではありません。
このようなデータについては、内在次元（Intrinsic Dimension）や実効次元（Effective Dimension）という考え方が重要になります。
内在次元は、データが存在する集合や構造を表現するために必要な自由度に関係します。
一方、実効次元は、利用する定義や尺度によって意味が異なり、例えば分散がどの程度の次元に分散しているかなどを表す場合があります。
これらを厳密に同一の概念として扱うべきではありません。
例えば、データが1,000次元の空間で表現されていても、実際には10次元程度の多様体に沿って分布している可能性があります。
LevinaとBickelは、近傍点間の距離からデータの内在次元を推定する方法を研究しました。
ただし、内在次元を一つの数値として安定して推定できるとは限りません。
データの分布、ノイズ、サンプル数、局所的な構造などによって、推定結果が変わる場合があります。
多様体仮定と次元削減
多様体仮定（Manifold Hypothesis）は、高次元空間で表現されるデータが、実際には比較的低次元の構造に沿って分布しているという考え方です。
例えば、人間の顔画像は、多数の画素から構成されます。
しかし、顔の向き、照明、表情など、画像の変化を支配する主要な要因の数は、画素数より少ない場合があります。
このような構造を利用すれば、高次元データを、より少ない次元で表現できる可能性があります。
主成分分析（PCA）は、線形的な分散構造を利用して次元を削減します。
一方、UMAPなどの非線形次元削減では、データの局所的な近傍関係などを手掛かりに、低次元での表現を構築します。
UMAPは、多様体学習や位相的な構造に関する考え方を背景に持つ手法です。
ただし、次元削減によって得られた座標が、元のデータのすべての情報を保持するわけではありません。
また、UMAPは、高次元データの近傍関係を利用するため、元の空間での距離や近傍の構造が不適切であれば、その問題が結果にも影響する可能性があります。
したがって、次元削減を行っただけで、次元の呪いが完全に解消されたと考えるべきではありません。
次元削減は、高次元データの重要な構造を少数の変数へ表現し直す方法であり、その結果が分析目的にとって適切かどうかを評価する必要があります。
次元削減によって何が保存されるのか
次元削減には、さまざまな目的があります。
例えば、できるだけ多くの分散を保持することを重視する場合があります。
また、近傍関係を保持すること、集団間の分離を明確にすること、予測に必要な情報を残すことなどを目的にする場合もあります。
| 次元削減の目的 | 重視する性質 |
|---|---|
| 分散の保持 | データの変動を少数の成分で説明する |
| 距離の近似的な保持 | 対象間の距離関係をできるだけ維持する |
| 局所的な近傍の保持 | 近い対象同士の関係を維持する |
| 可視化 | 人間が理解しやすい二次元・三次元へ配置する |
| 予測性能の向上 | 目的変数に関係する情報を保持する |
| ノイズの抑制 | 不必要な変動の影響を減らす |
これらの目的は必ずしも一致しません。
例えば、分散が大きい方向が、分類にとって重要な方向であるとは限りません。
また、局所的な近傍関係を適切に保持した場合でも、離れた集団間の距離まで正確に保存されるとは限りません。
したがって、次元削減の良し悪しを一つの指標だけで評価することは困難です。
特に、次元削減後のデータをクラスタリングなどに利用する場合には、分析の最終目的に対して、必要な関係が保存されているかを検討する必要があります。
高次元は常に不利なのか：次元の祝福
高次元空間の性質は、常に不利に働くわけではありません。
一定の条件の下では、高次元であることが、データの分離、確率的な評価、数学的な解析などに有利に働く場合があります。
このような側面は、「次元の祝福（Blessing of Dimensionality）」と呼ばれることがあります。
例えば、高次元でランダムな方向がほぼ直交するという現象は、対象を多数の方向へ分散させる性質として利用できる場合があります。
また、確率的な量が平均値の周辺へ集中する測度集中は、統計的な評価や高次元確率論で重要な役割を持ちます。
さらに、Johnson–Lindenstraussの補題は、有限個の点の間のユークリッド距離を、一定の誤差の範囲で保ちながら、ランダム射影によって次元を削減できることを示します。
適切な条件の下では、必要な射影先の次元数は、元の次元数そのものではなく、点の数の対数などに関係します。
これは、非常に高い次元で表現されているからといって、あらゆる幾何学的な関係を扱うために、元の次元数を維持しなければならないわけではないことを示しています。
ただし、高次元にすれば自動的に分類性能が向上するという意味ではありません。
高次元化が有利になる条件と、不利になる条件を区別する必要があります。
次元の呪いと醜いアヒルの仔の定理
醜いアヒルの仔の定理（Ugly Duckling Theorem）は、渡辺慧によって示された、類似性と分類に関する数学的な結果です。
この定理では、有限個の対象について、すべての可能な述語を同等に扱うと、任意の異なる二対象が共有する述語の数が等しくなります。
したがって、すべての性質を無差別に数えるだけでは、どの対象同士がより似ているかを決められません。
これは、高次元の距離集中と直感的に似ています。
例えば、多数の特徴を同等に利用して距離を計算すると、一定の条件の下では、対象間の距離の相対的な差が小さくなることがあります。
しかし、両者は数学的に異なる現象です。
| 比較項目 | 醜いアヒルの仔の定理 | 距離集中 |
|---|---|---|
| 数学的な背景 | 論理学・組合せ論 | 高次元幾何学・確率論 |
| 比較するもの | 対象が共有する述語 | 対象間の距離 |
| 前提 | すべての可能な述語を同等に数える | 特定のデータ分布や距離尺度など |
| 結果 | 任意の異なる二対象で共通述語数が等しい | 距離の相対的な差が小さくなる場合がある |
| 特徴選択の意味 | 類似性を区別するために必要 | 有用な距離構造を得るために重要な場合がある |
醜いアヒルの仔の定理は、述語の網羅的な集合を対象とした、厳密な数え上げの結果です。
一方、距離集中は確率分布や距離尺度に依存する現象であり、すべての高次元データについて必然的に発生するものではありません。
また、醜いアヒルの仔の定理が成立するために、高次元空間の球面集中を仮定する必要もありません。
両者に共通する重要な示唆は、特徴を多数集め、それらを区別なく扱うだけでは、意味のある類似性が必ずしも得られないという点です。
ただし、これは両者から読み取れる共通の哲学的・方法論的な示唆であり、二つの定理が同じ数学的原理を示しているという意味ではありません。
認識論への示唆：何を似ているとみなすのか
人間は、世界に存在するあらゆる特徴を同時に比較して、対象の類似性を判断しているわけではありません。
例えば、月とリンゴは、外見、大きさ、材質などが大きく異なっています。
しかし、物理学では、両者の運動を重力という共通の法則から考えることができます。
これは、外見上の特徴よりも、物理的な関係を重視することで、重要な共通性を認識している例です。
一方、食品の分類を行う場合には、月とリンゴを同じ種類の対象として扱う理由は通常ありません。
つまり、何を似ているものとして扱うかは、どの特徴や関係を重要視するかによって変化します。
醜いアヒルの仔の定理は、この問題を論理的な側面から考えるための基礎になります。
高次元での距離集中は、さらに、特徴を大量に利用して数値的な類似性を定義した場合でも、適切な区別が自動的に得られるとは限らないことを示しています。
ただし、そこから「類似性はすべて主観的である」という結論は導かれません。
例えば、生物学的な系統関係、材料の物理的な特性、製造工程における故障の発生条件など、対象の側に存在する構造を調べることができます。
重要なのは、どの特徴が目的に対して意味を持つかを明らかにし、その特徴の妥当性を経験的に確認することです。
特徴の数と、理解の深さは同じではない
多変量解析やAIでは、変数や特徴量を増やすことで、対象をより詳しく記述できます。
しかし、詳しく記述できることと、対象について重要な構造を理解できることは同じではありません。
例えば、ある製造工程について1,000種類のセンサーデータを取得したとします。
この情報を利用して設備の状態を詳しく記録することは可能です。
しかし、製品不良を引き起こす主要な要因が、ごく少数の条件に限られる場合には、すべての変数を同等に分析することが最も有効とは限りません。
逆に、現在知られている不良原因だけを利用して変数を選択すると、まだ認識されていない異常の兆候を見落とす可能性があります。
したがって、特徴を絞り込むことと、未知のパターンを探索することには、異なる目的があります。
既知の結果を予測するためには、目的変数との関連性を重視した特徴選択が有効な場合があります。
一方、未知の構造を探索するためには、既知の目的変数に依存しない特徴表現や分析方法が必要になる場合があります。
この区別は、統計的な予測と探索的なデータ分析を考えるうえでも重要です。
多変量解析における次元の呪い
多変量解析では、複数の変数を利用することで、対象間の関係を分析します。
例えば、主成分分析、因子分析、クラスタリング、回帰分析、判別分析などがあります。
これらの方法では、変数の数と観測件数との関係が重要になります。
例えば、回帰分析で多数の説明変数を利用する場合、観測件数が少なければ、パラメータを安定して推定することが困難になります。
また、互いに強く相関する変数が多い場合には、多重共線性などの問題が生じることがあります。
クラスタリングでは、関係のない変数が距離へ大きく影響すると、対象の重要な違いを識別しにくくなる場合があります。
ただし、これらはすべて同じ原因によるものではありません。
パラメータ推定の困難、相関の問題、距離集中などは、それぞれ異なる数学的な背景を持っています。
次元の呪いを理解する際には、「変数が多い」という共通点だけで問題を説明せず、それぞれの分析方法で何が制約となっているかを明確にする必要があります。
クラスタリングにおける距離集中
クラスタリングでは、対象間の類似性や距離に基づいて、データをグループに整理します。
例えば、k-meansでは、点とクラスタ中心との距離に基づく目的関数を利用します。
階層的クラスタリングでは、対象やクラスタ間の距離を利用します。
GNGでは、入力データとノードの参照ベクトルの距離を利用して学習を進めます。
このような方法では、距離が適切な意味を持つことが重要です。
もし距離集中によって、対象間の距離の相対的な差が非常に小さくなれば、近傍関係がわずかなノイズや条件の変化に影響されやすくなる可能性があります。
しかし、距離集中が存在する場合でも、明確な集団構造が残っていることがあります。
そのため、クラスタリングの有効性を評価する際には、距離の分布だけでなく、クラスタの安定性や外部変数との関係も確認する必要があります。
また、クラスタリングの結果が明瞭に見えることと、その分類が分析目的にとって適切であることは同じではありません。
例えば、クラスタ内の距離が小さく、クラスタ間の距離が大きい場合でも、その分類が実務上の重要な違いを説明しているとは限りません。
高次元データに対する主な対処方法
次元の呪いに対しては、さまざまな対処方法が考えられます。
ただし、すべての高次元問題を一つの方法で解決することはできません。
| 対処方法 | 主な目的 | 注意点 |
|---|---|---|
| 特徴選択 | 重要な変数を残し、不要な変数を除く | 未知の重要な特徴まで除外する可能性 |
| PCA | 線形的な分散構造を少数の成分へ集約する | 分散の大きさと目的上の重要性は一致しない |
| UMAPなどの非線形次元削減 | 局所的な構造を利用して低次元へ表現する | 元の距離や構造が完全に保存されるわけではない |
| 特徴の重みづけ | 目的に関係する特徴を重視する | 重みを設定する根拠が必要 |
| 距離尺度の変更 | 問題に合った近さを定義する | どの尺度も普遍的に優れているわけではない |
| 正則化 | 推定や学習の過度な複雑化を抑える | モデルの仮定によって有効性が変わる |
| データの追加 | 推定に必要な情報を増やす | 高次元空間全体を網羅できるとは限らない |
| 局所構造の利用 | データ全体ではなく局所的な関係を分析する | 局所構造の推定自体が不安定な場合がある |
重要なのは、どのような問題を解決したいのかを明確にすることです。
計算量が問題であれば、計算方法の改善が必要かもしれません。
距離集中が問題であれば、特徴表現や距離尺度を見直すことが考えられます。
未知のパターンを発見したい場合には、既知の目的変数に基づく特徴選択が、必ずしも適切とは限りません。
特徴を減らすことは、情報を捨てることなのか
次元削減については、「特徴を減らせば重要な情報まで失われるのではないか」という疑問が生じます。
これは正当な問題です。
実際、次元削減では、元の情報の一部が失われる場合があります。
しかし、多数の特徴が互いに強く相関している場合には、同じような情報が重複して表現されている可能性があります。
また、ノイズ的な特徴を除くことで、目的に関係する構造が明確になる場合もあります。
一方、利用頻度の低い特徴や分散の小さい特徴が、重要でないとは限りません。
例えば、非常にまれな異常を検出したい場合には、通常ほとんど変化しない特徴が、異常時にだけ大きく変化することがあります。
こうした特徴は、全体の分散だけに基づいて選択すると、重要性を過小評価する可能性があります。
したがって、情報の削減は、変数の数を少なくすることそのものを目的にするべきではありません。
分析の目的にとって必要な情報を保持しながら、不要な複雑さを抑えることが重要です。
科学・工学における意味
次元の呪いは、機械学習以外の科学・工学にも重要な問題を提起します。
例えば、物理学では、多数の自由度を持つ系を扱います。
制御工学では、多数の状態変数を持つシステムの動作を予測し、適切な制御入力を求める必要があります。
統計学では、多くの変数を持つデータから、限られた観測数によってモデルを推定する問題があります。
また、実験計画法では、因子や水準の数が増加すると、すべての条件の組み合わせを実験することが困難になります。
| 分野 | 高次元化による代表的な問題 |
|---|---|
| 制御工学 | 状態空間の拡大、最適制御の計算負荷 |
| 統計学 | 高次元パラメータの推定、過学習 |
| 実験計画法 | 因子・水準の組み合わせの増大 |
| 材料科学 | 多数の構造・組成・物性の関係 |
| 物理学 | 多自由度系の状態表現と統計的な性質 |
| マーケティング | 多数の属性による顧客分類の複雑化 |
| 意思決定分析 | 評価基準の増加と判断の複雑化 |
ただし、例えば統計物理学では、多数の自由度が存在することによって、巨視的な法則性を扱いやすくなる場合もあります。
そのため、高次元化の問題を、常に情報が多すぎて処理できないという単純な問題として考えるべきではありません。
高次元性によって難しくなる問題と、逆に規則性が現れやすくなる問題を区別する必要があります。
意思決定分析への示唆
企業の意思決定では、多数の評価基準を利用して候補を比較する場合があります。
例えば、新規事業の候補について、市場規模、成長率、利益率、技術力、競争力、研究開発費、事業化期間など、多数の項目を評価することが考えられます。
評価基準を増やせば、より多面的な判断が可能になります。
しかし、そのことによって判断が必ず改善されるわけではありません。
例えば、同じ意味を持つ評価項目を複数利用すると、特定の側面が重複して評価される場合があります。
また、実際には重要でない項目が多数含まれていれば、重要な項目の影響が相対的に小さくなる可能性があります。
さらに、評価基準の数が増えると、評価値の取得や重みづけの負担も増大します。
ただし、意思決定分析における基準の重複や重みづけの問題は、数学的な距離集中と同じ現象ではありません。
両者には、特徴を増やして平等に扱うことが、必ずしも適切な区別につながらないという方法論上の共通性があります。
概念形成と異分野探索への示唆
概念形成（Concept Formation）や異分野探索（Cross-Domain Exploration）でも、類似性は重要な役割を持っています。
例えば、ある技術の特徴を詳しく列挙して、その技術に似た技術を探すことができます。
しかし、元の技術の細部をすべて同等に扱えば、同じ専門分野の類似技術ばかりが見つかるかもしれません。
一方、技術の機能や構造を抽象化することで、異なる分野に存在する、別の作用原理を持つ技術を探索できる場合があります。
例えば、「自己修復材料」という技術カテゴリーを検索する代わりに、「損傷した場所へ補修物質を繰り返し供給する」という機能に注目します。
すると、材料科学以外の分野にある供給ネットワークや物質輸送の仕組みも、探索対象として考えることができます。
これは、単に変数を減らすこととは異なります。
何を重要な特徴として扱うかを変更し、対象を別の概念によって捉え直す活動です。
次元の呪いや醜いアヒルの仔の定理は、そのような特徴選択の必要性を考えるための基礎になります。
ただし、異分野探索がこれらの数学的な問題を直接解決するという意味ではありません。
また、抽象化によって発見された技術的な類似性が、実際に転用可能であるとは限りません。
重要なのは、探索に利用する特徴と、発見した候補を評価する特徴を、目的に応じて適切に扱うことです。
ThinkNaviにおける次元の呪いと球面集中現象
ThinkNaviでは、次元の呪いと球面集中現象を、多変量データの幾何学的な性質を理解し、特徴選択、類似性、分類、概念形成を考えるための基礎理論として位置づけます。
この問題は、統計学や機械学習の技術的な問題であると同時に、対象をどのような特徴によって表現するかという、より一般的な思考上の問題にも関係しています。
例えば、ある製品を分類する場合、寸法、価格、性能などの特徴に基づいて分類できます。
しかし、その分類の結果は、どの特徴を利用するかによって変わります。
特徴を増やすことによって、対象を詳しく表現できる場合がありますが、関係のない特徴まで増やせば、重要な違いを識別しにくくなる可能性があります。
ThinkNavi Freeでは、高次元の幾何学的な性質を理解するための簡単な計算・可視化ツールが考えられます。
例えば、次元数を変更したときに、高次元球の外側の層が占める体積の割合がどう変化するかを計算できます。
また、ランダムに生成した多次元データについて、次元数を変更しながら、距離の平均、ばらつき、最近傍距離、最遠方距離などを比較することも考えられます。
さらに、同じデータについて特徴の数や重みを変更し、対象間の距離やクラスタリングの結果がどのように変化するかを確認できるようにすることも有用です。
ただし、こうしたシミュレーションでは、生成するデータの確率分布や特徴間の関係を明示する必要があります。
ランダムデータで確認された現象が、実際のあらゆる高次元データに当てはまるわけではありません。
LLM活用版では、多次元データの分析目的に応じて、特徴の選択、距離尺度、次元削減方法などを検討するための説明や提案を支援できます。
しかし、具体的なデータの構造を確認しないまま、特定の方法を推奨することは適切ではありません。
ConceptMiner R&Dへの示唆
ConceptMiner R&Dでは、技術文献などから得られた情報を埋め込みベクトルとして表現し、概念構造を分析します。
このような処理では、高次元空間における類似性や距離の問題が重要になります。
例えば、文書の埋め込みベクトルについて、元の高次元空間で直接クラスタリングする場合と、UMAPなどによって次元削減した後にクラスタリングする場合では、結果が異なる可能性があります。
高次元空間で距離集中やノイズの累積が生じていれば、直接的な距離計算が有用な近傍関係を捉えにくい場合があります。
一方、次元削減では、元のデータの一部の情報が失われたり、近傍関係が変化したりする可能性があります。
したがって、どちらかの方法が理論的に常に優れているとはいえません。
また、UMAPによって次元を削減したデータをGNGの学習へ利用する場合、GNGは、元の埋め込み空間そのものではなく、UMAPによって形成された空間の距離構造を学習することになります。
これは、分析の目的によっては有効な方法です。
しかし、元の空間に存在する意味的・技術的な関係が、どの程度保存されているかを確認する必要があります。
例えば、近傍の一致率、複数条件でのクラスタの安定性、技術的な意味の解釈などを利用して、分析結果を評価することが考えられます。
さらに重要なのは、埋め込みベクトルによる意味的な類似性が、技術的な機能や構造の類似性と、必ずしも一致しないことです。
例えば、自己修復材料と生物の物質輸送系は、使用される専門用語や具体的な対象が異なっています。
しかし、抽象的な供給構造という観点では、共通性を持つ場合があります。
このような関係を発見するには、文章の一般的な意味的類似性だけでなく、技術要素の抽出、機能の抽象化、構造の対応分析などが必要になる場合があります。
したがって、ConceptMiner R&Dでは、埋め込みによる情報整理と、抽出された技術要素による概念探索を、異なる役割として組み合わせることが考えられます。
距離を適切に計算することと、何を技術的な類似性として重視するかを決めることは、別の問題です。
実務上、何を確認すべきか
高次元データを分析するときには、単に次元の数だけを確認するのではなく、次のような点を検討することが重要です。
| 確認する項目 | 主な問い |
|---|---|
| 観測次元 | 何個の変数や特徴量を利用しているか |
| 特徴の意味 | 各変数は分析目的に対して何を表しているか |
| 特徴間の関係 | 変数の重複や相関はどの程度存在するか |
| 内在的な構造 | 少数の自由度で説明できる構造があるか |
| 距離分布 | 距離の大きさや相対的な差はどうなっているか |
| 近傍の安定性 | 特徴や尺度の変更によって近傍関係は変わるか |
| クラスタの安定性 | 分析条件を変更しても構造が維持されるか |
| 外部的な妥当性 | 分類や近傍が実際の技術・業務上の意味と対応するか |
| 次元削減の影響 | 元の空間のどのような情報が保持・変化したか |
例えば、埋め込みベクトルを分析する場合、ユークリッド距離とコサイン類似度を比較することが考えられます。
また、次元削減の前後で、近傍の順位がどの程度一致するかを調べることもできます。
ただし、これらの評価だけで技術的な意味の正しさを保証できるわけではありません。
必要に応じて、文書の内容、専門知識、独立した評価データなどを用いて結果を確認することが重要です。
まとめ：次元を増やすことと、意味を発見すること
次元の呪いは、特徴や状態変数の数が増えるにつれて、計算量、必要なデータ量、推定の難しさなどが増大する問題を広く表しています。
高次元空間では、球の体積が表面近くへ集中したり、ランダムな方向がほぼ直交したりするなど、二次元や三次元の直感とは異なる幾何学的な性質が現れます。
また、一定の確率分布や距離尺度の下では、対象間の距離の相対的な差が小さくなる距離集中が生じます。
しかし、これらの現象は、すべての高次元データに同じように発生するわけではありません。
データの分布、特徴の相関、内在次元、距離尺度、分析目的などによって、重要な構造が維持される場合もあります。
そのため、次元の呪いへの対処では、単に変数の数を減らすことだけでなく、何を重要な情報として保持し、どのような関係を分析するべきかを考える必要があります。
醜いアヒルの仔の定理との比較は、この問題をさらに一般的な概念形成や認識の問題へ結びつけます。
醜いアヒルの仔の定理は、あらゆる可能な特徴を同等に扱うだけでは、類似性を区別できないことを示します。
高次元での距離集中は、一定の条件の下で、多数の特徴を使った距離計算が、対象間の重要な違いを捉えにくくなる可能性を示しています。
両者は異なる数学的な現象ですが、特徴を増やすことだけでは、適切な分類や意味の発見が保証されないという共通の示唆を持っています。
これは、多変量解析や機械学習だけでなく、研究開発、意思決定、技術探索、概念形成にとっても重要な問題です。
対象を詳しく記述することと、対象の本質的な特徴や関係を理解することは同じではありません。
大量の情報を収集し、多数の特徴を分析できるAI時代だからこそ、何を重要な特徴として扱い、どのような関係を発見したいのかを明確にすることが必要になります。
英語表記： Curse of Dimensionality and Concentration Phenomena in High-Dimensional Spaces
関連する用語： Curse of Dimensionality、High-Dimensional Geometry、Concentration of Measure、Thin-Shell Concentration、Distance Concentration、Almost Orthogonality、Nearest Neighbor Search、Hubness、Intrinsic Dimension、Effective Dimension、Manifold Hypothesis、Dimensionality Reduction、Feature Selection、Feature Weighting、Metric Learning、Blessing of Dimensionality
関連する思考技法・理論：
- 機械学習とは | 専門家だけの技術から、誰もが使える分析・発見の道具へ
- 醜いアヒルの仔の定理 ― 「似ている」はどこから生まれるか
- 概念形成とカテゴリー化 | 分け方を変えると、何が見えてくるか
- 認識論｜私たちは何を、どのように知るのか
- 抽象化とは | 具体的な事象から特徴・機能・構造を取り出し、新しい可能性を発見する思考方法
- 多変量解析、
- 主成分分析、
- クラスタリング、
- UMAP、
- GNG、
- 機械学習、
- ノーフリーランチ定理、
- 構造写像理論｜異なる対象の関係構造を対応づけ、新しい推論を生み出す
- 異分野探索とは | 専門領域の境界を越え、未知の技術・知識・解決方法を発見する思考方法
- 概念調査とは | 新しい概念と未知の可能性を発見する思考方法
参考文献・資料
- Richard Bellman, Dynamic Programming, Princeton University Press, 1957. 次元の呪いという用語の起源に関係する、動的計画法の基本的な著作。
- Richard Bellman, Adaptive Control Processes: A Guided Tour, Princeton University Press, 1961. 多次元の状態変数を持つ最適化・制御の計算困難性を扱った著作。
- Kevin Beyer, Jonathan Goldstein, Raghu Ramakrishnan, and Uri Shaft, “When Is ‘Nearest Neighbor’ Meaningful?,” Database Theory—ICDT ’99, Lecture Notes in Computer Science, Vol. 1540, pp. 217–235, 1999. 高次元データにおける近傍距離の集中と、その発生条件を検討した研究。
- Charu C. Aggarwal, Alexander Hinneburg, and Daniel A. Keim, “On the Surprising Behavior of Distance Metrics in High Dimensional Spaces,” Database Theory—ICDT 2001, Lecture Notes in Computer Science, Vol. 1973, pp. 420–434, 2001. 高次元における距離尺度の振る舞いを分析した研究。
- “When Is ‘Nearest Neighbour’ Meaningful: A Converse Theorem and Implications,” Journal of Complexity, Vol. 25, No. 4, pp. 385–397, 2009. 高次元で距離集中が生じない条件と、近傍探索の意味について検討した研究。
- Miloš Radovanović, Alexandros Nanopoulos, and Mirjana Ivanović, “Hubs in Space: Popular Nearest Neighbors in High-Dimensional Data,” Journal of Machine Learning Research, Vol. 11, pp. 2487–2531, 2010. 高次元データにおけるハブネスと近傍探索・分類への影響を研究。
- Elizaveta Levina and Peter J. Bickel, “Maximum Likelihood Estimation of Intrinsic Dimension,” Advances in Neural Information Processing Systems 17, 2004. 近傍点間の距離を利用した内在次元推定の研究。
- Leland McInnes, John Healy, and James Melville, “UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction,” arXiv:1802.03426, 2018. 多様体学習と局所的な関係の保持に基づく非線形次元削減の研究。
- Miloš Radovanovićらの研究に関連する高次元データの解析研究、およびAlexander N. Gorbanらによる「Blessing of Dimensionality: Mathematical Foundations of the Statistical Physics of Data」, 2018. 高次元空間の幾何学的・確率的な性質が持つ利点についての研究。
- High-Dimensional Space, University of California, Berkeley. 高次元空間の体積、測度集中、球面上の幾何学などについての教材。
- Satosi Watanabe, Knowing and Guessing: A Quantitative Study of Inference and Information, Wiley, 1969. 醜いアヒルの仔の定理、類似性、分類、推論を扱った著作。