カーネル法のもとになる考え方?

新たに観測された対象に関するd次元データ

が与えられたとき、線型モデル

でその対象があるクラスに分類されるか否かを予測することを試みる。

事前にl個の学習データ(x₁, x₂, …, x_l)があるとき、その中のi番目の学習データx_iと新規観測データxとの類似度はしばしば内積すなわち

で表される。ここで新規観測データxのl個の学習データに対する各類似度に重みα_iを掛けて、

  

としよう。x_iが対象クラスに属している場合、α_iの値をなるべく大きくとるようにすれば、x_iが新規観測データxに類似しているとき、w^Txが高い値をとりやすくなる。先ほどの予測のためのモデルは、

となる。また、xのある関数ϕが存在し、

もx_iとxとの類似度を表す場合、

も予測のためのモデルとなる。例え関数ϕの計算が非常に複雑でも、ϕ(x_i)^Tϕ(x)の計算が簡単であれば、f(ϕ(x))が簡単に求まる。