【超初心者向け】ガウス過程とは？出来る限り分かりやすく簡潔に説明します。
この記事では，研究のサーベイをまとめていきたいと思います。ただし，全ての論文が網羅されている訳ではありません。また，分か
感想として、いくつかの箇所で表現が正確ではなく、誤解を招き得ると感じました。本質的と思われる点のみ、以下に指摘させていただきます。
スライド p.9 で、パラメトリックモデルの問題点として「モデル選択が自明ではない」とありますが、「自明なモデル選択」が存在するかのような書きぶりは不適切ではないでしょうか。実際には、ガウス過程においてもモデル選択は決して自明ではなく、どのようなカーネルを用いるかが予測に本質的な影響を与えます。 また、p.10 で「ノンパラモデルにもパラメータはあるがモデルの明示的な形状ではなく複雑度を決定する」とありますが、この説明は正確とは言えないように思います。カーネルの選択・与え方は単に複雑度だけでなく、予測分布の形そのものを大きく左右しますので、この点が反映されていないように感じました。
「モデルを自動で選択」という表現も、現状の記述ではミスリーディングだと思われます。この場合、どのようなモデル候補集合を想定し、その中からどのような仕組みで「自動的に」選択されると主張しているのかが明確ではありません。読者に誤った印象を与えないためにも、ここは具体的に説明するか、表現を見直す必要があるように感じます。
p.10 のパラメトリックモデルに関する「将来の予測はパラメータに依存」という説明は、そのままでは不十分だと思います。同様のことはノンパラメトリックな手法にも当てはまるため、パラメトリックとノンパラメトリックの対比としては適切ではありません。両者の違いが曖昧になってしまっており、記述の修正が必要と考えます。
p.10 の「少ないデータでも妥当な予測が可能」という主張については、どのような問題設定・仮定のもとで成り立つのかが示されておらず、このままでは過度に一般的な主張になっていると思います。少数データの場合、状況によってはむしろパラメトリックモデルの方が妥当な予測を与えるケースも少なくありません。この構成だと、「ノンパラの方が少数データに一律に適している」という誤解を与えかねないため、主張の範囲を明確に限定するか、表現を見直した方がよいと考えます。
「ガウス分布というのは，ガウス分布に従う入力が与えられたときに，出力もガウス分布に従うようなモデルのことを指します。」という説明は、定義として明らかに不適切であり、読者を混乱させる表現だと思います。ここは少なくとも、一般に理解されている「ガウス分布（およびガウス過程）」の定義・性質と整合するように、根本的な書き換えが必要ではないでしょうか。
ガウス過程とは？
なんか強そうな名前だよな。非線形 な関係もモデル化できる データが存在する場所では 正確 に データが足りない場所では 曖昧 に ニューラルネットワークの 理論的モデル
ガウス過程は… ●無限次元のガウス分布 ●ガウスカーネルを無限個用意した線形回帰 ●ガウスカーネルを変形した結果
ガウス過程の説明①
…？無限次元のガウス分布って？ガウス過程の説明②
以下，スライドの貼り付けが連続しますが，ご容赦下さい。つまり，パラメータを分布という確率密度で表現してあげることで， あいまいさを持たせた状態でモデル化できる という訳です。さて，ここからは線形回帰モデルを行列で表して，事前分布の仮定を導入していきます。
見事，出力$\boldsymbol$もガウス分布に従うことが示されました。ここで，最初のサイコロの例に戻ってみましょう。出力である関数が$\mathcal(\boldsymbol,\boldsymbol)$に従うというのは， $N$次元の中で定義される多次元正規分布の中の１点が，ある１つの関数に対応している ということを意味しています。つまり，サイコロを振るという操作は，多次元正規分布から１点をサンプリングするという操作と同じなのです。
ガウス過程の説明③
実際はノイズが付加される
ノイズがガウス分布以外に従うような場合は，EMアルゴリズム等の近似手法を利用することになります。ガウス過程の予測分布
イメージアニメーション
大問題
まとめ
ガウス過程の予測分布は， カーネルのみで表すことができている点 が重要です。ここでも，重みパラメータを明示的に扱っている訳ではありません。カーネルの世界で話を進めているのです。また，ガウス過程の大問題はカーネル行列の計算ですが，計算量を減らすために多くの取り組みがなされてきました。
おすすめ参考書
●Pattern Recognition and Machine Learning, Christopher Bishop ●Deep Neural Network as Gaussian processes [Lee et al. 2018] ●ガウス過程と機械学習 [持橋, 2019]
京都大学で機械学習を学んでいます。【第１章序論】PRML演習問題解答を全力で分かりやすく解説！＜1.3＞
2019年4月20日 zuka【第10章】PRML演習問題解答を全力で分かりやすく解説＜10.29＞
2020年3月4日 zuka【かゆい所に手が届く】EMアルゴリズム解説とPythonによるGMM（混合ガウス分布）への実装。
2019年7月22日 zuka【第１章序論】PRML演習問題解答を全力で分かりやすく解説！＜1.2＞
2019年4月20日 zuka【第６章カーネル法】PRML演習問題解答を全力で分かりやすく解説＜6.5＞
2019年6月3日 zuka【超初心者向け】TensorFlowのチュートリアルを読み解く。
2019年6月20日 zuka POSTED COMMENT感想として、いくつかの箇所で表現が正確ではなく、誤解を招き得ると感じました。本質的と思われる点のみ、以下に指摘させていただきます。 スライド p.9 で、パラメトリックモデルの問題点として「モデル選択が自明ではない」とありますが、「自明なモデル選択」が存在するかのような書きぶりは不適切ではないでしょうか。実際には、ガウス過程においてもモデル選択は決して自明ではなく、どのようなカーネルを用いるかが予測に本質的な影響を与えます。 また、p.10 で「ノンパラモデルにもパラメータはあるがモデルの明示的な形状ではなく複雑度を決定する」とありますが、この説明は正確とは言えないように思います。カーネルの選択・与え方は単に複雑度だけでなく、予測分布の形そのものを大きく左右しますので、この点が反映されていないように感じました。 「モデルを自動で選択」という表現も、現状の記述ではミスリーディングだと思われます。この場合、どのようなモデル候補集合を想定し、その中からどのような仕組みで「自動的に」選択されると主張しているのかが明確ではありません。読者に誤った印象を与えないためにも、ここは具体的に説明するか、表現を見直す必要があるように感じます。 p.10 のパラメトリックモデルに関する「将来の予測はパラメータに依存」という説明は、そのままでは不十分だと思います。同様のことはノンパラメトリックな手法にも当てはまるため、パラメトリックとノンパラメトリックの対比としては適切ではありません。両者の違いが曖昧になってしまっており、記述の修正が必要と考えます。 p.10 の「少ないデータでも妥当な予測が可能」という主張については、どのような問題設定・仮定のもとで成り立つのかが示されておらず、このままでは過度に一般的な主張になっていると思います。少数データの場合、状況によってはむしろパラメトリックモデルの方が妥当な予測を与えるケースも少なくありません。この構成だと、「ノンパラの方が少数データに一律に適している」という誤解を与えかねないため、主張の範囲を明確に限定するか、表現を見直した方がよいと考えます。 「ガウス分布というのは，ガウス分布に従う入力が与えられたときに，出力もガウス分布に従うようなモデルのことを指します。」という説明は、定義として明らかに不適切であり、読者を混乱させる表現だと思います。ここは少なくとも、一般に理解されている「ガウス分布（およびガウス過程）」の定義・性質と整合するように、根本的な書き換えが必要ではないでしょうか。