nagoya institute of technologytakeuchi/t/nipb/nipb12_web.pdfnagoya institute of technology...

Nagoya

Institute of

Technology

ニューラルネットワーク３

竹内一郎

（名古屋工業大学）

Nagoya Institute of Technology

階層型ニューラルネットの適応的基底関数

0

1

threshold

0 / 1

Nagoya Institute of Technology

シグモイド関数の特徴

Nagoya Institute of Technology

階層型ニューラルネット

Nagoya Institute of Technology

階層型ニューラルネットの学習

学習データ

学習誤差

パラメータ

Nagoya Institute of Technology

非線形最適化のイメージ

パラメータ空間

最適解初期値

Nagoya Institute of Technology

最急降下法の収束

Nagoya Institute of Technology

局所解と大域解

Nagoya Institute of Technology

Nagoya Institute of Technology

階層型ニューラルネットの学習

学習データ

学習誤差

パラメータ

Nagoya Institute of Technology

中間変数の導入

Nagoya Institute of Technology

順方向計算

Nagoya Institute of Technology

順方向計算過程

Nagoya Institute of Technology

逆方向計算

Nagoya Institute of Technology

逆方向計算過程

Nagoya Institute of Technology

順方向・逆方向計算

Nagoya Institute of Technology

課題１

Nagoya Institute of Technology

課題２

Nagoya Institute of Technology

課題３

Nagoya Institute of Technology

課題４

Nagoya Institute of Technology

階層型ニューラルネットにおけるモデル選択

Nagoya Institute of Technology

階層型ニューラルネットの学習アルゴリズム(1)

パラメータ

Nagoya Institute of Technology

階層型ニューラルネットの学習アルゴリズム(2)

アルゴリズムへの入力

学習データ行列：

隠れ層ユニット数：

初期学習率：

学習減衰率：

最大学習ステップ数：

Nagoya Institute of Technology

階層型ニューラルネットの学習アルゴリズム(3)

ステップ1: パラメータの初期化

ステップ2:学習誤差, 勾配ベクトルの計算

ステップ3: 収束判定

ステップ4:パラメータ更新