a robust modeling for multiple nonlinear regression using bezier surface

國立雲林科技大學工業工程與管理研究所

論文計劃

貝 曲面之複迴歸模式建立與分析玆貝 曲面之複迴歸模式建立與分析玆

研 究 生：簡俊能

口試委員：童超塵 博士口試委員：鄭博文 博士指導教授：袁明鑑 博士

中華民國九十一年一月十四日

報 告 大 綱

一、研究背景、動機與目的

二、研究步驟

三、文獻探討

四、研究方法

五、預期成果與研究進度

SimLabSimLab 22

迴歸模型是探討兩個或兩個以上變數之間的關係故

其可以廣泛的應用在工程，商學，社會科學等領域

各種迴歸方法皆有其模式假設與限制

線性迴歸模型分析必須事先假設迴歸函數但是通常

在無充足知識前提之下假設迴歸模式是不適當且困

難的

貝玆曲面的幾何性質能以控制點調整建立曲面參數式

將資料點當作控制點描述貝玆迴歸曲面並建立複迴

歸模型

SimLabSimLab 33

一、研究背景、動機與目的 研究背景及動機

研究目的

1. 建立貝玆曲面與複迴歸模型結合方法2. 提供不需要事先假設模式的複迴歸模型3. 驗證貝玆迴歸模型的統計分析能力4. 證明貝玆迴歸的收斂性質5. 比較各種迴歸方法的優缺點

SimLabSimLab 44

研究背景、動機與目的

SimLabSimLab 55

二、研究 驟步二、研究 驟步

研究動機與目的

結論

文獻探討

與傳統回歸做比較

建立模型

•貝玆曲面的幾何性質•貝玆迴歸模式的假設 與建立•變異數之估計與分析•Goodness of fit test•收斂性質的證明估計預測區間與信賴區間

貝玆曲線參數性質

傳統迴歸模型

各種迴歸方法

三、文 獻 探 討

SimLabSimLab 66

傳統線性迴歸 簡單迴歸

複迴歸

幾何模型貝茲曲線

貝茲曲面

各種迴歸模式

Fuzzy 模糊迴歸理論GMDH(group method of data handling)

類神經網路

無母數迴歸

傳統線性迴歸

:

文 獻 探 討

SimLabSimLab 77

2R

求樣本數 檢 數據是否有異常查 值

算出相關係數矩陣決定可刪除的變數

判定自變項與應變項應有何種曲線關係

對所有可能模式進行forward 、 backward 、 stepwise 分

析視情況而定

以 Cp 、 MSE 、 PRESS 或 為指標、選取適當模式

若模式不適合再尋求其他可能因素實驗之蒐集新資料、檢驗模式及其預估結果

利用 Hold-out sample 檢驗模式及其預估效果

2. 模式選擇：

1. 資料收集

3. 模式驗證

4. 限制 預測變數無線性相關

殘差項滿足平均 為零之常態分布值

觀察 無自我相關現象值

各種迴歸模式文 獻 探 討

SimLabSimLab 88

Fuzzy 模糊迴歸理論

自變數與應變數呈線性關係，且可以依模式設定做不同形式之轉換模糊參數只模糊迴歸中的迴歸係數為模糊數。所有的解釋變數的係數均為 L-type 的模糊數，模糊迴歸最主要的概念是在某各水準下 ,實際觀測 的截集能被估計 的截集所包含值 值

GMDH(group method of data handling)

.GMDH 方法由 Ivakhnenko 所提出，其基本構想為利用起始變數為出發點，將所有解釋變數藉 之二次多項式

求出 Y 之迴歸方程式以建立較複雜新方程式，同時從其中選擇較佳之方程式，使得新方程式更能適當描述此系統 .

),...,,( 21 mxxx

各種迴歸模式文 獻 探 討

類神經網路 (BACK-error Propagation Neural Network)

1. 類神經網路於 1986 年由 Rumelhart 提出後才廣為人知 ,BPN屬於類神經網路中的監督式學習網路， 是第 i 個輸入層支入變數經過隱藏層與輸出層算出網路的輸出變數 Y ，從學習範例的目標輸出變數值 T 與網路輸出變數值 Y 比較球出誤差 ，BPN 的主要特色為加入隱藏層與使用非線性活化函數 .

iX

SimLabSimLab 99

無母數迴歸無母數迴歸分析最主要是從一種具有干擾資料中，估計迴歸函數以及找出原函數資料原有特性之平滑法，是一種近年來常用的資料分析方法 smoother 是用來表示反應變數 Y 與一個或多個預測變數之間關係的一項工具一般常見的 smoother 包括 Bin smoothers 、 Runnning-mean smoother 、 running-line smoother 、 kerner smoother

幾何模型文 獻 探 討

B é z i e r Curve 的定義

稱之為 Bernstein 多項式基底

),...,( 10 nxxxx ≡PitBtPn

i

ni ⋅=∑

=

)()(0

]1, 0[ ∈t

),...,( 10 nyyyy ≡

inini tt

ini

ntB −−

−≡ )1(

)!(!

!)(

定義

其中

SimLabSimLab 1010

假設 {}n p p p p,.., , ,2 1 0

為 n+1 個控制點 (control points)

由此控制點集形成的貝茲曲線定義如下：}0|),{( niyxP iii <<=

當參數 t 由 0 變化至 1 時其軌跡即為

貝茲曲線

幾何模型文 獻 探 討

SimLabSimLab 1111

B é z i e r Curve 的特性

(1) 基底函數均為正實數

(2) 定義曲線之多項式次數較定義多邊形少一

(3) 摻合函數 (blending function) 的最大值

發生於 t=i/n ( i=0,1, …,n)

(4) 曲線必通過第一和最後一個控制點

(5) 該曲線必包含於控制點所形成的凸殼中 (convex hull) 中

(1) 基底函數均為正實數

(2) 定義曲線之多項式次數較定義多邊形少一

(3) 摻合函數 (blending function) 的最大值

發生於 t=i/n ( i=0,1, …,n)

(4) 曲線必通過第一和最後一個控制點

(5) 該曲線必包含於控制點所形成的凸殼中 (convex hull) 中

)(tBni

1 2 3 4 5 6 7 8 90

1

2

3

4

5

6

7

1 2 3 4 5 6 7 8 90

1

2

3

4

5

6

7

1 2 3 4 5 6 7 8 90

1

2

3

4

5

6

7

1 2 3 4 5 6 7 8 90

1

2

3

4

5

6

7

1 2 3 4 5 6 7 8 90

1

2

3

4

5

6

7

B é z i e r Curve 性質

幾何模型文 獻 探 討

SimLabSimLab 1212

當控制點上移時曲線形狀被向上吸

引

當控制點下移時曲線形狀被向下吸

引

當控制點右移時曲線形狀被向右吸引

貝茲曲線外型由控制點所決

定

幾何模型文 獻 探 討

20 30 40 50 60 70 80 90 100-1

-0.5

0

0.5

1

1.5

2

·í±± î̈ÂI¼Æ¬°n+1=100­Ó

0 10 20 30 40 50 60 70 80 90 100-3

-2

-1

0

1

2

3

·í±± î̈ÂI¼Æ¬°n+1=100­Ó

0 10 20 30 40 50 60 70 80 90 100-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

2.5

·í±±̈ îÂI¼Æ¬°n+1=100­Ó

0 10 20 30 40 50 60 70 80 90 100-4

-3

-2

-1

0

1

2

3

4

·í±±¨îÂI¼Æ¬°n+1=100­Ó

SimLabSimLab 1313

控制點數為 100

控制點個數為 5 控制點個數為 10

控制點數為 1000

被茲曲線近近收斂於 y=0

0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 0 1 0 00

1 0 0 0

2 0 0 0

3 0 0 0

4 0 0 0

5 0 0 0

6 0 0 0

7 0 0 0

8 0 0 0

9 0 0 0

·í± ± ¨î I ¼ Æ ¬ °n + 1 = 1 0 0 ­Ó

0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 0 1 0 00

1 0 0 0

2 0 0 0

3 0 0 0

4 0 0 0

5 0 0 0

6 0 0 0

7 0 0 0

8 0 0 0

9 0 0 0

1 0 0 0 0

·í± ± ¨î I ¼ Æ ¬ °n + 1 = 1 0 0 ­Ó

幾何模型文 獻 探 討

SimLabSimLab 1414

貝茲曲線對於曲線的收斂性更加優越

四、 研究方法

B é z i e r surface 特性

B é z i e r 迴歸之收斂性質

B é z i e r 迴歸基本假設

B é z i e r 迴歸之統計分析

B é z i e r 迴歸實驗

SimLabSimLab 1515

B é z i e r Surface 特性

方法論

定義

假設{ }njmizyxQ ijijijij <<<<= 0,0|),,(3RQij ∈

為 (m+1)*(n+1) 個控制點集， B é z i e r 曲面形完全由這些控制點所決定茲將 B é z i e r 曲面定義如下 :

Let U(u,v)

2R∈ 作一線性映射至 空間形成一參數曲面3R32: RRU →⊂ℵ ]1,0[, ∈vu

ij

n

j

nj

m

i

mi QvBuBvuS ∑∑

==

=00

)()(),(

imimi uu

imi

muB −−

−≡ )1(

)!(!

!)(

jnjnj vv

jnj

nvB −−

−≡ )1(

)!(!

!)(

]1,0[∈u ]1,0[∈v

稱之為 Bernstein 多項式基底

SimLabSimLab 1616

),( *** vuS∀ in S can representation 如下 :

ij

m

i

n

j

nj

mi QvBuBvuS ∑∑

= =

=0 0

***** )()(),(

( ) ( ) )(**

0

)(*

0

* )1()1()()( jmn

j

m

i

jmn

j

mi vvuu

ji −

=

−

=

−−= ∑∑

B é z i e r Surface特性

方法論

S(U,V) 其為一 regular surface by χ.a

χ.b1. −χc

Is differentiable.

Is homomorphism.

Is continous.

SimLabSimLab 1717

B é z i e r Surface特性

方法論

SimLabSimLab 1818

貝茲曲面的收斂過程 z=f(x,y)=0當控制點為 10*10=100個

B é z i e r Surface特性

方法論

SimLabSimLab 1919

貝茲曲面的收斂過程 z=f(x,y)=0當控制點為 33*33=999個

B é z i e r Surface特性

方法論

SimLabSimLab 2020

貝茲曲面的收斂過程 z=f(x,y)=0當控制點為 70*70=4900個

B é z i e r Surface特性

方法論

SimLabSimLab 2121

貝茲曲面的收斂過程 z=f(x,y)=0當控制點為 100*100=10000個

B é z i e r Surface特性

方法論

一階導數性質B é z i e r Surface的一階導數

)()(),( ' vBuB

u

vuB nj

mi=

∂∂

( ){ } )()1()()1( 11 vBuuimuiu nj

imiimimi

−−−− −−−−=

)()(),( vBuBvuB mj

mi=令

∑∑

∑∑

=

=

m

iij

n

j

nj

miu

m

iij

n

j

nj

miu

QvBuBvuS

QvBuBvuS

)()(),(

)()(),(

'

'

)()()1(

)(vBuB

uu

mui nj

mi−

−=

)()(),( ' vBuB

v

vuB nj

mi=

∂∂

( ){ } )()1()()1( 11 uBvvjnvjv mi

jnjjnjnj

−−−− −−−−=

)()()1(

)(vBuB

vv

nvj nj

mi−

−=

SimLabSimLab 2222

B é z i e r Surface特性

方法論

二階導數性質

∑∑

∑∑

=

=

m

iij

n

j

nj

miu

m

iij

n

j

nj

miuu

QvBuBvuS

QvBuBvuS

)()(),(

)()(),(

''

''

)()(),( vBuBvuB mj

mi=令

)()(),(),( ''

2

2

vBuBu

vuB

u

vuB nj

mi=

∂∂

∂∂=

∂∂

)(*)()1(

)21()(22

22

vBuBuu

uimumui nj

mi

−−−−−=

)()(),(),( ''

2

2

vBuBv

vuB

v

vuB nj

mi=

∂∂

∂∂=

∂∂

)(*)()1(

)21()(22

22

vBuBvv

vjnvnvj nj

mi

−−−−−=

SimLabSimLab 2323

B é z i e r Surface迴歸基本假設

方法論

B é z i e r Surface之複迴歸模式假設假設反應變數與預測變數關係式如下：1.對於不同之 ),|( ijij yxzf

所對應的 (m+1)(n+1)個參數再由所對應的 ijZ

),( ijij yx 所對應的 Y值都屬於同一機率分配

2.

變數定義:

),0(~ 2σε Nij 且互相獨立

ijijijij yxfZ ε+= ),(

觀察值

預測變數

誤差項

此實驗之真實函數

ji vu ,

ijij YX ,

ijεf

以觀察值為控制點的 B é z i e r Surface所估計的 f(x,y)如下∑∑= =

∧=

m

k

n

sj

nsi

mkijij vBuByxf

0 0

)()(),(

其中

∑∑

∑∑

==

==

=

=

m

kij

n

sj

nsi

mkij

m

kij

n

sj

nsi

mkij

YvBuBY

XvBuBX

0 0

0 0

)()(

)()(

滿足

By ijij YX ,

透過估計式求出

ijZ

SimLabSimLab 2424

ijZ

),( ji vu

ijZ∧

B é z i e r Surface 迴歸基本假設

方法論

B é z i e r Surface 之複迴歸模式矩陣表示法 ],...,,[ 210 m

T zzzzZ =

],...,,[ 210 mjjjjTj zzzzZ =

nj ,...2,1,0=

jij ZBsfZ ⋅==∧∧

jnjiminj

mis vv

jnj

nuu

imi

mvBuBB −− −

−−

−≡= )1(

)!(!

!)1(

)!(!

!)()(此處

多項式所加權估計經由是由反應變數 bernsteinZij

∧f

所對應之值是由預測變數 ijYvu ,X),( ij

],...,,[ 210

∧∧∧∧∧= mjjjj zzzzf 為估計值

為觀察值中的反應變數

SimLabSimLab 2525

B é z i e r Surface 迴歸基本假設

方法論

B é z i e r Surface 之複迴歸模式矩陣表示法

=∧f

∑

∑

∑

∑

∑

∑

∑

=

=

=

=

=

=

=

n

jn

njm

m

n

j

njm

m

n

j

njm

m

n

j

nj

m

n

j

nj

m

n

j

nj

m

n

j

nj

m

vBuB

vBuB

vBuB

vBuB

vBuB

vBuB

vBuB

00

010

000

0110

0010

0100

0000

)()(

)()(

)()(

)()(

)()(

)()(

)()(

∑

∑

∑

∑

∑

∑

∑

=

=

=

=

=

=

=

n

jn

njm

m

n

j

njm

m

n

j

njm

m

n

j

nj

m

n

j

nj

m

n

j

nj

m

n

j

nj

m

vBuB

vBuB

vBuB

vBuB

vBuB

vBuB

vBuB

00

010

000

0110

0010

0100

0000

)()(

)()(

)()(

)()(

)()(

)()(

)()(

∑

∑

∑

∑

∑

∑

∑

=

=

=

=

=

=

=

n

jn

njm

m

n

j

njm

m

n

j

njm

m

n

j

nj

m

n

j

nj

m

n

j

nj

m

n

j

nj

m

vBuB

vBuB

vBuB

vBuB

vBuB

vBuB

vBuB

00

010

000

0110

0010

0100

0000

)()(

)()(

)()(

)()(

)()(

)()(

)()(

mj

j

j

j

Z

Z

Z

Z

2

1

0

SimLabSimLab 2626

B é z i e r Surface 迴歸之收斂性質

SimLabSimLab 2727

)()()(lim *

0

* xfxftB i

n

i

nin =∑

−∞→

假設觀察 產生是由一連續函數值 f 且隨機誤差為0 ，則當樣本數 n 足 大時且等距分布在夠 x 範圍時，以觀察 為控制點之值 bezier curves 將收斂於觀察

的真實函數亦即值 :

j

n

j

xtBxt ∑=

=0

*** )(滿足此處

iiiji

n

ij

nin exfYxfYYtB +===∑

−∞→ )(),()(lim

^

0

B é z i e r Surface 迴歸之統計分析

貝茲曲面所建立的複回歸模式的統計分析是為了驗證其統計性質其中包含了反應變數的預測，變異數分析，殘差分析， MSE 適合度檢定等將建立一完整統計分析架構 .

•反應變數的估計

•變異數的估計

根據貝茲多項式的定義，反應變數如下式估計： ∑∑

= =

∧=

m

k

n

sj

nsi

mkijij vBuByxf

0 0

)()(),(

其中ji vu , 滿足

∑∑

∑∑

= =

= =

=

=

m

kij

n

sj

nsi

mkij

m

kij

n

sj

nsi

mkij

YvBuBY

XvBuBX

0 0

0 0

)()(

)()(

)1)(1(

)(0

2

0−−

−=

∑∑= =

∧

nm

ZZX

m

kij

n

sij

ij( ) )1)(1( −−−= nmZZB T

jjs

SimLabSimLab 2828

ijZ∧

B é z i e r Surface 迴歸之統計分析

•MSE 的自由度

•適合度檢定

我們必須對於貝茲回歸曲面所建立之赴回歸模式作殘差分析與 統計檢定：

觀察值知數目為 (m+1)(n+1) 個，其自由度為 (m+1-2)(n+1-2)=(m-1)(n-1)

1 變異數是否一致2. 資料是否獨立3. 隨機誤差是否具常態性4. 是否有極端值

)1)(1(

)1)(1()(0*

++

++−=∑∑= =

∧

nmMSE

nmZZ

t

m

oiij

n

jij•T 檢定

•F 檢定

)1)(1(

)1)(1()(

2

0*

++

++−

=∑∑= =

∧

nmMSE

nmZZ

F

m

oiij

n

jij

SimLabSimLab 2929

B é z i e r Surface 實驗設計

SimLabSimLab 3030

模擬重複實驗 1000 次

以各種函數型態加上適當的常態誤差項產生觀察值

分別個常態誤差參數實驗

分別以不同觀察 個數實驗值

以貝茲迴歸模型估計 以傳統或其他回歸模型估計

統計指標分析

問題探討與結論

五、甘特圖

SimLabSimLab 3131

工作任務 9 月 10月

11 月 12 月 1 月 2 月 3 月 4 月 5 月

文獻彙整

建立曲面迴歸模型

曲面程式撰寫

建立 n 維複迴歸模型

建立統計分析程序

模擬實驗與分析

論文撰寫