第三讲 基本迭代方法 - east china normal...
TRANSCRIPT
第三讲 基本迭代方法
• 定常迭代法
• 收敛性分析
• 正则分裂
• 交替方向迭代法
• 加速技巧
迭代方法
求解线性方程组的一般方法: 直接法和迭代法.
迭代法: 定常迭代法和子空间迭代法.
快速算法: 特殊问题的特殊结构, FFT,多重网格,快速多极子,等等.
快速算法通常是与问题本身
结构密切相关, 一般只适用于某些特定问题的求解.
在实际应用中,这些方法往往结合使用,如混合方法,预处理方法等.注记
在本讲中, 如果没有特别指出,一般假定 A是非奇异的
实矩阵.
本讲主要内容:
定常迭代法 (基本迭代法,矩阵分裂迭代法),收敛性方向,加速技巧.
2/98
1 定常迭代法
1.1 矩阵分裂与定常迭代
1.2 Jacobi迭代
1.3 Gauss-Seidel迭代
1.4 SOR迭代
1.5 SSOR迭代
1.6 AOR与 SAOR迭代
1.7 Richardson迭代
1.8 块迭代方法
定常迭代法有时也称为经典迭代法,基本迭代法或不动点迭代法.
3/98
迭代法基本想法
当直接求解 Ax = b 比较困难时,我们可以求解一个近似等价方程组 Mx = b ,其中M 是对 A的某种意义下的近似.
设Mx = b的解为 x(1). 则它与原方程的解 x∗ = A−1b之间的差满足
A(x∗ − x(1)
)= b−Ax(1)
如果 x(1)已经满足精度要求,则可以停止计算,否则需要进行修正.
4/98
设修正量为∆x,则∆x满足方程
A∆x = b−Ax(1)
直接求解该方程比较困难,因此我们还是求解近似方程
M∆x = b−Ax(1).
得到一个近似的修正量∆x. 于是修正后的近似解为
x(2) = x(1) +∆x = x(1) +M−1(b−Ax(1))
如果 x(2)满足精度要求,则停止计算,否则继续按以上方式进行修正.
5/98
不断重复以上过程,于是我们就得到一个序列
x(1), x(2), . . . , , x(k), . . . .
满足以下递推关系
x(k+1) = x(k) +M−1(b−Ax(k))
这就构成了一个迭代方法.
由于每次迭代的格式是一样的,因此称为定常迭代.
如何构造好的定常迭代方法
(1) 以M 为系数矩阵的线性方程组比原线性方程组更容易求解
(2) M 应该是 A的一个很好的近似,且迭代序列 xk收敛
6/98
常见的定常迭代方法
• Jacobi迭代
• Gauss-Seidel (G-S)迭代
• 超松弛 (SOR, Successive Over-Relaxation)迭代
• 对称超松弛 (SSOR, Symmetric SOR)迭代
• 加速超松弛 (AOR, Accelerated Over-Relaxation)迭代
• 交替方向 (ADI)迭代和对称与斜对称 (HSS)迭代
关键技术
矩阵分裂
7/98
1.1 矩阵分裂与定常迭代
定义 1 (矩阵分裂, Matrix Splitting)设 A ∈ Rn×n非奇异,称
A = M −N (3.1)
为 A的一个 矩阵分裂 ,其中M 非奇异.
8/98
给定一个矩阵分裂 (3.1),则原方程组Ax = b就等价于 Mx = Nx+ b .于是我们就可以构造出以下的迭代格式
Mx(k+1) = Nx(k) + b , k = 0, 1, . . . ,
或
x(k+1) = M−1Nx(k) +M−1b ≜ Gx(k) + g , k = 0, 1, . . . ,
(3.2)其中 G ≜ M−1N 称为迭代矩阵.
这就是基于矩阵分裂 A = M −N 的迭代方法.
选取不同的M ,就可以构造出不同的迭代方法.
9/98
1.2 Jacobi迭代
记 A = D − L− U ,其中D为A的对角部分,−L和−U 为A的严格下三角和严格上三角部分.
取M = D,N = L+ U ,则可得 Jacobi迭代方法:
x(k+1) = D−1(L+ U)x(k) +D−1b , k = 0, 1, 2, . . . . (3.3)
对应的迭代矩阵为
GJ = D−1(L+ U)
分量形式: x(k+1)i =
1
aii
(bi −
n∑j=1,j =i
aijx(k)j
), i = 1, 2, . . . , n.
10/98
算法 1.1 Jacobi迭代方法
1: Given an initial guess x(0)
2: while not converge do3: for i = 1 to n do
4: x(k+1)i =
1
aii
(bi −
i−1∑j=1
aijx(k)j −
n∑j=i+1
aijx(k)j
)5: end for6: end while
Jacobi迭代中 x(k+1)i 的更新
顺序与 i无关,因此非常适合并行计算
Jacobi迭代格式也可以写为
x(k+1) = x(k) +D−1(b−Ax(k)), k = 0, 1, 2, . . . ,
即 x(k+1)是 x(k)的一个修正.11/98
1.3 Gauss-Seidel迭代
取M = D − L,N = U ,即可得 Gauss-Seidel (G-S)迭代方法:
x(k+1) = (D − L)−1Ux(k) + (D − L)−1b (3.4)
对应的迭代矩阵为
GGS = (D − L)−1U
将 G-S迭代改写为
Dx(k+1) = Lx(k+1) + Ux(k) + b,
即可得分量形式
x(k+1)i =
1
aii
(bi −
i−1∑j=1
aij x(k+1)j −
n∑j=i+1
aijx(k)j
)12/98
算法 1.2 Gauss-Seidel迭代方法
1: Given an initial guess x(0)
2: while not converge do3: for i = 1 to n do
4: x(k+1)i =
1
aii
(bi −
i−1∑j=1
aijx(k+1)j −
n∑j=i+1
aijx(k)j
)5: end for6: end while
G-S迭代的主要优点是充分利用了已经获得的最新数据.
在 G-S迭代中,未知量的更新必须按自然顺序进行,不适合并行.
注记
13/98
1.4 SOR迭代
在 G-S迭代中,如果对修正量进行适当调整,可能会加快收敛速度,即
x(k+1)i = x
(k)i +
ω
aii
(bi −
i−1∑j=1
aijx(k+1)j −
n∑j=i
aijx(k)j
)这就是 SOR (Successive Overrelaxation)迭代方法.
其中 ω为松弛参数:
• 当 ω = 1时, SOR即为 G-S迭代,
• 当 ω < 1时,称为低松弛 (under relaxation)迭代,
• 当 ω > 1时,称为超松弛 (over relaxation)迭代.
14/98
SOR迭代方法 (cont.)
事实上,也可以将 SOR看成是将 G-S迭代中的第 k + 1步近似解与第 k步近似解做加权平均所得到,即
x(k+1) = (1− ω)x(k) + ω(D−1(Lx(k+1) + Ux(k)) +D−1b
). (3.5)
整理后即为
x(k+1) = (D−ωL)−1 ((1− ω)D + ωU)x(k) +ω(D−ωL)−1b, (3.6)注意向量加权与分量加权的
区别.
SOR迭代曾经在很长一段时间内是求解线性方程组的首选方法
15/98
SOR迭代方法 (cont.)
SOR的迭代矩阵为
GSOR = (D − ωL)−1((1− ω)D + ωU
)对应的矩阵分裂为
M =1
ωD − L, N =
1− ω
ωD + U
16/98
算法 1.3求解线性方程组的 SOR迭代方法
1: Given an initial guess x(0) and parameter ω2: while not converge do3: for i = 1 to n do
4: x(k+1)i = x
(k)i +
ω
aii
(bi −
i−1∑j=1
aijx(k+1)j −
n∑j=i
aijx(k)j
)5: end for6: end while
SOR迭代最大的优点是引入了松弛参数 ω: 通过选取适当的 ω就可以大大提高方法的收敛速度. 但是 SOR迭代最大的难点就是如何选取最优的参数.
注记
17/98
1.5 SSOR迭代
将 SOR迭代中的 L和 U 相互交换位置,则可得迭代格式
x(k+1) = (D − ωU)−1 ((1− ω)D + ωL)x(k) + ω(D − ωU)−1b.
将这个迭代格式与 SOR相结合,就可以得到下面的两步迭代方法x(k+ 12 ) = (D − ωL)−1
[(1− ω)D + ωU
]x(k) + ω(D − ωL)−1b,
x(k+1) = (D − ωU)−1[(1− ω)D + ωL
]x(k+ 1
2 ) + ω(D − ωU)−1b.
这就是对称超松弛 (SSOR )迭代方法.
消去中间迭代向量 x(k+ 12 ),可得
x(k+1) = GSSORx(k) + g,
其中迭代矩阵
GSSOR = (D − ωU)−1[(1− ω)D + ωL
](D − ωL)−1
[(1− ω)D + ωU
].
18/98
对应的矩阵分裂为
M =1
ω(2− ω)
[D − ω(L+ U) + ω2LD−1U
]=
1
ω(2− ω)(D − ωL)D−1(D − ωU),
N =1
ω(2− ω)
[(1− ω)D + ωL
]D−1
[(1− ω)D + ωU
].
对于某些特殊问题, SOR 迭代不收敛, 但仍然可能构造出收敛的SSOR迭代.
注记
一般来说, SOR迭代的渐进收敛速度对参数 ω比较敏感,但 SSOR的收敛速度对参数 ω不太敏感.
注记
19/98
算法 1.4 SSOR方法
1: Given an initial guess v(0) and parameter ω2: while not converge do3: for i = 1 to n do
4: x(k+ 1
2 )i = x
(k)i +
ω
aii
(bi −
i−1∑j=1
aijx(k+ 1
2 )j −
n∑j=i
aijx(k)j
)5: end for6: for i = n to 1 do
7: x(k+1)i = x
(k+ 12 )
i +ω
aii
(bi −
i−1∑j=1
aijx(k+1)j −
n∑j=i
aijx(k+ 1
2 )j
)8: end for9: end while
20/98
1.6 AOR与 SAOR迭代
加速超松弛 (AOR , Accelerated Over-Relaxation )迭代方法:
x(k+1) = (D−γL)−1 ((1− ω)D + (ω − γ)L+ ωU)x(k)+ω(D−γL)−1b,
其中 γ和 ω为松弛参数. 对应的矩阵分解为
M =1
ω(D − γL), N =
1
ω[(1− ω)D + (ω − γ)L+ ωU ]
迭代矩阵为
GAOR = (D − γL)−1[(1− ω)D + (ω − γ)L+ ωU
]
21/98
AOR迭代方法 (cont.)
(1) 当 γ = ω时, AOR迭代即为 SOR迭代;
(2) 当 γ = ω = 1时, AOR迭代即为 G-S迭代;
(3) 当 γ = 0, ω = 1时, AOR迭代即为 Jacobi迭代.
AOR 迭代中含有两个参数. 因此在理论上, 通过选取合适的参数,AOR迭代会收敛得更快. 但也是因为含有两个参数,使得参数的选取变得更加困难,因此较少使用.
注记
与 SSOR类似,我们也可以定义 SAOR迭代.注记
22/98
1.7 Richardson迭代
Richardson迭代是一类形式非常简单的方法,其迭代格式为
x(k+1) = x(k) + ω(b−Ax(k)), k = 0, 1, 2, . . . .
它可以看作是基于以下矩阵分裂的迭代方法:
M =1
ωI, N =
1
ωI −A.
对应的迭代矩阵为GR = I − ωA.
23/98
定理 1 设 A ∈ Rn×n是对称正定矩阵, λ1和 λn分别是 A的最大和
最小特征值,则 Richardson迭代方法收敛当且仅当
0 < ω <1
λ1
.
另外, Richardson迭代的最优参数为
ω∗ = argminω
ρ(GR) =2
λ1 + λn
,
即当 ω = ω∗时,迭代矩阵的谱半径达到最小,且有
ρ(GR) =
1− ωλn if ω ≤ ω∗λ1 − λn
λ1 + λn
=κ(A)− 1
κ(A) + 1if ω = ω∗
ωλ1 − 1 if ω ≥ ω∗.
24/98
如果在每次迭代时取不同的参数,即
x(k+1) = x(k) + ωk(b−Ax(k)), k = 0, 1, 2, . . . ,
则每次迭代的格式就不一样了,因此不再是定常迭代,而是非定常(Nonstationary )迭代. 此时称为非定常 Richardson迭代.
注记
25/98
1.8 块迭代方法
将 A写成分块形式:
A =
A11 A12 · · · A1p
A21 A22 · · · A2p
......
. . ....
Ap1 Ap2 · · · App
,
26/98
• 块 Jacobi迭代:
Aiix(k+1)i = bi −
p∑j=1,j =i
Aijx(k)j , i = 1, 2, . . . , p.
• 块 Gauss-seidel迭代:
Aiix(k+1)i = bi −
i−1∑j=1
Aijx(k+1)j −
p∑j=i+1
Aijx(k)j , i = 1, 2, . . . , p.
• 块 SOR迭代:
x(k+1)i = (1− ω)x
(k)i + ωA−1
ii
(bi −
i−1∑j=1
Aijx(k+1)j −
p∑j=i+1
Aijx(k)j
),
i = 1, 2, . . . , p.
27/98
2 收敛性分析
2.1 迭代法的收敛性
2.2 不可约对角占优矩阵
2.3 对称正定矩阵
2.4 相容次序
28/98
2.1 迭代法的收敛性
定义 2 (迭代法的收敛性)对于迭代方法
x(k+1) = Gx(k) + g,
如果存在 x∗,使得对任意的初始向量 x(0),都有
limk→∞
x(k) = x∗,
则称迭代格式 (3.2)是收敛的,否则就称为发散的.
基于矩阵分裂的迭代方法,其收敛性取决于迭代矩阵的谱半径.注记
29/98
矩阵谱半径
设 A ∈ Rn×n,则称ρ(A) ≜ max
λ∈σ(A)|λ|
为 A的谱半径,其中 σ(A)表示 A的所有特征值组成的集合.
谱半径与矩阵范数之间有如下的关系.
引理 2 (谱半径与范数的关系) 设G ∈ Rn×n,则
(1) 对任意算子范数,有 ρ(G) ≤ ∥G∥;
(2) 反之,对任意 ε > 0,都存在一个算子范数 ∥ · ∥ε,使得 ∥G∥ε ≤ρ(G) + ε,其中范数 ∥ · ∥ε依赖于G和 ε.所以,若 ρ(G) < 1,则存在算子范数 ∥ · ∥ε,使得 ∥G∥ε < 1;
30/98
谱半径性质
由上述引理可以得到下面的结论.
定理 3 设矩阵G ∈ Rn×n,则 limk→∞
Gk = 0当且仅当 ρ(G) < 1.
(板书)
谱半径与算子范数之间的一个非常重要的性质:
引理 4 设G ∈ Rn×n,则对任意算子范数 ∥ · ∥,有
ρ(G) = limk→∞
∥Gk∥ 1k .
(板书)
31/98
迭代法收敛性判断
首先给出一个迭代方法收敛的充分条件.
引理 5 若存在算子范数 ∥ · ∥,使得 ∥G∥ < 1,则迭代方法 3.2收敛.(板书)
我们记 e(k) ≜ x(k) − x∗为第 k步迭代解 x(k)的误差向量.
定理 6 (收敛性定理) 对任意迭代初始向量 x(0), 迭代方法 3.2收敛的充要条件是 ρ(G) < 1. (板书)
32/98
收敛速度
经过 k次迭代后,误差满足 e(k) = Gke(0) . 因此,有
∥e(k)∥∥e(0)∥
≤ ∥Gk∥,
即误差总体大约下降了 ∥Gk∥,平均每次迭代的下降量为 ∥Gk∥ 1k .
平均收敛速度与迭代步数和
范数有关, 渐进收敛速度只依赖谱半径
定义 3 (收敛速度)设G是迭代矩阵,则迭代方法 3.2的平均收敛速度定义为
Rk(G) ≜ − ln ∥Gk∥ 1k ,
渐进收敛速度定义为
R(G) ≜ limk→∞
Rk(G) = − ln ρ(G).
33/98
定理 7 (误差估计) 若存在某算子范数 ∥ · ∥使得 ∥G∥ = q < 1,则:
(1) ∥x(k) − x∗∥ ≤ qk∥x(0) − x∗∥;
(2) ∥x(k) − x∗∥ ≤ q
1− q∥x(k) − x(k−1)∥;
(3) ∥x(k) − x∗∥ ≤ qk
1− q∥x(1) − x(0)∥.
一般来说,一个好的迭代方法要具备:
(1) ρ(G)越小越好;
(2) 以M 为系数矩阵的线性方程组越容易求解越好.
注记
34/98
2.2 不可约对角占优矩阵
两种情形：严格对角占优,不可约弱对角占优
定理 8 设 A ∈ Rn×n,若 A严格对角占优,则 Jacobi迭代和 G-S迭代都收敛,且
∥GGS∥∞ ≤ ∥GJ∥∞ < 1.
(板书)
定理中的结论对一般矩阵并
不成立: 对某些矩阵, Jacobi收敛,但 G-S却不一定收敛.
定理 9 设 A ∈ Rn×n,若 A是弱对角占优且不可约,则 Jacobi迭代和G-S迭代都收敛. 进一步,若 A是非负矩阵,则
ρ(GGS) < ρ(GJ) < 1.
(证明参见 Varga 2000)
35/98
对于非负矩阵,我们有下面的结论:
定理 10 若GJ ≥ 0,则下面四个结论有且仅有一个成立:
(1) ρ(GGS) = ρ(GJ) = 0,
(2) 0 < ρ(GGS) < ρ(GJ) < 1,
(3) ρ(GGS) = ρ(GJ) = 1,
(4) ρ(GGS) > ρ(GJ) > 1.
这表明, Jacobi迭代和 G-S迭代此时具有相同的收敛性.
36/98
SOR的收敛性
定理 11 若 A严格对角占优且 0 < ω ≤ 1,则 SOR收敛. (板书)
定理 12 若 A是弱对角占优且不可约,且 0 < ω ≤ 1,则 SOR收敛.(练习)
37/98
2.3 对称正定矩阵
在给出收敛性结论之前,也介绍两个需要用到的引理.
引理 13 设 A ∈ Cn×n Hermite对称,且 A = M −N 是 A的一个矩
阵分裂,则M∗ +N 也是Hermite对称,且对任意 x ∈ Cn有
x∗Ax− x∗Ax = u∗(M∗ +N)u,
其中 x = M−1Nx, u = x− x. (板书)
引理 14 设 A ∈ Rn×n对称,且 A = M −N 是 A的一个矩阵分裂.
(1) 若A和M⊺+N都是正定矩阵,则M非奇异且 ρ(M−1N) < 1;
(2) 如果 ρ(M−1N) < 1且M⊺ +N 正定,则 A正定. (板书)
38/98
SOR收敛的一个必要条件
定理 15 对于 SOR迭代,有 ρ(GSOR) ≥ |1−ω|,故 SOR迭代收敛的必要条件是 0 < ω < 2. (板书)
39/98
定理 16 设 A ∈ Rn×n对称正定.
(1) 若 2D −A正定,则 Jacobi迭代收敛.
(2) 若 0 < ω < 2,则 SOR和 SSOR收敛.
(3) G-S迭代收敛.
(练习)
由定理 16可知,若系数矩阵对称正定,则 SOR迭代收敛的充要条件是 0 < ω < 2. 这就是著名的 Ostrowski–Reich定理.
注记
40/98
定理 17 设 A ∈ Rn×n对称.
(1) 若 2D −A正定且 Jacobi迭代收敛,则 A正定;
(2) 若 D正定,且存在 ω ∈ (0, 2)使得 SOR (或 SSOR)收敛,则 A
正定;
(3) 若D正定,且 G-S迭代收敛,则 A正定.
(练习)
41/98
2.4 相容次序
针对一类特殊的矩阵,这三种迭代法的特征值之间存在一种特殊关系,特别是 Jacobi迭代和 SOR迭代.
定义 4设 A ∈ Rn×n,如果存在一个置换矩阵 P ,使得
PAP⊺=
[D1 F
E D2
], (3.7)
其中D1,D2为对角矩阵,则称 A具有性质 A .
42/98
引理 18 设B ∈ Rn×n具有下面的结构
B =
[0 B12
B21 0
],
令BL和BU 分别表示B的下三角和上三角部分,则
(1) 若 µ是B的特征值,则−µ也是B的特征值;
(2) B(α)的特征值与 α无关,其中
B(α) = αBL +1
αBU , α = 0.
43/98
设 A ∈ Rn×n的对角线元素全不为零,记 L = D−1L, U = D−1U .
定义 5设A ∈ Rn×n的对角线元素均非零, α ∈ R非零. 若矩阵G(α) =
αL+ 1αU 的特征值与 α无关,则称 A具有相容次序.
设 A的对角线元素均非零,若 A具有性质 A,则存在置换矩阵 P ,使得 PAP ⊺具有相容次序.
注记
该结论可以推广到块三对角形式.注记
44/98
例 1 设Di是非奇异的对角矩阵,则任意块三对角矩阵D1 A1
B1. . . . . .. . . . . . AN−1
BN−1 DN
都有相容次序. (练习)
45/98
定理 19 设 A具有相容次序且对角线均非零, ω = 0,则下列命题成立
(1) Jacobi迭代矩阵GJ的特征值正负成对出现;
(2) 若 µ是GJ的一个特征值且 λ满足
(λ+ ω − 1)2 = λω2µ2, (3.8)
则 λ是 SOR迭代矩阵GSOR的特征值;
(3) 反之,若 λ = 0是 GSOR 的一个特征值且 µ满足 (3.8),则 µ是
GJ的特征值.
(板书)
46/98
推论 20 设 A具有相容次序且对角线均非零. 若 GJ 的特征值全部
为实数,则 SOR迭代收敛的充要条件是 0 < ω < 2且 ρ(GJ) < 1.
推论 21 若 A具有相容次序且对角线均非零,则 ρ(GGS) = ρ(GJ)2,
即当 Jacobi迭代收敛时, G-S迭代比 Jacobi迭代快一倍.
47/98
SOR的最优参数
定理 22 设 A具有相容次序且对角线均非零. 若 GJ 的特征值全部
为实数,且 ρJ ≜ ρ(GJ) < 1,则 SOR迭代的最优参数为
ωopt =2
1 +√1− ρ2J
,
此时
ρ(GSOR) = ωopt − 1 =ρ2J(
1 +√1− ρ2J
)2 .
48/98
进一步,有
ρ(GSOR) =
ω − 1, ωopt ≤ ω ≤ 2
1− ω +1
2ω2ρ2J + ωρJ
√1− ω +
1
4ω2ρ2J , 0 < ω ≤ ωopt
.
证明. 直接求解等式 (3.8),分情况讨论即可.
49/98
3 正则分裂
3.1 正则分裂,弱正则分裂和非负分裂
3.2 正则分裂与迭代收敛
3.3 P -正则分裂
除了 Jacobi, G-S, SOR分裂外,这里介绍另外几类常见的矩阵分裂.
50/98
3.1 正则分裂,弱正则分裂和非负分裂
定义 6设 A ∈ Rn×n,矩阵分裂 A = M −N .
(1) 正则分裂: M−1 ≥ 0,N ≥ 0
(2) 弱正则分裂: M−1 ≥ 0,M−1N ≥ 0
(3) 非负分裂: M−1N ≥ 0
显然,正则分裂一定是弱正则分裂,弱正则分裂一定是非负分裂.注记
51/98
设 A和M 都非奇异,则
M−1N = (A+N)−1N = (I +A−1N)−1A−1N.
由此可得下面的结论:
引理 23 设A = M −N ,其中A ∈ Rn×n和M ∈ Rn×n都非奇异.则τ 是 A−1N 的特征值当且仅当 µ = τ/(1 + τ)是M−1N 的特征值.并且, A−1N 和M−1N 具有相同的特征向量. (板书)
52/98
下面给出正则分裂所对应迭代矩阵M−1N 的性质:
定理 24 设A = M −N 是A ∈ Rn×n的一个正则分裂,则A非奇异
且 A−1 ≥ 0当且仅当
ρ(M−1N) =ρ(A−1N)
1 + ρ(A−1N)< 1.
(板书)
推论 25 设 A ∈ Rn×n是M 矩阵,且 A = M −N 是一个正则分裂.则 ρ(M−1N) < 1.
53/98
设 A是M -矩阵,下面的结论给出了构造 A的正则分裂的一种方法.
推论 26 设 A ∈ Rn×n是M 矩阵. 现将 A的某些非对角元素设置为
0,得到的新矩阵记为M . 则 A = M −N 是正则分裂,故
ρ(M−1N) < 1.
54/98
如果 A还是对称正定的,则我们有下面的结论.
推论 27 设 A ∈ Rn×n是M 矩阵, A = M −N 是正则分裂. 若 A对
称正定且N 对称,则
ρ(M−1N) ≤ ρ(A−1)ρ(N)
1 + ρ(A−1)ρ(N)< 1.
(板书)
55/98
两个不同正则分裂谱半径比较
定理 28 (比较定理) 设A = M1 −N1 = M2 −N2是A ∈ Rn×n的两
个正则分裂.
(1) 若 A−1 ≥ 0且N2 ≥ N1 ≥ 0,则
0 ≤ ρ(M−11 N1) ≤ ρ(M−1
2 N2) < 1. (3.9)
(2) 若 A−1 > 0且N2 ⪈ N1 ⪈ 0,则
0 < ρ(M−11 N1) < ρ(M−1
2 N2) < 1. (3.10)
(板书)
56/98
如果 A是不可约M -矩阵,则我们有下面的结论.
推论 29 设 A ∈ Rn×n 是不可约M 矩阵, M1 和M2 分别是将 A的
某些非对角元素设置为 0后得到的. 若矩阵分裂 A = M1 − N1 =
M2 −N2满足N2 ⪈ N1 ⪈ 0,则
0 < ρ(M−11 N1) < ρ(M−1
2 N2) < 1.
引理 30 设A = M1 −N1 = M2 −N2是矩阵A ∈ Rn×n的两个正则
分裂,且 A−1 ≥ 0.
(1) 若N2 ≥ N1,则M−11 ≥ M−1
2 ;
(2) 若M−11 ≥ M−1
2 ,则 A−1N2A−1 ≥ A−1N1A
−1;
(3) 若A−1N2A−1 ≥ A−1N1A
−1,则 (A−1N2)kA−1 ≥ (A−1N1)
kA−1
57/98
下面的比较定理是由 Csordas和 Varga给出的.
定理 31 设 A = M1 − N1 = M2 − N2 是 A ∈ Rn×n 的两个正则分
裂.
(1) 若A−1 ≥ 0,且存在一个正整数k使得 (A−1N2)kA−1 ≥ (A−1N1)
kA−1,则
0 ≤ ρ(M−11 N1) ≤ ρ(M−1
2 N2) < 1.
(2) 若A−1 > 0,且存在一个正整数k使得 (A−1N2)kA−1 > (A−1N1)
kA−1,则
0 < ρ(M−11 N1) < ρ(M−1
2 N2) < 1.
58/98
根据引理 30和定理 31,我们立即可以得到下面的结论:
定理 32 设 A = M1 − N1 = M2 − N2 是 A ∈ Rn×n 的两个正则分
裂.
(1) 若 A−1 ≥ 0且M−11 ≥ M−1
2 ,则
0 ≤ ρ(M−11 N1) ≤ ρ(M−1
2 N2) < 1.
(2) 若 A−1 > 0且M−11 > M−1
2 ,则
0 < ρ(M−11 N1) < ρ(M−1
2 N2) < 1.
需要指出的是,条件M−11 ≥ M−1
2 比N2 ≥ N1 ≥ 0要更弱一些.注记
59/98
关于弱正则分裂,我们有下面的结论:
定理 33 设A = M −N 是A ∈ Rn×n的一个弱正则分裂,则A非奇
异且 A−1 ≥ 0当且仅当 ρ(M−1N) < 1.
由该定理可知,将 “正则分裂”替换成 “弱正则分裂”,推论 27中的结论仍然成立. 但定理 32对弱正则分裂不成立.
注记
60/98
例 2 设 A =
[1 −1
−1/2 1
]的两个分裂
A = M1 −N1 = M2 −N2,
其中
M1 =
[1 −(1 + α)
−1/2 (1− α)
], N1 =
[0 −α
0 α
], 0 < α < 1/3,
M2 = A, N2 = 0.
则
M−11 =
2
1− 3α
[1− α 1 + α
1/2 1
], M−1
2 = A−1 = 2
[1 1
1/2 1
].
所以M−11 > M−1
2 ,但 ρ(M−11 N1) =
3α
2> ρ(M−1
2 N2) = 0.
61/98
定理 34 设 A = M −N 是 A ∈ Rn×n的一个非负分裂,则下面的结论是等价的:
(1) ρ(M−1N) < 1;
(2) I −M−1N 是单调的;
(3) A非奇异且 A−1N ≥ 0;
(4) A非奇异且
ρ(M−1N) =ρ(A−1N)
1 + ρ(A−1N).
62/98
3.2 正则分裂与迭代收敛
如果 A是M -矩阵,则有 A−1 ≥ 0,因此,由定理 24立即可得下面结论:
定理 35 设 A是M -矩阵. 如果 A = M − N 是正则分裂,则对应的矩阵分裂迭代法 (3.2)收敛.
63/98
Jacobi迭代的收敛性
设 A是 M -矩阵, 则所有对角线元素都为正, 且 L + U ≥ 0. 所以当M = D,N = L+ U 时, A = M −N 是正则分裂,因此
定理 36 设 A是M -矩阵,则 Jacobi迭代收敛.
若 A ∈ Rn×n是H-矩阵,则比较矩阵 |D| − |L| − |U |是M -矩阵,且
ρ(GJ) = ρ(D−1(L+U)) ≤ ρ(|D−1(L+U)|) = ρ(|D|−1(|L|+|U |)) < 1.
定理 37 设 A ∈ Rn×n是H-矩阵,则 Jacobi迭代收敛.
64/98
事实上,我们有下面更强的结论.
定理 38 设 A ∈ Rn×n的对角线元素均非零,则 A是H-矩阵的充要条件是 ρ(|GJ|) < 1. (证明参见 [Xu 95])
65/98
G-S迭代的收敛性
若 A是M -矩阵,则 (D − L)−1 ≥ 0. 故 G-S对应的矩阵分裂也是正则分裂.
定理 39 设 A是M -矩阵,则 G-S迭代方法收敛.
记 L ≜ D−1L.则 L是严格下三角矩阵,因此 ρ(L) = 0 < 1,且当 k ≥ n
时有 Lk = 0. 所以
(D − L)−1 = (I − L)D−1 = (I + L+ L2 + · · ·+ Ln−1)D−1.
66/98
所以
|(D − L)−1U | ≤ |(D − L)−1| · |U |
=
∣∣∣∣∣n−1∑k=0
LkD−1
∣∣∣∣∣ · |U |
≤n−1∑k=0
|L|k|D|−1 · |U |
= (|D| − |L|)−1|U |.
于是我们有下面的结论:
定理 40 设 A ∈ Rn×n是H-矩阵,则 G-S迭代方法收敛.
67/98
AOR迭代的收敛性
设 A = [aij ] ∈ Rn×n,定义 A的等模矩阵集合:
Ω(A) ≜B = [bij ] ∈ Cn×n : |bij | = |aij |, 1 ≤ i, j ≤ n
.
下面的定理给出了 AOR和 SAOR的收敛性.
定理 41 设 A ∈ Rn×n是H 矩阵,且对角线元素均非零,参数 ω和 γ
满足 0 ≤ γ ≤ ω. 则对任意 B ∈ Ω(A)和任意 0 < ω <2
ρ(|GJ|) + 1,
都有
ρ(GAOR(B)) < 1 和 ρ(GAOR(B)) < 1,
即求解线性方程组 Bx = f 的 AOR迭代和 SAOR迭代都收敛. 这里GAOR(B)和GAOR(B)分别表示 AOR和 SAOR所对应的迭代矩阵.
(证明参见 [Xu 95])
68/98
3.3 P -正则分裂
定义 7 (P -正则分裂)设 A ∈ Cn×n,如果M +N 是正定的,则称 A = M −N 是 A的一个 P -正则分裂.
M + N 正定当且仅当M∗ + N 正定. 因此,若 A是 Hermite的,则A = M −N 是 P -正则分裂当且仅当M +M∗ −A是Hermite正定
注记
69/98
定理 42 (SteinTheorem) 设 G ∈ Cn×n. 则 ρ(G) < 1的充要条件是
存在一个 Hermite正定矩阵 A ∈ Cn×n 使得 A − G∗AG也 Hermite正定.
下面的定理称为Householder-John定理.
定理 43 设 A ∈ Cn×n是非奇异的 Hermite矩阵. 如果 A = M − N
是一个 P -正则分裂,则 ρ(M−1N) < 1当且仅当 A正定.
定理 43可用来证明 Ostrowski-Reich定理,即: 如果 A ∈ Cn×n是 Her-mite正定,则 SOR对所有 ω ∈ (0, 2)都收敛.下面我们给出一个更一般的结论.
70/98
定理 44 (Ostrowski) 设A = D−E−E∗ ∈ Cn×n,其中D是Hermite正定的,且对于所有 ω ∈ (0, 2),矩阵D−ωE都非奇异,则 ρ(Gω) < 1
的充要条件是 A正定且 0 < ω < 2,其中
Gω ≜ (D − ωE)−1[(1− ω)D + ωE∗].
需要指出的是,定理 44中的矩阵 E 不需要是严格下三角或严格上三角. 作为特例,当 ω = 1时,下面的结论由 Reich给出.
推论 45 设A = D−E −E∗ ∈ Cn×n,其中D是Hermite正定的,且D − E非奇异,则 G-S迭代收敛的充要条件是 A正定.
由定理 43可知, Hermite正定矩阵的 P -正则分裂是收敛的. 但反之结论不一定成立,即Hermite正定矩阵的收敛分裂不一定是 P -正则的.
71/98
例 3 LetA = M −N , where
A =
[1 0
0 1
], M =
1
ε
−m
ε2
01
ε
, N =
1
ε− 1
−m
ε2
01
ε− 1
, 0 < ε < 1.
Then
M−1 =
[ε m
0 ε
]and M−1N =
[1− ε −m
0 1− ε
].
Hence, ρ(M−1N) = 1− ε < 1. On the other hand, we have
M +M∗ −A =
2
ε− 1
−m
ε2
−m
ε22
ε− 1
,
which is not positive definite if m > ε(2 − ε). Therefore, A = M − N is not aP -regular splitting form > ε(2− ε).
72/98
下面结论给出了Hermite正定矩阵的分裂是 P -正则分裂的充要条件.
定理 46 设A ∈ Cn×n是Hermite正定的,则A = M −N 是 P -正则分裂的充要条件是 ∥M−1N∥
A12< 1.
定理 47 设 A ∈ Cn×n是非奇异Hermite矩阵,分裂 A = M −N . 如果M ∈ Cn×n 是 Hermite的,且 ρ(M−1N) < 1,则 A是正定的,且A = M −N 是 P -正则分裂.
73/98
4 交替方向迭代法
4.1 多步迭代法
4.2 交替方向法
4.3 HSS迭代
4.4 HSS迭代的推广
74/98
4.1 多步迭代法
设 A = M1 −N1 = M2 −N2是 A的两个矩阵分裂,则可以构造迭代格式 M1x
(k+ 12 ) = N1x
(k) + b,
M2x(k+1) = N2x
(k+ 12 ) + b,
k = 0, 1, 2, . . . . (3.11)
这就是两步迭代方法,对应的分裂称为二重分裂. 易知,两步迭代格式(3.11)的迭代矩阵为
G = M−12 N2M
−11 N1.
因此,其收敛的充要条件是 ρ(M−12 N2M
−11 N1) < 1.
75/98
类似地,我们可以推广到多步迭代方法. 设 l是一个正整数,则 A的 l
重分裂为
A = M1 −N1 = M2 −N2 = · · · = Ml −Nl,
相应的多步迭代方法为M1x
(k+ 1l ) = N1x
(k) + b,
M2x(k+ 2
l ) = N2x(k+ 1
l ) + b,
· · · · · ·
Mlx(k+1) = Nlx
(k+ l−1l ) + b,
k = 0, 1, 2, . . . .
76/98
4.2 交替方向法
交替方向法 (alternating direction implicit, ADI )是由 Peaceman和Rach-ford于 1955年提出,用于计算偏微分方程的数值解,因而有时也称为PR迭代. 其本质上也是一个两步迭代方法.
设 A = A1 +A2,则 ADI迭代格式为(αI +A1)x(k+ 1
2 ) = (αI −A2)x(k) + b,
(αI +A2)x(k+1) = (αI −A1)x
(k+ 12 ) + b,
k = 0, 1, 2, . . . ,
(3.12)
其中 α ∈ R是迭代参数. 易知 ADI迭代的迭代矩阵为
GADI(α) = (αI +A2)−1(αI −A1)(αI +A1)
−1(αI −A2)
77/98
它相似于
GADI ≜ (αI −A1)(αI +A1)−1(αI −A2)(αI +A2)
−1
所以 ADI迭代 (3.12)收敛的充要条件是
ρ(GADI) < 1.
定理 48 设 A ∈ Rn×n 对称正定, A = A1 + A2,其中 A1 对称正定,A2对称半正定,则对任意参数 α > 0,有 ρ(GADI) < 1,即 ADI迭代法(3.12)收敛. (板书)
78/98
4.3 HSS迭代
HSS迭代全称为Hermitian and Skew-Hermitian Splitting method.
任何一个矩阵都可以分裂成对称与斜对称部分之和,即
A = H + S
其中H 和 S分别是 A的对称与斜对称 (Skew-Hermitian)部分,即
H =A+A⊺
2, S =
A−A⊺
2
这个分裂就称为HS分裂,简称HSS.
79/98
类似于 ADI迭代,我们可得下面的HSS迭代(αI +H)x(k+ 12 ) = (αI − S)x(k) + b,
(αI + S)x(k+1) = (αI −H)x(k+ 12 ) + b,
k = 0, 1, 2, . . . . (3.13)
迭代矩阵
GHSS(α) = (αI + S)−1(αI −H)(αI +H)−1(αI − S)
∼ (αI −H)(αI +H)−1(αI − S)(αI + S)−1 ≜ GHSS
容易验证, (αI − S)(αI + S)−1是一个酉矩阵. 又H 是对称矩阵,因此
∥(αI −H)(αI +H)−1∥2 = maxλ∈σ(H)
∣∣∣∣α− λ
α+ λ
∣∣∣∣ .定理 49 设 A正定,则对任意参数 α > 0, HSS迭代方法收敛.
80/98
参数 α的选取
为达到最快收敛效果,我们希望迭代矩阵的谱半径越小越好.
但是在一般情况下,谱半径很难计算或估计. 因此要极小化谱半径是非常困难的,或者说是不可能的. 此时,我们能做的往往是极小化它的一个上界.
由前面的分析可知
ρ(GHSS) = ρ(GHSS) ≤ maxλ∈σ(H)
∣∣∣∣α− λ
α+ λ
∣∣∣∣ ≜ σ(α). (3.14)
因此,我们可以通过极小化 σ(α)来获取近似最优参数 α∗.
81/98
记H 的最大和最小特征值分别为 λmax(H)和 λmin(H).
定理 50 设 A ∈ Rn×n正定,则极小极大问题
minα>0
maxλmin(H)≤λ≤λmax(H)
∣∣∣∣α− λ
α+ λ
∣∣∣∣的解为
α∗ =√λmax(H)λmin(H).
此时
σ(α∗) =
√λmax(H)−
√λmin(H)√
λmax(H) +√λmin(H)
=
√κ(H)− 1√κ(H) + 1
.
82/98
在定理 50中我们是在区间 [λmin(H), λmax(H)]内极小化∣∣∣α−λα+λ
∣∣∣,而不是 (3.14)中的 σ(H). 事实上,我们可以证明
maxλ∈σ(H)
∣∣∣∣α− λ
α+ λ
∣∣∣∣ = maxλmin(H)≤λ≤λmax(H)
∣∣∣∣α− λ
α+ λ
∣∣∣∣ .
注记
需要指出的是,定理 50中的最优参数 α∗ 极小化的是上界 σ(α),而不是谱半径本身.
如果 A是正规矩阵,则HS = SH ,因此可得 ρ(GHSS) = σ(α). 此时, α∗
不仅仅极小化 σ(α),它也极小化 ρ(GHSS).
由定理 50可知,如果 A正定,则取近似最优参数 α∗的 HSS迭代的收敛速度与 CG迭代相当.
83/98
4.4 HSS迭代的推广
NSS迭代
与HS分裂类似,我们可以将 A分裂成正规矩阵与斜对称矩阵之和:
A = N + S,
其中N 是正规矩阵, S是斜对称矩阵,即正规与斜对称分裂 (NSS ).
基于这个分裂,我们就可以构造下面的正规与斜对称分裂迭代:(αI +N)x(k+ 12 ) = (αI − S)x(k) + b,
(αI + S)x(k+1) = (αI −N)x(k+ 12 ) + b,
k = 0, 1, 2, . . . ,
其中 α ∈ R是给定的迭代参数. 对应的迭代矩阵为
GNSS(α) = (αI + S)−1(αI −N)(αI +N)−1(αI − S).
84/98
PSS迭代
与 NS分裂类似,我们还可以将 A分裂成正定矩阵与斜对称矩阵之和:
A = P + S,
其中 P 是正定矩阵, S是斜对称矩阵,即正定与斜对称分裂 (PSS ).
对应的 PSS迭代为(αI + P )x(k+ 12 ) = (αI − S)x(k) + b,
(αI + S)x(k+1) = (αI − P )x(k+ 12 ) + b,
k = 0, 1, 2, . . . ,
其中 α ∈ R是迭代参数,迭代矩阵为
GPSS(α) = (αI + S)−1(αI − P )(αI + P )−1(αI − S).
有两个问题需要考虑: 一是参数 α的选取,另一个是 S的选取.
85/98
5 加速技巧
当迭代解 x(0), x(1), x(2), . . . , x(k)已经计算出来后,我们可以对其进行组合,得到一个更好的近似解,从而加快收敛速度.
这里介绍两类常用的加速技巧: 外推加速和 Chebyshev加速
86/98
外推技术
设原迭代格式为x(k+1) = Gx(k) + b. (3.15)
由 x(k)和 x(k+1)加权组合后可得新的近似解
x(k+1) = (1− ω)x(k) + ω(Gx(k) + b), (3.16)
其中 ω是参数. 这种加速方法就称为外推方法.
为了使得迭代格式 (3.16)尽可能快地收敛,需要选择 ω使得其迭代矩阵Gω ≜ (1− ω)I + ωG的谱半径尽可能地小.
设G的特征值都是实数,且最大和最小特征值分别为 λ1和 λn,则
ρ(Gω) = maxλ∈σ(G)
|(1− ω) + ωλ| = max|1− ω + ωλ1|, |1− ω + ωλn|.
87/98
定理 51 设G的特征值都是实数,其最大和最小特征值分别为 λ1和
λn,且 1 /∈ [λn, λ1],则
ω∗ = argminω
ρ(Gω) =2
2− (λ1 + λn),
此时
ρ(Gω∗) = 1− |ω∗|d,
其中 d是 1到 [λn, λ1]的距离,即当 λn ≤ λ1 < 1时, d = 1 − λ1,当λ1 ≥ λn > 1时, d = λn − 1.
假设原迭代方法收敛,即 −1 < λn ≤ λ1 < 1. 则当 λn + λ1 = 1时,ω∗ = 1,此时外推迭代 (3.16)比原迭代方法收敛更快.
最优参数依赖于原迭代矩阵
G 的特征值, 因此实用性不强. 在实际应用时可以估计特征值所在的区间 [a, b],然后用 a, b来代替 λn和 λ1.
88/98
JOR迭代
对 Jacobi进行外推加速,则可得 JOR (Jacobi over-relaxation)迭代:
x(k+1) = (1− ω)x(k) + ω(D−1(L+ U)x(k) +D−1b)
= x(k) + ωD−1(b−Ax(k)), k = 0, 1, 2, . . . .
定理 52 设 A对称正定. 若
0 < ω <2
ρ(D−1A),
则 JOR迭代收敛.
89/98
Chebyshev加速
Chebyshev加速可以看作是对外推技巧的推广.
假定已经计算出 x(0), x(1), . . . , x(k),下面考虑如何将这些近似解进行组合,以便得到更好的近似解.
记 εk = x(k) − x∗为第 k步迭代解的误差,则有
εk = Gεk−1 = G2εk−2 = · · · = Gkε0.
设 x(k)为 x(0), x(1), . . . , x(k)的一个线性组合,即
x(k) = α0x(0) + α1x
(1) + · · ·+ αkx(k), (3.17)
其中 αi为待定系数,且满足k∑
i=0
αi = 1. 于是
x(k) − x∗ = α0ε0 + α1Gε0 + · · ·+ αkGkε0 ≜ pk(G)ε0, (3.18)
90/98
其中 pk(t) =k∑
i=0
αiti为 k次多项式,且满足 pk(1) = 1.
我们希望通过适当选取参数 αi, 使得 x(k) − x∗ 尽可能地小, 即使得x(k)收敛到 x∗速度远远快于 x(k)收敛到 x∗速度. 这种加速方法就称为多项式加速或半迭代方法 (semi-iterative method) .
例 4 设 pn(t)为 G的特征多项式,则 pn(G) = 0,所以选取 αi 为 pn
的系数,则 x(n) − x∗ = 0. 但这种选取方法不实用,原因是:
(1) pn(t)的系数并不知道;
(2) 我们通常希望收敛所需的迭代步数≪ n.
91/98
下面讨论参数 αi的较实用的选取方法. 由 (3.18)可知
∥x(k) − x∗∥2 = ∥pk(G)ε0∥2 ≤ ∥pk(G)∥2 · ∥ε0∥2.
因此我们需要求解下面的极小化问题
minp∈Pk,p(1)=1
∥p(G)∥2, (3.19)
其中 Pk表示所有次数不超过 k的多项式组成的集合. 一般来说,这个问题是非常困难的. 但在一些特殊情况下,我们可以给出其最优解.
假设迭代矩阵G是对称矩阵,即G存在特征值分解
G = QΛQ⊺,
其中 Λ是对角矩阵,且对角线元素都是实的,Q是正交矩阵. 于是有
92/98
minp∈Pk,p(1)=1
∥p(G)∥2 = minp∈Pk,p(1)=1
∥p(Λ)∥2
= minp∈Pk,p(1)=1
max1≤i≤n
|p(λi)|
≤ min
p∈Pk,p(1)=1max
λ∈[λn,λ1]
|p(λ)|
, (3.20)
其中 λ1, λn 分别表示 G的最大和最小特征值. 这是带归一化条件的多项式最佳一致逼近问题 (与零的偏差最小). 该问题的解与著名的Chebyshev多项式有关.
由于所有算子范数 ∥pk(G)∥的下确界是 ρ(pk(G)),因此,一种较实用的选取方法是使得 pk(G)的谱半径尽可能地小.
注记
93/98
考虑迭代格式 (3.15),我们假定:
(1) 迭代矩阵G的特征值都是实数;
(2) 迭代矩阵谱半径 ρ = ρ(G) < 1,故 λ(G) ∈ [−ρ, ρ] ⊂ (−1, 1).
于是最小最大问题 (3.20)就转化为
minp∈Pk,p(1)=1
maxλ∈[−ρ,ρ]
|p(λ)| .
由于 1 = [−ρ, ρ],由 Chebyshev多项式的性质克制,上述问题的解为
pk(t) =Tk(t/ρ)
Tk(1/ρ).
其中 Tk(t)为 k阶 Chebyshev多项式.
在实际计算中,我们无需通过线性组合 (3.17)来计算 x(k).
94/98
事实上,我们可以通过 Chebyshev多项式的三项递推公式
Tk(t) = 2t Tk−1(t)− Tk−2(t) , k = 2, 3, . . . ,
由 x(k−1)和 x(k−2)直接计算出 x(k). 这样做的另一个好处是无需存储所有的 x(i).
令 µk =1
Tk(1/ρ),即 Tk(1/ρ) =
1
µk
. 由三项递推公式可得
1
µk
=2
ρ· 1
µk−1
− 1
µk−2
.
95/98
所以
x(k) − x∗ = pk(G) ε0 = µkTk(G/ρ) ε0
= µk
[2G
ρ· Tk−1(G/ρ)− Tk−2(G/ρ)
]ε0
= µk
[2G
ρ· 1
µk−1
pk−1(G/ρ)ε0 −1
µk−2
pk−2(G/ρ)ε0
]= µk
[2G
ρ· 1
µk−1
(x(k−1) − x∗)−1
µk−2
(x(k−2) − x∗)
].
整理后可得
x(k) =2µk
µk−1
· Gρx(k−1) − µk
µk−2
x(k−2) + dk,
96/98
其中
dk = x∗ −2µk
µk−1
· Gρx∗ +
µk
µk−2
x∗
= x∗ − 2µk
µk−1
· x∗ − g
ρ+
µk
µk−2
x∗
= µk
(1
µk
− 2
ρµk−1
+1
µk−2
)x∗ +
2µkg
µk−1ρ
=2µkg
µk−1ρ.
由此,我们可以得到迭代格式 (3.15)的 Chebyshev加速方法.
97/98
该方法的每步迭代中只有一
次矩阵向量乘积, 故整体运算量与原迭代基本相当.
算法 5.1 Chebyshev加速方法
1: Set µ0 = 1, µ1 = ρ = ρ(G), x(0) = x(0), k = 1
2: compute x(1) = Gx(0) + g
3: while not converge do4: k = k + 1
5: µk =
(2
ρ· 1
µk−1
− 1
µk−2
)−1
6: x(k) =2µk
µk−1
· Gρx(k−1) − µk
µk−2
x(k−2) +2µk
µk−1ρ· g
7: end while
若 λ(G) ∈ [α, β], 且 −1 < α ≤ β < 1, 我们也可以构造出相应的Chebyshev加速方法,留作练习.
98/98