第第 55 章 图像复原章 图像复原

图像复原－又称为图像恢复图像复原－又称为图像恢复 与图像增强相似－都要得到在某种意义上改进的图与图像增强相似－都要得到在某种意义上改进的图

像，或者说，希望要改进输入图像的视觉质量像，或者说，希望要改进输入图像的视觉质量

不同之处－图像增强技术一般要借助人的视觉系统不同之处－图像增强技术一般要借助人的视觉系统的特性，以取得看起来好的视觉结果，而图像复原的特性，以取得看起来好的视觉结果，而图像复原则认为图像是在某种情况下退化或恶化了则认为图像是在某种情况下退化或恶化了 (( 图像品图像品质下降了质下降了 )) ，现在需要根据相应的退化模型和知识，现在需要根据相应的退化模型和知识重建或恢复原始的图像重建或恢复原始的图像

图像恢复技术是要将图像退化的过程模型化，并据图像恢复技术是要将图像退化的过程模型化，并据此采取相反的过程以得到原始的图像此采取相反的过程以得到原始的图像

图像恢复的内容图像恢复的内容 退化模型和循环矩阵对角化退化模型和循环矩阵对角化 复原的代数方法复原的代数方法 逆滤波逆滤波 最小二乘方滤波最小二乘方滤波 交互式恢复交互式恢复 空间复原技术空间复原技术

退化模型和循环矩阵对角化退化模型和循环矩阵对角化 退化模型退化模型

产生原因

光学系统中的衍射

传感器非线性畸变

光学系统的像差

摄影胶片的非线性 大气流

的扰动效应

图像运动造成的模糊

几何畸变

定义：

•f[x,y]: 原始图像•g[x,y]: 退化图像•n[x,y]: 加性噪声

g[x,y] = H{f[x,y]} + n[x,y]

•H{ }: 系统或操作

图像恢复就是在给定 g(x,y) 和代表退化的 H 的基础上，得到对 f(x,y) 的某个近似的过程

H{.}H{.} ++f(x,y)f(x,y)

n(x,y)n(x,y)

g(x,y)g(x,y)

简单的通用退化模型

• 线性：

H{k1f1 + k2f2} = k1H{f1} + k2H{f2}

相加性：令 k1 = k2 = 1 ，则

H{f1 + f2} = H{f1} + H{f2}

一致性：令 f2 = 0 ，则

H{k1f1} = k1H{f1}

位置（空间）不变性：

H{f[x-, y-] } = g[x-, y-]

H 多具有的性质2 幅图像 常数

图像任意位置的响应只与在该位置的输入值有关，而与位置本身无关

常见具体退化模型示例常见具体退化模型示例空间不变 线性

摄影胶片的冲洗过程

非线性 光学成像系统，由于孔径衍射产生的退化

目标运动造成的模糊退化

模糊退化 随机噪声迭

加，随机性的退化

退化模型的计算退化模型的计算假设对 2 个函数 f(x) 和 h(x) 进行均匀采样，其结果放到尺寸为 A 和 B 地 2 个数组。

对 f(x) ， x 的取值范围是 0,1,2…A-1 ；对h(x) ， x 的取值范围是 0,1,2,….B-1 。利用卷积计算 g(x) 。为了避免卷积的各个周期重叠，取M≥A+B-1 ，并将函数用 0 扩展补齐

fe(x) 和 he(x) 表示扩展函数，卷积为

ge(x)=∑fe(m) he(x-m) x=0,1,…M-1

矩阵表示g=Hf

g 和 f 是 M 维列矢量：fT = [ f[0], f[1], …, f[M-1] ]

gT = [ g[0], g[1], …, g[M-1] ]

H 称为 M×M 循环矩阵

H=

g=Hf+n (1)

考虑噪声

如果直接对式 (1) 进行计算求解 f ，计算量达，如M=N=512 , 则 H 的尺寸为 262144×262144，可以通过对角化 H 来简化

当 k=0,1…M-1时，循环矩阵 H( 设为 M×M) 的特征矢量和特征值分别为

))1(2

exp()1()2

exp()1()0()(

])1(2

exp()2

exp(1[)(

kMMjhk

MjMhhk

kMMjk

Mjkw T

循环矩阵对角化循环矩阵对角化

将 H 的M 个特征矢量组成 1 个 M×M 的矩阵 W

W = [w(0) w(1) w(2) … w(M-2) w(M-1)]W = [w(0) w(1) w(2) … w(M-2) w(M-1)]

HH = = WDWWDW-1-1 DD = = WW-1-1HWHW

其中：其中： D(k,k) = D(k,k) = λλ(k)(k) ，， WWWW-1-1 =W =W-1-1W=IW=I

复原的代数方法复原的代数方法

图像复原的主要目的是当给定退化的图像图像复原的主要目的是当给定退化的图像 gg以及以及 HH 和和 nn 的某种假设，估计出原始图像的某种假设，估计出原始图像 ff

代数复原方法的中心是寻找一个估计的代数复原方法的中心是寻找一个估计的 ff^̂ ，，它使事先确定的某种优度准则为最小它使事先确定的某种优度准则为最小

无约束复原方法无约束复原方法 由退化模型可知，其噪声项为：由退化模型可知，其噪声项为： n= g-Hfn= g-Hf在并不知道在并不知道 nn 的情况下，希望找到一个的情况下，希望找到一个 ff^̂ ，，使得使得 HfHf^̂ 在最小二乘方意义上来说近似于在最小二乘方意义上来说近似于gg ，，也就是说，寻找一个也就是说，寻找一个 ff^̂ ，，使得使得

||n||||n||22 = ||g – Hf^|| = ||g – Hf^||2 2 J(f^) J(f^)

nnTTn = (g – Hf^)n = (g – Hf^)TT(g – Hf^)(g – Hf^)或

实际上是求 J(f^)J(f^) 的极小值问题，除了要求 J(f^)J(f^) 为最小外，不受任何其它条件约束，因此称为无约束复原

dJ(f^ )/df^ = 0 = -2HdJ(f^ )/df^ = 0 = -2HTT(g – Hf^)(g – Hf^)即

f^ = (Hf^ = (HTTH)H)-1-1 H HTTgg

M=N时，则有

f^ = Hf^ = H-1-1(H(HTT))-1-1 H HTTg = Hg = H-1-1 g g

(2)

约束复原方法约束复原方法 在最小二乘方复原处理中，为了在数学上在最小二乘方复原处理中，为了在数学上更容易处理，常常附加某种约束条件。更容易处理，常常附加某种约束条件。

如令如令 QQ 为为 ff 的线性算子，最小二乘复原问题的线性算子，最小二乘复原问题可看成是使形式为可看成是使形式为 ||Qf^||||Qf^||22 函数，服从约束条函数，服从约束条件件 ||g – Hf^||||g – Hf^||22 = ||n|| = ||n||22 的最小问题，这种带有附的最小问题，这种带有附件条件的极值问题可用拉各朗日乘数法处件条件的极值问题可用拉各朗日乘数法处理理

处理过程处理过程寻找一个 f^ ，使下述准则函数为最小

J(f^) = ||Qf^||J(f^) = ||Qf^||22 + + αα{||g – Hf^||{||g – Hf^||22 - ||n|| - ||n||22}}

拉各朗日系数

dJ(f^ )/df^ = dJ(f^ )/df^ = 00

f^ = (Hf^ = (HTTH + H + γγQQTTQ)Q)–1–1 H HTTgg α=1/λ

逆滤波逆滤波 基本原理基本原理

在不考虑噪声的情况下，假设 M=N ，则根据前面的公式，有

f^ = Hf^ = H–1–1 g = WD g = WD–1–1 W W–1–1 g g

或 或 WW–1–1 f^ = D f^ = D–1–1 W W–1–1 g g

F^(u,v) = G(u,v)/H(u,v)F^(u,v) = G(u,v)/H(u,v)

傅立叶变换

经过傅立叶反变换，可求得原始图像 f(x,y)

反向滤波的作用

在有噪声的情况下在有噪声的情况下F^(u,v) = F(u,v) + N(u,v)/H(u,v)F^(u,v) = F(u,v) + N(u,v)/H(u,v)

从上面两式可以看出，在进行复原处理时可能会发生下列情况：

(1)H(u,v)=0 或 H(u,v) 非常小，在这种情况下，即使无噪声，也无法精确恢复 f(x,y)

(2)在有噪声存在时，在 H(u,v) 的邻域内， H(u,v) 的值可能比N(u,v) 的值小的多，由上式得到的噪声项可能会非常大，不能使 f(x,y)正确恢复

一般说，逆滤波不能正确估计 H(u,v) 的零点

实际中，不用 1/H(u,v) ，而用另外一个关于 u,v 的函数M(u,v)

处理框图为：

f(x,y)H(u,v) ++ M(u,v)

G(u,v)

N(u,v)

F^(u,v)

M(u,v)=

1/H(u,v) u2+v2≤w20

1 u2+v2 ＞ w20

例子例子

原始图像

散焦模糊

利用原始图像的一个邻域光谱面恢复

利用大的邻域进行恢

复

消除匀速直线运动引起的模糊消除匀速直线运动引起的模糊 在获取图像时，由于景物和摄像机之间在获取图像时，由于景物和摄像机之间

的相对运动，造成图像的模糊。的相对运动，造成图像的模糊。假设对平面匀速运动的景物采集 1 幅图像 f(x,y) ，并设x0(t) 和 y0(t)分别是景物在 x 和 y 方向的运动分量， T是采集时间长度。实际采集到的由运动而造成的模糊图像 g(x,y) 为：

g(x,y)=∫g(x,y)=∫00TTf[x-x0(t),y-y0(t)]dtf[x-x0(t),y-y0(t)]dt

G(u,v) = F(u,v) G(u,v) = F(u,v) 00TTexp{-j2p[uxexp{-j2p[ux00(t) + vy(t) + vy00(t)]}dt = F(u,v)H(u,v)(t)]}dt = F(u,v)H(u,v)

H(u,v) = H(u,v) = 00TTexp{-j2p[uxexp{-j2p[ux00(t) + vy(t) + vy00(t)]}dt(t)]}dt

如果知道运动分量 x0(t) 和 y0(t) ，从上式直接得到H(u,v)

只考虑只考虑 xx 方向的运动情况，即方向的运动情况，即x0(t)=ct/Tx0(t)=ct/T ，， y0(t)y0(t) ＝＝ 00 ，，则则

H(u,v) = H(u,v) = 00TTexp{-j2exp{-j2ππuxux00(t)}dt = (T/(t)}dt = (T/ππuucc)sin()sin(ππuucc)e)e-j-jππuucc

当 n 为整数时， H 在 u=n/c 处为 0

根据模糊图像 g(x,y) ，不考虑 y 的变化

g(t) = g(t) = 00TTf[x-xf[x-x00(t)]dt = (t)]dt = 00

TTf[x-f[x-cct/T]dt = t/T]dt = x-x-ccxxf[t]dt, 0 f[t]dt, 0 x x L L

其中： t = x – ct/T. 因此，g’(x) = f(x) – f(x-g’(x) = f(x) – f(x-cc)) oror f(x) = g’(x) + f(x-f(x) = g’(x) + f(x-cc))

假设 L = Kc, 其中 K使整数 . 变量 x 为：x = z + mx = z + mcc

其中 z 在 [0,c] 范围， m 是 (x/a) 的整数部分 (m 的取值为 0, 1, …, K-1).

则 ,

f(z+mf(z+mcc) = g’(z+m) = g’(z+mcc) + f[z+(m-1)) + f[z+(m-1)cc]]

这个等式能通过递归 f(z)解决， f(z) = f(z-a) 定义为运动范围的一部分 0 z < c.

f(x) = Sf(x) = Sk=0k=0mm g’(x-k g’(x-kcc) + f(x-m) + f(x-mcc))

由于 g(x) 为已知，问题就转化为估计 f(x)

•为了估计 f(x): f(x-mc) = f(x) – f^(x).

对每个 kc x < (k+1)c 计算，并将 k = 0, 1, …, K-1 的结果加起来，得到

Kf(x) = Sk=0K-1f(x+kc) – Sk=0

K-1f^(x+kc), 0 x < c

f(x) A – (1/K) Sk=0K-1f^(x+kc), 0 x < c

其中 (1/K) Sk=0K-1f(x+kc) 是未知的，但是当 K很大时，其接近

平均值，将其设为常数 A 。

因此 ,

f(x-mc) A – (1/K) Sk=0K-1f^(x+kc-mc), 0 x L

A – (1/K)Sk=0K-1Sj=0

kg’[x-mc+(k-j)c]

或对 0 x,y L

f(x,y) A – (1/K)Sk=0K-1Sj=0

kg’[x-mc+(k-j)c,y] + Sj=0mg’[x-jc,y]

最小二乘方滤波最小二乘方滤波 最小二乘滤波也就是维纳滤波，它是使最小二乘滤波也就是维纳滤波，它是使

原始图像原始图像 f(x,y)f(x,y) 及其恢复图像及其恢复图像 ff^̂(x,y)(x,y) 之之间的均方误差最小的复原方法间的均方误差最小的复原方法

具体的数学公式推导过程忽略，直接给出公式

•SSff(u,v):(u,v): 为为 f[x,y]f[x,y] 的功率普，的功率普， SS(u,v)(u,v) 为为 n[x,y]n[x,y] 的功的功率普率普

讨论一下上式的几种情况

（ 1 ）如果 s=1 ，方括号中的项就是维纳滤波器

（ 2 ）如果 s 是变量，就称为参数维纳滤波器

（ 3）当没有噪声时， Sn(u,v)=0 ，维纳滤波器就退化为理想的逆滤波器

（ 4）当 Sn(u,v) 和 Sf(u,v)未知时，用常数 K 可代替

因此必须调节 s 以满足

f^ = (Hf^ = (HTTH + H + ssQQTTQ)Q)–1–1 H HTTgg

逆滤波和维纳滤波恢复比较逆滤波和维纳滤波恢复比较1

10

100

SNR

退化图像 傅立叶功率普 逆滤波恢复 维纳滤波恢复 光谱图

原始图像

逆滤波恢复

模糊和增加噪声

约束的最小二乘滤波

交互式恢复交互式恢复前面讨论都是自动解析的恢复方法，在具前面讨论都是自动解析的恢复方法，在具

体恢复工作中，常常需要人机结合，由人体恢复工作中，常常需要人机结合，由人来控制恢复过程，以达到一些特殊的效果来控制恢复过程，以达到一些特殊的效果

实际中，有时图像会被 1 种 2-D 的正弦干扰模式 ( 也叫相关噪声 ) 覆盖。令 η(x,y) 代表幅度为 A ，频率分量为(u0,v0) 的正弦干扰模式，即：

η(x,y)=Asin(u0x+v0y)

傅立叶变换为：N(u,v)=-jA[δ(u-u0/(2π),v-v0/v(2π))- δ(u+u0/ (2π),v+v0/ (2π)) ]

这里退化仅由噪声造成，所以有：G(u,v)=F(u,v)+N(u,v)

利用前面讲的带阻滤波器消除，以去掉正弦干扰模式影响

正弦干扰

傅立叶光谱

恢复图像

n(x,y) = A sin(un(x,y) = A sin(u00x+vx+v00y)y)

例子例子

周期干扰退化图像 傅立叶谱

干涉模式 处理后图像

空间复原技术空间复原技术

空间变换空间变换灰度插值灰度插值

空间变换空间变换 在图像的获取或显示过程中，产生几何失真，在图像的获取或显示过程中，产生几何失真，

如成像系统有一定的几何非线性，因此会造成如成像系统有一定的几何非线性，因此会造成如图所示的枕形失真或桶形失真，另外，由于如图所示的枕形失真或桶形失真，另外，由于地球表面呈球形，摄取的平面图像也将会有较地球表面呈球形，摄取的平面图像也将会有较大的几何失真。对这些图像必须加以校正，以大的几何失真。对这些图像必须加以校正，以免影响分析精度免影响分析精度

原始图像

枕形失真

桶形失真

校正过程校正过程

实际空间畸变

理想图像 观测图像空间变形校正

已校正图像

* * * * ** * *

* * * * ** * *

+ +

观测图像和校正图像之间对应点

设原图为 f(x,y) ，受到几何形变得影响变成g(x’,y’) ，这里 (x’,y’) 表示失真图像的坐标

x’=s(x,y)

y’=t(x,y)

线性失真 s(x,y)=k1x+k2y+k3

t(x,y)=k4x+k5y+k6

非线性失真 s(x,y)=k1+k2x+k3y+k4x2+k5xy+k6y2

t(x,y)=k7+k8x+k9y+k10x2+k11xy+k12y2

如果已知 s(x,y) 和 t(x,y) 的解析表达，可以通过反变换来恢复图像

在实际中，通常不知道解析表达，需要在恢复过程中的输入图象 (失真图 )和输出图 ( 校正图 )上找一些其位置确切知道的点 (称为约束对应点 )，然后利用这些点建立 2 幅图像间其它象素空间位置的对应关系

灰度插值灰度插值

((x,y)x,y)

((x^,y^)x^,y^)

f(x,y)f(x,y) g(x^,y^)g(x^,y^)

最近邻内插最近邻内插

实例实例

变形图像 变形图像 几何校正后的图像几何校正后的图像