Wide‐area

 precipitatio

n estim

ation from

 satellite im

agery

Paul M

. Aok

i

Motivation

Global precipitatio

n mod

els a

re crucial in

 areas ra

nging from

 clim

ate change re

search to

 wire

less network planning

 in 

developing

 cou

ntrie

s (my ow

n interest). Ra

ster data from

 geostatio

nary sa

tellites is still the

 only who

le‐globe

, near‐real‐

time, m

ulti‐de

cadal observatio

nal data record we have, but it is 

not a

 dire

ct m

easurement o

f  rainfall presence (detectio

n) or 

quantity (estim

ation).

WMO GPC

C an

nual ra

infall

estim

ate, 201

6

Prob

lem statem

ent

Mod

els for ra

infall de

tection and estim

ation from

 infrared

 satellite 

imagery can be

 con

structed

 usin

g supe

rvise

d learning. R

ain/no

‐rain (R

/NR) labe

ls and rainfall values are not available glob

ally, but 

quantitative precipita

tion estim

ate (QPE) d

ata is available for 

select re

gion

s based

 on weather ra

dar n

etworks. 

The 20

17 state‐of‐the

‐art (SOTA) is  b

ased

 on pred

ictin

g rainfall at 

the center pixel of e

very 15x15

 patch (1

.2x 1.2) from each 

hourly im

age of th

e stud

y region

 and

 I retain th

is approach here.

Data

Datasets

“Groun

d truth”: U

.S. N

WS QPE

 grid

 (hou

rly, 0.4)

Comparable op

erational system: U

CI PER

SIAN

N‐CCS

 (ho

urly, 0.4)

Images: U

.S. N

OAA

 GOES infrared

 imagery (hou

rly, 0.4)

Stud

y region

U.S. G

reat Plains region, 30‐45N

, 105

‐90W (6

742,450,450,2)

948 M (3

0,30,1) p

atches = 6.8 TB @ 0.4

238 M (1

5,15,1) p

atches = 214

 GB @ 0.8

Train/validation set: Winter/Summer 201

2, 4.8% ra

in pixels

Test se

t: Winter/Summer 201

3, 6.3% ra

in pixels

Metho

dIm

plem

entatio

nsin Keras/Ten

sorFlow:

•Keras“gene

rator” fo

r patches (

data augmentatio

n pipe

line)

•Several m

odels, includ

ing the on

es com

pared he

re:

Intuition

/motivation: The

 SOTA

 app

roach do

es not use any 

convolutional layers, and

 so m

ay m

iss out on any transla

tion‐

invaria

nt features th

at affe

ct probability of ra

in. It is a

lso re

latively 

shallow, and

 increased de

pth could im

prove hierarchical 

representatio

n.Detectio

n measures : I app

ly standard m

easures –

binary 

(sigmoid) cross‐entropy fo

r loss, binary accuracy and

 critical sc

ore 

index(CSI) for evaluation metrics.

(c.f. 

(CSI is m

ore common

 in m

eteo

rology; 

is no

t used.)

Estim

ation measures : I app

ly m

ean squared error (MSE) as b

oth 

loss and

 evaluation metric.

Class im

balance: The

 class distrib

ution is un

balanced

; to im

prove 

CSI, balancing by oversam

pling of positive class and

 by class 

weightin

g have been exam

ined

.Re

ferences (see

 repo

rt)

1.De

tection SO

TA. Tao

 et a

l., J. Hydrometeorology, to appe

ar.

2.Estim

ation SO

TA: Tao

 et a

l., IEEE CEC

 2016.

3.NOAA

 GOES. G

OES N Series D

ata Bo

ok (R

ev. D

), 2009.

4.NWS QPE. Lin & M

itche

ll, Proc. 200

5 AM

S Hy

drology Co

nf.

5.SD

AE.  Vincen

t et a

l., JM

LR20

10.

6.Simplicity. Springenb

erget al., IC

LR 201

5. https://arxiv.org/abs/14

12.680

67.

VGG16

. Sim

onyan& Zisserman, ICLR 20

15. https://arxiv.org/abs/14

09.155

6

Selected

 find

ings

Tuning

 Sim

ple CN

NIn add

ition

 to th

e usual tun

ing and sm

all‐n

 overfitting tests, I 

tune

d filter d

epth f(24, 32, 64, 96, 192

). The Simplicity

 work used

 f=96

 for C

IFAR

‐10; here, f=

64 is used througho

ut.

Detectio

n compa

rison

It is im

possible to

 determine Tao et al.’s

 detectio

n accuracy with

 certainty, but com

bining

 statistics from tw

o of th

eir p

apers g

ives a 

best gue

ss of 9

4.7%

. (the test se

t majority

‐class freq

uency).

Tao et al. repo

rt a te

st se

t CSI of 0

.306. So far, my accuracies are 

substantially lower (e

.g., 89

.3% SOTA, 93.7%

 Sim

ple CN

N) w

ith 

class w

eightin

g/balancing that achieves c

omparable CSI.

Estim

ation compa

rison

SOTA

 attaine

d an

 MSE of 1

.32, far b

etter than the op

erational 

PCCS

 system

 but larger th

an th

at of the

 cou

nterfactual m

odel th

at 

always e

stim

ates ze

ro ra

infall. Sim

ple CN

N app

ears to

 do be

tter 

than

 eith

er but th

e freq

uency distrib

utions still needs to

 be 

checked against h

istorical prio

rs in

 a rigorous way.

Conclusion

s / dire

ctions

While re

plication is no

t com

plete, it’s clear that the

 SOTA

 results 

are plausib

le. Thu

s far, it a

ppears th

at SOTA

 estim

ation results can

 be

 improved

 upo

n; SOTA

 detectio

n results re

main difficult to 

improve past th

e majority

‐class freq

uency, and

 add

ition

al layers 

may be ne

eded

 before large archite

ctural differen

ces can be

 seen

.

NWS QPE

 vs. 

GOES IR

 ban

d an

d WV ba

nd(U.S. G

reat Plains, 201

3‐02

‐21 16

00Z)

Cold (b

lue) im

agery at righ

t correspo

nds to intense rainfall at left.

SOTA

 (SDA

E):

3‐layer fully‐con

nected

 mod

elw/ S

DAE un

supervise

d pre‐training

•1 ba

nd mod

el•

2‐ba

nd ensem

ble (con

cat)

Simple CN

N:

Mod

ified

 “Simplicity

” all‐C

NN m

odel

(+ dense to

p layers)

Tran

sfer CNN: 

Pre‐trained VG

G16

 mod

el 

(+ dense to

p layers)

24 3264

96192

Filte

r depths >

 64 

overfit on this 

dataset

All m

odels a

chieved 

majority

‐class 

validation an

d test 

set a

ccuracy w/o 

class w

eigh

ting.

Simple CN

N achieves  

lower M

SE  (left) 

while re

taining a 

reason

able frequency 

distrib

ution (right)