Josh Reiss
Nonlinear Time Series Analysis Techniques 1
LL’’ANALYSE DE SERIES ANALYSE DE SERIES TEMPORELLES CHAOTIQUESTEMPORELLES CHAOTIQUES
Joshua D. ReissLecturer,
Queen Mary, University of London
Presenté àDéCom, Université de Reims
6 Mai, 2003
Techniques d’analyse de séries temporellesTechniques d’analyse de séries temporelles
Théorie du ChaosThéorie de l’Information
Transformation de Fourier Ondelettes
Domaine Fréquenciel
Domaine temporel
Non stationnarité
Multidimensionnel
Entropie Dynamiques
Fréquentiel Fréquentiel multi-échelle
Moments Corrélations
StatistiquesMultidimensionnel
Josh Reiss
Nonlinear Time Series Analysis Techniques 2
Logiciel d’analyse de séries temporellesLogiciel d’analyse de séries temporelles
l Traitementl Analyse et
Quantificationl Visualisationl Prédictionl Donnée
simulées/ expérimentales
l Interface utilisateur
Pourquoi pas simplement l’analyse de Fourier ?Pourquoi pas simplement l’analyse de Fourier ?
l Etalement du spectre de puissance (parfois confondu avec du bruit)
l Fortement non linéairelMultidimensionnel
Josh Reiss
Nonlinear Time Series Analysis Techniques 3
Plongement par la méthode des retards coordonnésPlongement par la méthode des retards coordonnés
1 2 ..., , , Nx x xVecteurs de données échantillonnées à pas constants
1 2..., ,j j j
Nx x xExtraction d’une dimension pour plondements
1 1 1 1 2 1
2 2 2 2 2 2
( 1) ( 1) ( 2)
...
...
...
..
( , , , )
( , , , )
( , , )
j j j jd
j j j jd
j j jN d N d N d N
y x x x x
y x x x x
y x x x
τ τ τ
τ τ τ
τ τ τ
+ + +
+ + +
− − − − − −
=
=
=
Nouveaux vecteurs construits avec un retard τ et une dimension de plongement d
Reconstruction de l’espace d’étatReconstruction de l’espace d’état
Original attractor Attracteur reconstruit
Pour un choix convenable du retard et de la dimension de plongement, la reconstruction reproduit toutes les dynamiques originales.
( )x t
( ), ( )x t y t ( ), ( )x t x t τ+
Josh Reiss
Nonlinear Time Series Analysis Techniques 4
Choix de la Dimension de PlongementChoix de la Dimension de Plongement
Pour d <D, intersection de la trajectoire sur elle-même.Pour , l’attracteur est complètement déplié.Pour d >> D, les calculs deviennent plus difficiles.
Dimension de plongement suffisante : D>2DA
d D≥
Choix de la Dimension de PlongementChoix de la Dimension de Plongement
(1) Un faux proche voisin est situé à proximité d’un vecteur dans n dimensions, mais en est éloigné dans la (n+1)th.
(2) On considère le pourcentage d’entre eux sur l’ensemble des “proches” voisins.
| | /n D m D n TOLX X R Rτ τ+ +− >CRITÈRE 1 :
/n A TOLR R A′ >CRITÈRE 2 :
NOUVEAU CRITÈRE:
100
80
60
40
20
0% F
alse
Nea
rest
Nei
ghbo
rs
10987654321Embedding Dimension
Critère 1 Critère 2 Nouveau Critère
Bruit100
80
60
40
20
0
% F
alse
Nea
rest
Nei
ghbo
rs
54321Embedding Dimension
Critère 1 Critère 2 Nouveau Critère
Henon map
Josh Reiss
Nonlinear Time Series Analysis Techniques 5
Choix du RetardChoix du Retard
L’information mutuelle prends en compte les corrélations non linéaires
( ) ( ) ( )( ) ( ),
,; , log
a b
P a bI A B P a b
P a P b= ∑ ( )
( )( )( )
12
1
;N
i iiL N
ii
a a b bC A B
a a=
=
− −=
−
∑∑
Méthodes d’Analyse de Données MultidimensionnellesMéthodes d’Analyse de Données Multidimensionnelles
ØRecherche des proches voisinsØLinéarisationØDétermination du champ de vecteurs / JacobienneØSubstitution / insertion de vecteurs
vPrédictionvDébruitagevAnalyse QuantitativevIdentification du DéterminismevEstimation du bruitvExposants de LyapunovvDimension d’InformationvIdentification d’Orbites Périodiques
Utilisé pour
Josh Reiss
Nonlinear Time Series Analysis Techniques 6
Estimation des Exposants de Estimation des Exposants de LyapunovLyapunov
11
1 L
jjL
D Lλ λλ =+
= + ∑1
0L
jj
λ=
≥∑
Dimension de Lyapunov
1 2( )1 0
tA A e λ λ+=1 2( )
2 1tA Ae λ λ+=
0A
0j
j hµλ
λ>
= →∑ Liée à l’entropie métrique
Liée à la dimensiond’information1D Dλ ≈ →
•Linéarité Locale•Chercher les voisins proches•Approximation moindres carrés
DébruitageDébruitage•Linéarité Locale•Voisins proches•Approximation moindres carrés•Substitution de vecteurs
Josh Reiss
Nonlinear Time Series Analysis Techniques 7
PrédictionPrédiction•Linéarité locale•Voisins proches•Approximation moindres carrés•Insertion de vecteurs
Orbites PériodiquesOrbites Périodiques
Le nombre d’orbites périodiques donne une estimation de l’entropie topologique.
21lim logt pp
h N hp µ→∞
= ≥
•Linéarité locale•Voisins proches•Approximation moindres carrés
Josh Reiss
Nonlinear Time Series Analysis Techniques 8
Méthode de recherche multidimensionnelleMéthode de recherche multidimensionnelle
•Adaptation automatique selon la distribution•Assez facile à implanter•Rapide construction•Rapide recherche
KD-TreeArbre binaire de recherche K-dimensionnel
vMauvais en grande dimension
ComparaisonComparaison
20
22
24
26
28
210
212
214
216
218
220
Sea
rch
time
(mse
c)
29
210
211
212
213
214
215
Number of points
Brute force KTree KDTree Quicksort
22
24
26
28
210
212
214
216
218
220
Sea
rch
time
(mse
c)
29
210
211
212
213
214
215
Number of points
Brute force Box assisted KTree KDTree Quicksort Multi-quicksort
1-d 2-d
24
26
28
210
212
214
216
218
220
Sea
rch
time
(mse
c)
29
210
211
212
213
214
215
Number of points
Brute force Box assisted KTree KDTree Quicksort Multi-quicksort
4-d3-d
25
27
29
211
213
215
217
219
221
Sea
rch
time
(mse
c)
29 210 211 212 213 214 215
Number of points
Brute force KDTree KTree Quicksort Multi-quicksort
Josh Reiss
Nonlinear Time Series Analysis Techniques 9
•Mise à l’échelle des données
(boîtes équiprobables ou équidistantes)
•Trie des données
(0,1) -> (000,001) -> 00 00 01(1,0) -> (001,000) -> 00 00 10(0,3) -> (000,011) -> 00 01 01(2,1) -> (010,001) -> 00 10 01(0,7) -> (000,111) -> 01 01 01(4,2) -> (100,010) -> 10 01 00(4,3) -> (100,011) -> 10 01 01(6,1) -> (110,001) -> 10 10 01 (5,5) -> (101,101) -> 11 00 11
•Balayer toutes les données, estimation de grandeurs statistiques par formules récurrentes.
Tri Rapide MultidimensionnelØ Rapide- dépendance (nlog n)
à la taille de l’ensembleØ Simple- pas de dépendance à
la taille des boîtesØ Boîtes équiprobables ou
équidistantesØ Fonctionne avec tous type de
donnéesØ Econome en mémoireØ Applications
q Information Mutuelleq Entropieq Dimension Fractaleq Dynamique Symbolique
/ Matrices de Transition
•Dépendent à la taille des boîtes•Gaspillage de mémoire •Inefficace pour une distribution non uniforme•Mauvais en grande dimension•Implantation facile•Rapide
Information Mutuelle MultidimensionnelleInformation Mutuelle Multidimensionnelle1 2
1 21 2
( , ,... )( , ,... )log
( ) ( )... ( )n
n nn
p x x xI p x x x
p x p x p x= ∑Approche par
Histogramme
Josh Reiss
Nonlinear Time Series Analysis Techniques 10
•Utilisation d’une grille d’équiprobabilité
•Rapide
Tri de l’Information MutuelleTri de l’Information Mutuelle
( ) ( ) 1 / 2mx j y jP B P B= =
2 ( 1)
12 1
0, ( ) 2
( ) ( ), ( ) 2n
n
m
j
m m mk j
N j
N j F k N j+
+= −
< + ≥
∑0 (1)
lognnF
I NN
= − ( )mF j =
qAperçu de l’information partagée entre les dimensions des données.
qEvaluation de l’efficacité du mixage, de la séparation ou de la conversion.
üNombre de dimension indifférent.
üEnsemble quelconque de symboles (binaire, hex, oct decimal, text)
üDiscret ou continu
üDifférents alphabets pour chaque canal (CAN & CNA)
üValeurs minimales et maximales ont des sens bien définis.
Estimation de la Dimension et de l’EntropieEstimation de la Dimension et de l’Entropie
( )
1
1( ) log ( ), 1
1
Nq
q ii
H P qq
ε
ε ε=
= ≠− ∑ …
q pp q H H> ⇒ ≤
( ) lim ( )/logqD q Hε
ε ε→∞
= −
( )
11
( ) ( )log ( )N
i ii
H P Pε
ε ε ε=
= − ∑
14
12
10
8
6
4
2
Ent
ropy
1614121086420-log2ε
H0 H2
H1 H3 H4
Josh Reiss
Nonlinear Time Series Analysis Techniques 11
Matrice de transition et dynamiques symboliquesMatrice de transition et dynamiques symboliques
1lim log p
t ph tr
p→∞= M
0 1 1
1 0 10 1 1
A B C
A
BC
=
M
0 0.3 0.7
0.2 0 0.80 0.1 0.9
A B C
A
BC
=
M
( ( ))log ( ( ))sup
j jj
P S m P S mh
m tµβ
−=
∆
∑
Séquence type : BABCCBABACBABCBA…
Séquence type : ACBCCCCBCCBACCC…
Traitement des donnéesTraitement des données
v Trains d’impulsion
v Analyse fréquentielle
v Section de Poincaré
l Réductionl Interpolationl Lissagel Sections de Poincarél …
La détection de pics est particulièrement utile pour
Josh Reiss
Nonlinear Time Series Analysis Techniques 12
l Moteur pas à pas
l Modulation Sigma Delta
Ensembles de données expérimentalesEnsembles de données expérimentalesl Brûleur intermittent
l Ruban magnétoélastique
CritiqueCritiqueTechniques d’analyse de données
chaotiques très sensibleso Au bruito A la dérive des paramètres du systèmeo A la taille des donnéeso A l’ajustement de leurs paramètres
Validation des résultatsvPlusieurs méthodes d’analysevConcordance avec la théorievAnalyses de sections et de flots
Josh Reiss
Nonlinear Time Series Analysis Techniques 13
Ruban Ruban MagnétoélastiqueMagnétoélastique
Power Supply
Currentto X- Axis
Currentto Y- Axis
Curr entt o Z-Axis
Phot onic SensorAC Vol t DC Volt
PC
+
•Dynamiques riches•Grande précision•Haute sensibilité•Stabilisation de la Température/Vibrations
1.51.00.50.00.0
0.2
0.4
0.6
0.8
1.0
ExperimentTheory
MAGNETIC FIELD (Oe)
NO
RM
AL
IZE
D M
OD
UL
US
Dimension fractaleDimension fractale
D0= 1.33, D1= 1.40, D2= 1.24 and D3= 1.16
⇒Dimension de plongement : 3⇒2 exposants significatifs Ruban
?q pp q D D> ⇒ ≤
Josh Reiss
Nonlinear Time Series Analysis Techniques 14
Exposants de Exposants de LyapunovLyapunov
Méthode de WolfØλ1=0.66Méthode de RosensteinØλ1=0.6Méthode d’Eckmann-RuelleØλ1= 0.45996Øλ2= -0.471613
Ruban
Méthode de Rosenstein
Dépendent de•Méthode•Interprétation•L’ajustement de leursparamètres de plongement•Approximations
•Taille des données•Bruit•Dérive des paramètres du système•...
Non stationnarité et Non stationnarité et dérive des paramètres
Ruban
Mis en évidence par beaucoup de grandeurs statistiques
(skewness, kurtosis, max and min,...)Dynamiques à long terme possibles
Josh Reiss
Nonlinear Time Series Analysis Techniques 15
Dynamiques symboliquesDynamiques symboliques
Ruban
4 1 3 2 2 2 4 1 3 4 1 ...N N N N N N N N N N N→ → → → → → → → → → →
0 0 0 10 1 1 01 0 0 00 1 1 0
Matrice de transition :
Brûleur intermittentBrûleur intermittent
Josh Reiss
Nonlinear Time Series Analysis Techniques 16
Sortie de flamme !Sortie de flamme !
8
6
4
2
T (n
orm
.)
2.52.01.51.0P (norm.)
Expérimental Simulationrapport fuel/air > C rapport fuel/air < C
Brûleur
Non stationnarité et Non stationnarité et dérive des paramètresdérive des paramètres
Comportement non stationnaire de la moyenne.
128 fenêtres de longueur 213=8,192
La valeur moyenne varies jusqu’à 3% de la dynamique totale
Causes possibles•Dérive des paramètres•Dynamiques à long terme•Grande dimension•Bruit
Brûleur
Josh Reiss
Nonlinear Time Series Analysis Techniques 17
Temps de retardTemps de retard
•Forte coïncidence entre les méthodes•Sensibilité minimale au bruit et/ou à la complexité
Brûleur
Dimension de plongementDimension de plongement
•Dégradé par le bruit et la non stationnarité• Peu concluant car :
•Technique d’analyse mal adaptéeOu (exclusif)•Résultats correct mais dimension élevée Brûleur
Josh Reiss
Nonlinear Time Series Analysis Techniques 18
Moteur pas à pasMoteur pas à pasl Moteur hybride, 48 pas/tour, à
vide.l En basse fréquence, vitesse de
rotation proportionnelle à la fréquence d’alimentation.
Mais en haute fréquence...
Projection de l’attracteur plongé (acquisition de courants)
Paramètres de plongementParamètres de plongement
Moteur pas à pasMoteur pas à pas
Dimension de plongement : 4 ou 5Retard : 13
100
80
60
40
20
0
%F
alse
Nea
rest
Nei
ghbo
rs
10987654321Embedding dimension
Josh Reiss
Nonlinear Time Series Analysis Techniques 19
5
4
3
2
1
0
Cor
rela
tion
dim
ensi
on
-7.5 -5.0 -2.5 0.0log(ε)
Embedding: 2 dimensional 3 dimensional 4 dimensional 5 dimensional 6 dimensional
Estimation de la dimension Estimation de la dimension fractale
Moteur pas à pasMoteur pas à pas
≤ ≤Bruit
Plus de structure visible
1.9 D 2.2Faible
dimension
lBonne concordance des méthodes
lConcordance avec les faux plus proches voisins
Dimensions généralisées(de Renyi)
6
5
4
3
2
1
0
Gen
eral
ised
Dim
ensi
on
-3.0-2.5-2.0-1.5-1.0-0.50.0log(ε)
D(0) D(2) D(1) D(3)
Orbites Périodiques InstablesOrbites Périodiques Instables
Moteur pas à pasMoteur pas à pas
Josh Reiss
Nonlinear Time Series Analysis Techniques 20
Coexistence dCoexistence d’’AttracteursAttracteurs
l Attracteur chaotique– 4000 points
l Coexistence d’Attracteurspériodiques– 10000 points
Moteur pas à pasMoteur pas à pas
Modulation Sigma Delta Chaotique Modulation Sigma Delta Chaotique
1 1 1( )n n n nU U X Q Uα − − −= + −
Modulation Σ∆1 1 1( ( ))n n n nU X U Q Uα− − −= + −
Forme habituelle :
Nouvelle forme :
Josh Reiss
Nonlinear Time Series Analysis Techniques 21
Régime stableRégime stable
Modulation Σ∆
Gain en marches d’escalierGain en marches d’escalier
1 bit
4 bits
1 bit
4 bits
Modulation Σ∆
aa appliqué à l’intégrateurappliqué à l’intégrateur aa appliqué à l’erreurappliqué à l’erreur
Josh Reiss
Nonlinear Time Series Analysis Techniques 22
Séquences autorisées de symboles 7Séquences autorisées de symboles 7--bitsbits
Modulation Σ∆
Spectre en puissance Spectre en puissance –– fractal!fractal!
Modulation Σ∆
Josh Reiss
Nonlinear Time Series Analysis Techniques 23
FinFin
Merci Beaucoup!
Questions ?