2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 1/12

Image Processing and Scientific Workflowsin the VO context

Observatoire de Strasbourg (CDS) : A. Schaaff, J.J. Claudon

Observatoire de la Cote d’Azur : E. Slezak

Action Spécifique Observatoires Virtuels France

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 2/12

VO Science Cases(from the AstroGrid Top Ten Science Drivers)

• Physical processes within the solar corona ;• Comparaisons between solar and stellar flares ;• Brown Dwarf selections ;• Supernova galaxy environments ;• Detection of low surface brightness galaxies ;• Deep extragalactic field surveys ;• Locating clusters of galaxies at a range of redshift ;• Discovery of high redshift quasars.

Added-value of federated information

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 3/12

Some Relevant Queries

• Analysis of catalogues

– cross-matches between catalogues (multiple or lack of counterparts) ; spectral energy distribution, photometric redshifts

– departures from homogeneity, hierarchical relationships ; – matched filters related to a given regularity in some properties ; – comparaisons to models and access to databases (images, spectra).

• Analysis of multispectral images from various detectors – optimal detection for objects with a more or less well-known shape ; – variable background, overlapping objects, with a hierarchy of features – noise characteristics, sampling, resolution, magnitude limit, consistency between measures in different bands, mosaics.

> mixed queries < e.g. QSO host galaxies & BH masses

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 4/12

but one has to cope with reality ...

• The description levels of the data quality and of their calibration vary a lot across the databases ;• Merging such heterogeneous data is tedious ;

• The quantity of pixels increases exponentially ;• Any multi-source multi- data set is intrinsically complex ;

> dedicated algorithms and processing methods are required <> which can operate on (distributed) large data sets <

> user-tunable analysis pipelines must be available <

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 5/12

The OV-France workflow WG.Action Spécifique Observatoires Virtuels France

– defining use cases of general interest (images, spectra, simulations) ;– identifying the simplest workflow structure allowing portability ;– suggesting and evaluate solutions for designing and exploiting such workflows (eg. WebCom-G, AstroGrid, AIDA)

Objectives :

Workflow - our definition :

sequence of tasks executed within a controlled context

by an archictecture taking into account VO standards

Observatoires de Strasbourg, de Paris, de Lyon, de la Côte d’Azur, Laboratoire d’Astrophysique de Marseille

http://www.france-ov.org/twiki/bin/view/GROUPEStravail/Workflow

start : 2005

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 6/12

Multivariate Image Analysis

• multidimensional natural data are complex •

(non-gaussianity, inherent sparsity, hidden correlations)

3) Primitives extraction and classification

1) Dimensionality reduction

• select or build variables carrying relevant information• choice of a noise model

– (non-) linear global techniques vs. hidden low-D sub-spaces identification –

• model selection (cf. sparse representation)• choice of the metrics ; PDFs estimation

2) Data segmentation

– (un-)supervised methods, w/ or w/out hierarchical scheme, fuzzy/hard partitioning –

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 7/12

Multisource Data Fusion

combine in an optimal way all the data into a single model

preserve all the information from the initial data set

enhance the quality of the final output(denoising, spatial and/or spectral super-resolution)

1) Objectives

2) Strategy • a group of 2D images of the same field ;• a set of spectra ;• a tridimensional data cube.

3) Tactic• •

xeg. co-addition : chi2 image vs. probabilistic approach

posterior marginal : P(X Y) P(X,Y, , ) d d

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 8/12

Data Analysis Systems

Computational ressources : GRID5000, EGEE

1) Use of a library of programs

a unique way to configure and execute programsgraphical construction of a fixed sequence of algorithms

> capitalisation of the knowledge about the use of programs <> available for users not specialised in the domain <

request on the data (goal) result (objective)

AIDA Application

2) Knowledge-based program supervision system (eg. PEGASE engine /INRIA)

automate the configuration of programs using operators and rules

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 9/12

A basic request for a simple workflow

• goals : detect and measure connex objects in a single mono-band image (SExtractor).

• underlying model : separated diffuse sources in emission over a slowly variable ideal background.

• chosen methods : – estimate a background map ; – extract sources by a thresholding segmentation ; – elliptical modeling of the shape of each domain ; – construction of an azimuthal brightness profile ; – computation of compactness and flux indicators.

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 10/12

Astron. Image proc. Distrib. Architecture

chaining (FORTRAN) programs

just by a few click-an-drops

easyintegration procedure

• file describing I/Os •• a configuration file •

> action plan <

scheduling on the gridwill be soon available

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 11/12

Use within the CDS-Aladin VO portal• a multicolour image with superimposed contours •

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 12/12

Some Future Developments

• Multiband, multisensor, multimodes image fusion ; ANR Space Fusion / LSIIT Strasbourg.

• Extraction and mesurements of fuzzy superimposed objects ; a webservice is under construction at OCA.

• Classification and data mining on massive multidimensional data sets.

> OV : transfer of data vs. transfer of codes> Grid : load monitoring, submit whole or part of the workflow > AIDA : ergonomy, monitoring & log file, partial run

– a library of modules from algorithms common to various use cases –– fruitful exchanges with the Astrogrid and STIC communities –

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 13/12

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 14/12

Added-Value of Federated Information

crab nebulamultiwavelength composite

image credit :Chandra X-Ray Observatory

2006, August 22 E. Slezak – IAU 26th GA – SPS 3b session VIII 15/12

Initié en 2005 dans le cadre de l’Action Spécifique « Observatoire Virtuel », le groupe de travail Workflow a pour but de produire des cas d’utilisation dans plusieurs domaines (image, spectre, simulation, etc.) et de les confronter avec des outils, en particulier avec ceux du VO. Le développement de collaborations avec la communauté STIC (liens avec les grilles e.g. EGEE, ...) est également un objectif essentiel. La dernière réunion plénière (16 juin 2006) était organisée à l’IAP, réunissant plus de 30 participants.

Le groupe de travail Workflow créé dans le cadre de l’AS OVA. Schaaff1, F. Le Petit2, P. Prugniel3, E. Slézak4, C. Surace5

1 Observatoire de Strasbourg, 2 Observatoire de Paris, 3 Observatoire de Lyon, 4 Observatoire de la Côte d’Azur, 5 Laboratoire d’Astrophysique de Marseille

Un exemple de requête simple en imagerie monobande…

• opérations : détection et évaluation d’objets connexes dans une image mono-bande

• modèle sous-jacent : tâches diffuses disjointes en émission sur un fond lentement variable sans défauts. • méthode adoptée : – cartographie du fond ; – seuillage par segmentation ; – ajustement d’une ellipse de forme ; – évaluation du profil azimutal de brillance ; – calcul de mesures de forme et de flux.

…et sa solution avec l’outil AÏDA…

… un pas vers la pérennisation des connaissances en  traitement d'images des spécialistes de la communauté.

Informations, dates des réunions, compte-rendu, présentations, liens vers les outils,…

http://www.france-ov.org/twiki/bin/view/GROUPEStravail/Workflow

Objectifs prioritaires du groupe de travail en 2006/2007 :•Etendre la définition des cas d’utilisation à d’autres domaines•Définir les différentes  parties (briques) communes aux cas d'utilisations (spectres,  imagerie...) et tendre vers une bibliothèque de modules. •Poursuivre les échanges avec la communauté STIC et AstroGrid•Promouvoir le travail réalisé lors des réunions Interop de l’IVOA

Les cas d’utilisation sont utiles pour juger de la pertinence respective des différents modèles envisageables pour un workflow et des conditions de leur construction avec les outils disponibles ou en développement (ex. : AstroGrid, AÏDA, WebCom-G, …).Ces outils tendent à rendre presque transparente l’exécution (machine locale, cluster, grille) et l’utilisation des fonctionnalités VO (Web Services, GRID, VOSpace, …).

Expérimentation de l’utilisation de workflows dans Aladin, un portail du VO

Le groupe de travail Workflow se consacre à :• la mise en place de cas d’utilisation et à la formalisation de la connaissance sous-jacente• la recherche d’une structure minimale pour la définition d’un workflow afin de tendre vers la portabilité entre outils (de conception et  d'exécution) en se basant sur les standards existants.• l’utilisation optimale des algorithmes de traitement de données et la construction de chaînes de traitements adaptées à la résolution de problèmes spécifiques.

Extraction d’une sous image d’un catalogue en ligne à partir de son

identification astronomique avec WebComG

Notre définition d’un Workflow : enchaînement de tâches réalisé dans un contexte maîtrisé (à divers niveaux : intelligence dans le choix des algorithmes, contrôle de flux, …), basé sur l’étude de « Cas d’utilisation », dans une architecture prenant en compte les standards du VO.