conception et réalisation d'un système de production de dictionnaires arabes respectant la...
TRANSCRIPT
168
Conception et réalisation d’un système de production
de dictionnaires arabes respectant la norme LMF
Mohammed REQQASS, Abdelhak LAKHOUAJA,
Azzedine MAZROUI
Laboratoire de Recherche en Informatique
Université Mohamed 1er, faculté des Sciences
Oujda, Maroc
[email protected], [email protected],
Mohamed BEBAH
Doha Institute for Graduate Studies
Doha, Qatar
Résumé— La production des dictionnaires est une tâche très
complexe qui nécessite, souvent, la participation de plusieurs
lexicographes et le recours un ensemble très varié de ressources
lexicales. Nous présentons dans ce papier notre contribution à la
lexicographie arabe sous forme d’un nouveau système de
production des dictionnaires. D’une part, le système réalisé est
une application web permettant de faciliter le travail collaboratif
des lexicographes. D’autre part le système a été conçu en
respectant la norme standardisée LMF (Lexical Markup
Framework) afin de garantir la modularité, l’extensibilité et un
échange standardisé des ressources lexicales.
Mots clés— Système de production des dictionnaires; Lexical
Markup Framwork; Lexicographie ; Analyse morphologique ;
Indexation.
I. INTRODUCTION
Le dictionnaire est un ouvrage didactique constitué par un ensemble d'articles dont les entrées sont les mots pris indépendamment les uns des autres et rangés dans un ordre déterminé, le plus souvent alphabétique. Il permet de chercher le sens d’un mot. Sa construction repose sur deux principes : la globalité (il doit contenir presque tous les mots de la langue) et l’organisation de ces entrées (les mots dans les dictionnaires papiers doivent aboutir à un certain ordre pour permettre aux utilisateurs une méthode de consultation rationnelle, rapide et universellement connue) [12].
La production des dictionnaires est une industrie qui a commencé il y a longtemps. Cette industrie permet de conserver la langue et d’assurer sa continuité. En revanche, produire un dictionnaire est un travail complexe en termes de collecte des entrées du dictionnaire et de sa rédaction. Ainsi, avec les progrès que connais l’informatique et les résultats intéressants du traitement automatique des langues naturelles il est devenu indispensable d’élaborer des systèmes informatisés de production de dictionnaire permettant de faciliter la construction de ces derniers.
D’après A. Kilgarrif [2], un système de production de dictionnaires est un logiciel permettant d’écrire un dictionnaire et le stocker quelque part en faisant intervenir une équipe comprenant des lexicographes, un rédacteur en chef, un gestionnaire de projet et un éditeur. Il se base sur une base de
données respectant la grammaire du dictionnaire exportable en format XML pour garantir son échange et sa longévité.
A l’instar de quelques outils du traitement automatique des langues naturelles (TALN), notre système respecte la norme standardisée Lexical Markup Framework (LMF) [11]. Cette norme permet de construire des applications modulaires extensibles qui assurent l’échange des ressources lexicales entres les applications du TALN.
Dans le présent papier nous présentons notre système de production des dictionnaires arabes qui répond aux besoins énoncés par [2] et qui respecte la norme standardisée LMF.
Ce papier s’articule sur trois sections. Dans la première nous citons l’historique de la rédaction des dictionnaires arabes puis nous présentons les fonctionnalités que doit offrir un système de production des dictionnaires (DPS) et nous terminons cette section par une exposition des DPS disponibles de langue arabe ainsi que d’autres langues. Dans la deuxième section nous présentons le méta modèle LMF et nous décrivons dans la troisième section les modules que nous avons développés pour élaborer notre DPS pour la langue arabe avant de conclure avec quelques prises d’écran de l’état actuel de notre système.
II. PRODUCTION DES DICTIONNAIRES ARABES
A. Historique
La production des dictionnaires arabes a connu un développement perceptible en termes de recueil des entrées lexicales ainsi que leurs organisations [1]. En fait, les premiers dictionnaires arabes ont été construits en se basant sur les termes utilisés dans le Coran, le Hadith et les proverbes. En revanche, les nouveaux dictionnaires ont englobé des mots qui ne respectent pas les critères d’éloquence arabe et des termes étrangers. Les dictionnaires arabes peuvent être classifiés selon l’organisation de leurs entrées lexicales. Nous citons les quatre importantes écoles de cette classification :
«Al-Ein» (العين) : cette école organise les entrées lexicales suivant la sortie vocale des lettres. Ainsi la première lettre du dictionnaire est la lettre "ع" alors que la dernière est la lettre "م" .
169
«Al-Jamhara» (الجمهرة) : cette école organise les entrées lexicales suivant l’ordre alphabétique des lettres arabes.
«AL-Sihah» (الصحاح) : cette école organise les entrées sous des chapitres dont le nom est la dernière lettre de la racine de l’entrée. Chaque chapitre est constitué d’une ou de plusieurs sections qui à leur tour regroupent les mots dérivés des racines commençant par le nom de la section. Par exemple, le mot "البغث" dont la racine est " "ب غ ث se trouve dans la section
"ب" du chapitre "ث" .
«AL-assas» (األساس) : cette école organise les entrées sous des chapitres. Par exemple le chapitre "ب" regroupe tous les mots dérivés des racines commençant avec la lettre « ب ». Les racines sont triées par ordre alphabétique. Ainsi, le mot "مقبول" dont la racine est "ل ب ق" se trouve dans le chapitre
"ق" .
De nos jours, l’utilisation de la langue arabe ne cesse de s’accroitre, et cela nécessite l’élaboration des systèmes de production de dictionnaire informatisés pour bien contrôler le processus de production et facilement mettre à jours les dictionnaires. Dans le paragraphe suivant, nous présentons les caractéristiques d’un système de production des dictionnaires ainsi que les systèmes que nous avons pu tester.
B. Etat de l’art
Le système de production des dictionnaires est un outil informatique permettant au différent intervenant dans l’élaboration du dictionnaire de :
rédiger et éditer les entrées du dictionnaire ;
contrôler la qualité des entrées et d’assurer leur cohérence ;
exploiter les ressources linguistiques disponibles (documents, web, dictionnaires électroniques, …) ;
produire le dictionnaire en plusieurs formes : en papiers, électroniques, … ;
faire communiquer le dictionnaire avec d’autre application ;
permettre à toute la communauté de participer à l’élaboration du dictionnaire envisageable.
Pour répondre totalement ou partiellement à ces besoins, plusieurs systèmes de production ont été développés dans le cadre des projets de construction des dictionnaires. Parmi les systèmes des plus avancés sur le marché nous pouvons citer :
TshwaneLex [3]: un système de production des dictionnaires monolingue, bilingue et multilingue en différentes formes (papier, électronique, enligne/intranet). La nature hors-ligne de ce système rend le travail collectif dans la rédaction ainsi que le suivi et le contrôle de la production d’un dictionnaire très complexe.
Matapuna [10]: un système de production de dictionnaire développé dans le cadre du projet Matapuna pour construire
un dictionnaire de la langue « Maori ». C’est une application web open source permettant à plusieurs intervenants de produire un dictionnaire simultanément.
Glossword [6]: un système de création et publication des dictionnaires multi-langue. C’est une application web open source permettant de désigner plusieurs profils d’utilisateur, ce qui offre la possibilité de distribuer le travail sur la production d’un dictionnaire sur plusieurs personnes tout en assurant le contrôle et l’administration de l’enchainement du processus de production des dictionnaires.
Malgré que les systèmes de production des dictionnaires actuels répondent à la plus part des exigences des lexicographes nous pouvons juger qu’ils présentent plusieurs limites pour la rédaction des dictionnaires arabes, nous citons quelques restrictions de ces systèmes :
- absence de l’information morphologique de l’entrée ;
- recherche avancée et recherche par forme fléchies non disponibles ;
- ne permettent pas l’extraction des exemples contenant une forme fléchie d’une entrée lexical ;
- aucune information pour la source de l’exemple.
Le système implémenté dans le cadre du projet « Almuajam » fournit une interface de proposition des entrées de dictionnaire, des définitions et des exemples (dictionnaire interactif de la langue arabe) [7], mais elles ne permettent pas :
d’exploiter facilement les ressources lexicales disponibles ;
d’exporter facilement le travail réaliser ;
d’assurer le bon contrôle du processus de production du dictionnaire.
III. LEXICAL MARKUP FRAMEWORK
Lexical Markup Framework est un méta-modèle qui fournit un standard commun pour normaliser les ressources linguistiques. Son objectif est de fournir un modèle commun pour la création et l’utilisation des ressources lexicales ainsi que l’échange des données entres ces ressources [11].
Cette norme est constituée d’un noyau et de plusieurs modules extensibles utilisables selon les besoins de l’application. Il a été conçu en utilisant le langage UML.
Ce modèle a été adopté dans les travaux du TALN pour plusieurs langues, notamment la langue arabe dans la construction d’une base de données lexicale pour la langue arabe moderne [8] ainsi que dans la modélisation des dictionnaires électroniques éditoriaux [4].
L’utilisation de ce modèle dans notre système assure d’une part la normalisation des entrées du dictionnaire et d’autre part sa communication avec d’autres ressources respectant la norme LMF. La structure modulaire de cette norme permet d’assurer l’extensibilité de notre système et de générer facilement des produits dérivés.
170
IV. NOTRE SYSTEME DE PRODUCTION DES DICTIONNAIRES
Nous proposons un système de production des dictionnaires arabes qui répond aux besoins cités dans la section précédente. Pour cela, nous avons implémenté une application web en utilisant le langage J2EE pour profiter de la richesse et de l’efficacité du langage java et pour que l’application soit portable sur plusieurs systèmes d’exploitation. Nous avons aussi construit notre base de données en respectant le standard LMF (Lexical Markup Language) et nous avons adopté l’analyseur morphologique Alkhalil Morpho Sys 2 [9].
A. Présentation d’Alkhalil Morpho Sys 2
« Alkhalil Morpho Sys 2 » est la deuxième version de l’analyseur morphologique Alkhali Morpho Sys. Cet analyseur permet d’avoir en plus des informations morphologiques fournies par la première version d’Alkhalil Morpho Sys l’information « lemme ».
Nous rappelons que le lemme d’un nom est sa forme au singulier (par exemple : le lemme du mot "األشجار" est "شجرة" ), celui d’un verbe est sa forme conjuguée à l’accompli à la troisième personne du singulier (par exemple : le lemme du verbe "يلعبون" est " ب ع ل" ), et le lemme des autres mots est le mot lui-même (par exemple : le lemme du mot " ن م" est " ن م" ).
B. Modules développés
Nous étions amenés à développer trois modules pour rendre le système plus interactif et pour exploiter les ressources linguistiques.
Module de recherche par la forme fléchie
Ce module permet de faire des recherches avec la forme fléchie du mot (sans avoir à connaitre son singulier pour les noms par exemple).
Pour cela, nous avons intégré l’analyseur morphologique « Alkhalil Morph Sys 2 » pour pouvoir récupérer le lemme du mot recherché.
Module d’indexation
Souvent la définition d’une entrée lexicale dans le dictionnaire est argumentée par des exemples permettant de mieux comprendre le sens et de montrer son utilisation. Pour cela, et pour faciliter cette tâche pour les lexicographes, nous avons développé un module d’indexation et d’étiquetage morphosyntaxique des corpus permettant d’exposer d’une façon automatique l’ensemble des phrases dont l’entrée est apparue selon les informations morphologiques que le lexicographe a saisies.
Ce module permet de transformer les fichiers textes brutes en base de données relationnelle permettant d’indexer les mots de la ressource linguistique. Nous n’avons pas utilisé les moteurs de recherche disponibles car leur principe est de renvoyer un document, alors que le besoin de notre indexation est de récupérer le contexte d’un mot indépendamment de son poids dans la ressource.
L’indexation du fichier se fait de la façon suivante :
- récupération des informations nécessaires pour identifier la ressource lexicale ;
- chaque mot est analysé par l’analyseur morphosyntaxique Alkhalil ;
- chaque mot est identifié selon sa position dans le fichier.
Module d’export XML
Nous avons conçu et utilisé une base de données relationnelle pour profiter des fonctionnalités offertes par les systèmes de gestion de base de données. Or, pour garantir l’échange des ressources lexicales avec d’autres applications et pour rendre notre système indépendant du système de gestion de base de données, nous avons mis en place un module d’export de données sous format XML normalisé avec le standard LMF.
C. Structure de la base de données
Notre base de données comporte 25 tables que nous pouvons regrouper sous 5 catégories :
Catégorie 1 : données morphologiques Elle regroupe toutes les informations morphologiques d’un mot (racine, lemme, type, pattern).
Catégorie 2 : entrée du dictionnaire Elle contient le mot qui constitue l’entrée du dictionnaire ainsi que sa forme non voyellée.
Catégorie 3 : informations sémantiques Elle regroupe les différentes informations sémantiques des mots (sens du mot, champs sémantiques, …).
Catégorie 4 : Informations sur les ressources lexicales Elle regroupe les données de documentation.
Catégorie 5 : indexations des ressources lexicales Cette catégorie contient l’indexation des ressources lexicales.
Toutes ces catégories sont indépendantes les unes des autres. Ainsi, la rédaction du dictionnaire peut être faite d’une façon extensible par un ou plusieurs utilisateurs, ce qui permet au rédacteur du dictionnaire de répartir l’effort de l’élaboration du dictionnaire en plusieurs tâches. Nous montrons ci-dessous l’architecture de notre base de données.
Ainsi nous définissons le diagramme suivant en adaptant le modèle LMF :
171
Fig. 1. Structure de la base de données
Ce diagramme permet de définir les relations suivantes :
Chaque entrée lexicale peut avoir zéro ou plusieurs informations morphologiques.
Chaque entrée lexicale peut avoir zéro ou plusieurs informations sémantiques.
Chaque information sémantique a une source et peut être argumentée par plusieurs exemples.
Chaque exemple est lié à une source.
Chaque exemple est constitué par une séquence de mots.
D. Cas d’utilisation et scénario alternatif
Nous montrons les fonctionnalités de notre système dans le diagramme des cas d’utilisation suivants :
Fig. 2. Cas d'utilisation de notre système
1) Utilisateurs du système
Nous distinguons 3 utilisateurs :
Lexicographe : cet utilisateur est désigné directement ou suite d’une confirmation de demande d’enregistrement par l’administrateur. En plus de la fonctionnalité de recherche, il peut faire des propositions et voir ses propositions suite à une authentification dans le système.
Rédacteur : cet utilisateur bénéficie de toutes les fonctionnalités du lexicographe. En plus il a le droit d’accepter/ refuser les propositions du lexicographe. Il peut aussi modifier les entrées du dictionnaire, ajouter des ressources linguistiques et visualiser des statistiques permettant de contrôler la qualité du travail.
Administrateur : cet utilisateur gère les comptes des utilisateurs du système.
2) Cas d’utilisation et scénario alternatif
Dans ce paragraphe nous expliquons quelques scénarios principaux.
Recherche simple : l’utilisateur peut faire une recherche par le mot dans ces différentes formes fléchies. Ainsi un simple internaute n’est pas forcé à avoir un bon niveau de connaissance de la langue arabe pour consulter le dictionnaire.
Recherche avancée : permettre à l’utilisateur de combiner plusieurs filtres dans la recherche. Ainsi, il pourra réduire le nombre de résultats ; par exemple afficher les résultats d’un mot dont le domaine sémantique est bien spécifié.
Enregistrement : permettre à l’utilisateur de devenir lexicographe en remplissant un formulaire contenant ses informations pour avoir un compte. Cette fonctionnalité permettra à une large communauté de participer à l’élaboration du dictionnaire.
Proposition des entrées : cette fonctionnalité permet d’ajouter/éditer une entrée lexicales :
Ajouter une entrée :
- s’authentifier ; - saisir les informations morphologiques de
l’entrée ; - pourvoir ajouter un ou plusieurs sens à chaque
entrée ; - pouvoir argumenter chaque sens par un ou
plusieurs exemples.
Editer une entrée :
- s’authentifier ; - rechercher une entrée lexicale ; - le résultat s’affiche dans un formulaire dédié à la
modification des informations morphologiques et sémantiques de l’entrée ;
- éditer les champs concernés et/ou ajouter d’autres informations.
172
Ajouter des ressources linguistiques : cette fonctionnalité permet d’exploiter la richesse des ressources linguistiques disponibles :
- s’authentifier ; - saisir les informations sur la ressource ; - joindre la ressource au formulaire ; - lancer le module d’indexation que nous avons
développé.
E. Conception de la base de données
En respectant le modèle LMF cité ci-dessus, nous avons conçu et mis en place une base de données construite de 25 tables que nous pouvons regrouper selon les classes suivantes :
entrée lexicale : elle contient l’entrée lexicale du dictionnaire et elle constitue le noyau de notre base de données;
information morphologique : elle contient les informations morphosyntaxiques permettant l’étiquetage des entrées lexicales du dictionnaire;
information du document : elle regroupe l’ensemble des informations bibliographiques des documents (titre du document, auteurs, éditeur,…etc.);
données d’indexation : cette classe permet l’indexation du contenu textuel de chaque document.
information sémantique : elle contient l’ensemble d’informations permettant de comprendre la définition du mot (domaine sémantique, sens, exemple).
F. Implementation de notre système de production des
dictionnaires arabes
A ce jour, nous avons pu implémenter un système de production de dictionnaires arabe qui permet :
de répartir la construction du dictionnaire entre les différents intervenants (lexicographes, rédacteurs et administrateurs) ;
de répondre aux besoins des utilisateurs cités dans le diagramme des cas d’utilisations (Fig. 2) ;
de travailler en mode WYSIWYG;
d’importer, de visualiser et d’exploiter facilement un corpus contenant des textes arabes.
Fig. 3. Page d'accueil
La figure 4 ci-dessus montre la page d’identification.
L’authentification permet de designer le rôle de l’utilisateur,
ce qui permet de répartir le travail.
La figure 5 montre la page de proposition d’une nouvelle
entrée. Cette fenêtre est constituée de trois colonnes : la
première comporte le formulaire de saisie des informations
morphologiques, la deuxième pour l’ajout des sens et des
exemples et la troisième permet d’avoir un aperçu sur la sortie
dans le dictionnaire (la vue WYSIWYG : ce que vous voyez
est ce que vous obtenez).
Fig. 4. Formulaire d’ajout d’un mot
La figure 6 montre l’une des fonctionnalités principale que
doit faire le rédacteur : c’est la confirmation des propositions
du lexicographe.
Fig. 5. Page pour valider les propositions
La figure 7 montre les propositions des exemples en fonction des informations morphologiques saisies.
173
Fig. 6. Importation des exemples
V. CONCLUSION
Dans cet article nous avons décrit la conception et la réalisation de notre système de production des dictionnaires arabes en respectant la norme standardisée LMF. Nous avons pu implémenter une application web utilisable par tous les intervenants dans la construction du dictionnaire afin d’assurer une démarche facile et rentable dans ce processus.
Nous pouvons dire que notre système dans l’état actuel répond aux exigences de l’industrie des dictionnaires. Nous continuons nos travaux dans le but de faire profiter notre système de production des dictionnaires de différents types de ressources linguistique (web, document PDF, dictionnaire électronique, …). Nous travaillons aussi sur l’intégration et le développement d’autres outils comme la correction orthographique des textes.
Références
[1] A H. Abd El Salam, “Extraction et gestion de l’information à partir
des documents arabes”, thèse de l’université PARIS VIII – SAINT DENIS, 2010.
[2] A. Kilgariff, “Informatique et dictionnairique,” Revue française de linguistique appliqué. 2005/2 - vol. X, pp. 95-102.
[3] D. Joffe, G de Schryver, “TshwaneLex A State-of-the-Art Dictionary Compilation Program”, EURALEX 2004 proceedings computational lexicography and lexicology.
[4] F. Baccar, A. Khemakhem, B. Gargouri, K.Haddar and A. Ben Hamadou, “Modelisation normalisee LMF des dictionnaires electroniques editoriaux de l’arabe”, Proceedings du 15ème Conférence Annuelle sur le Traitement Automatique des Langues Naturelles (TALN '08), Avignon, France, June 2008.
[5] G. Budin, K. Morth, “Hooking up to the corpus : the Viennese Lexicographic Editor’s corpus interface”, Proceedings of eLex 2011, pp. 52-59.
[6] Glossword.biz Team, Glossword : A free dictionary/glossary PHP-script, 2010, http://glossword.biz/, (derniere visite, 10/28/2014) .
[7] G. Rebdawi, N. Ghneim, M. Desouki and R. Sonbol, “An Interactive Arabic Dictionary”, in Proceedings of the 2011 IIT Conference, UAE, 2011.
[8] M. Attia, P. Pecina, A. Toral, L.Tounsi and J. Van Genabith, “A Lexical Database for modern Standar Arabic Interoperable with a Finite State Morphological Transducer”, Systems and Frameworks for Computational Morphology Communications in Computer and Information Science, Vol. 100, 2011, pp 98-118.
[9] M. Boudchiche, M. Mazroui, M. ould Abdallahi Ould Bebah and A. Lakhouaja, “L’analyseur Morphosyntaxique Alkhali Morpho Sys 2” JDILA’14, 8 Fevrier 2014, Rabat, Maroc.
[10] O. Bah “Matapuna Dictionary Writing System”, Language Documentation & Conservation, Vol. 4, 2010, pp 169-176.
[11] S. ElHassani and A. Hamdani, “vers une représentation normalisée de la banque lexicale de l’IERA”, TICAM 2011, Rabat, Maroc.
[12] Y. Abdellah. “Traitement automatique de la langue Texte et parole”. Page 10-11. Edition et impression Bouregreg, Rabat 2006, ISBN : 9954-423-98-2.