institut für dokumentologie und editorik spring school 2. märz bis 5. märz 2010 zum einstieg, zur...

Institut für Dokumentologie und Editorik

Spring School 2. März bis 5. März 2010

Zum Einstieg,zur Wiederholung

und zur Vertiefung:

DatengewinnungDatenanreicherungDatenverarbeitung

…mit XML und XSLT


Spring School 2. März bis 5. März 2010Datengewinnung-, anreicherung, -verarbeitungFolie 2

Der Plan- Wo das XML herkommt- Wie das XML schöner wird

- Regex

- XSLT

- Was hinten rauskommt- document()- Variablen- xsl:for-each-group- Visualisierung



… wo das XML herkommt- XML aus Word

- Word ist schon XML- Übersetzung Typographie in Markup- Übergabe an OpenOffice

- XML aus OpenOffice- TEI OpenOffice Package





- XML aus OpenOffice- TEI OpenOffice Package- Pro und Kontra

- XML aus XML-Editoren- Author Mode





- XML aus OpenOffice- TEI OpenOffice Package- Pro und Kontra

- XML aus XML-Editoren- Author Mode

- Die Welt der spitzen Klammern



XML-Daten verbessern- Ziel: Handarbeit vermeiden!- Einfaches Suchen&Ersetzen- Word-(OpenOffice)-Macros- Regular Expressions

- regex in XSLT- Datenanreicherung mit XSLT



Regular Expressions (in Oxygen)

- Ausgangslage- Verschiedene Dialekte

- Maßgeblich: perlre

- Umfang der Implementierung?

- oXygen vs. XML-Schema vs. XSLT

- Syntax



Regular Expressions (in Oxygen)- Syntax (nur das allerwichtigste)

. Beliebiges Zeichen

[] Zeichenklasse [0-9], [a-z] beliebige Ziffer bzw. Buchstabe () Gruppierung … kann später angesprochen werden

| oder [r | v] der Buchstabe r oder v

\ Maskierung \. tatsächlich ein Punkt und nicht beliebieges Zeichen

* Beliebige Häufigkeit .* beliebige Menge beliebiger Zeichen

+ Ein oder mehrmals [0-9]+ eine Zahl mit mindestens einer Stelle

? Ein oder kein Mal [0-9]? eine Ziffer oder nichts



Regular Expressions (in Oxygen)- Syntax (schon nicht mehr so wichtig)

\d Ziffer

\w Buchstabe oder Ziffer

\s Whitespace-Zeichen

^ Anfang einer neuen Zeile

$ Zeilenende

\n Zeilenumbruch? Greediness ausschalten ([0-9].*\])*? [in Oxygen10 nicht

implementiert]

- … und weitere, siehe z.B. http://perldoc.perl.org/perlre.html




- Ausgangslage (perlre)- Syntax- Das wichtigste: Gruppierte Muster bilden Variablen auf

die man beim Ersetzen zugreifen kann- Obacht: Zeilenorientierung, greediness- Beispiel 1 (einfache Seitenumbrüche)- Beispiel 2 (Ilg-Apparat)



Regular Expressions (in Oxygen)- Beispiel 1

text [1ra] text [1rb] text [1va] text [1vb] text [2ra] text [2rb] text [2va]

- Beispiel 2<app n="1"></app><app n="X_*">Versus C. R., et ed. R. absunt ab omnibus…

<app n="2"></app><app n="X_1">animaeque, V.</app><app n="X_2">vacationem…

<app n="3"></app><app n="X_1">hylariV,.</app><app n="X_2">evangelici C. …




- Ausgangslage (perlre)- Syntax- Das wichtigste: Gruppierte Muster bilden Variablen auf

die man beim Ersetzen zugreifen kann- Obacht: Zeilenorientierung, greediness- Beispiel 1 (einfache Seitenumbrüche)- Beispiel 2 (Ilg-Apparat)- Erweiterung: regex plus XPath- Möglichkeiten und Grenzen



regex in XSLT- xsl:analyze-string

- xsl:matching-substring, xsl:non-matching-substring

- XPath-Funktionen- matches()

- replace()

- tokenize()



Datenanreicherung per XSLT: copy-all-but …

- Ausgangslage- Grundtemplate




- Ausgangslage- Grundtemplate

- Beispiel 1 (falsche Seitenumbrüche, copy-all-Beispiel1.xml)- … mit copy-all.xsl

- Beispiel 2 (mehrfache Apparate)- Lösung: multiple_apps.xl



Datenanreicherung per XSLT: die document()-Funktion

- Anwendungsszenarien- Die document()-Funktion ( … und doc-available() )- Mögliche Fehlerquellen (String vs. Pfad; Namensräume)- Beispiel1 (Images hinzuziehen, regex-Beispiel1, images.xml, copy-all.xsl)- Beispiel2 (Geokoordinaten, locations.xml)

- Zum Verständnis: http://maps.google.com/maps/geo?q=Berlin&output=xml&sensor=false&key=ABQIAAAA6wyLPpbDp03tNqBX6NzZyRT2yXp_ZAY8_ufC3CFXhHIE1NvwkxRNs-JV0rqHP75bygTkcn_guLR8zg

- … was mit einem Google-Service geht, geht mit jeder wohlgeformten XHTML-Seite! (Beispiel geo-coord aus wp; Schriftsteller aus wp)



Auch ein Single Source Prinzip: die result-document()-Funktion

- Anwendungsszenarien (siehe z.B. sdoe)

- <xsl:result-document href="Pfad/Dateiname">- … viele weitere Schalter …- Die Mächtigkeit von result-document

<xsl:for-each select="div">

<xsl:result-document href="html/teil-{@n}.html">

… alle weiteren Anweisungen

</xsl:result-document>

</xsl:for-each>



Schwach, stark, nützlich: Variablen- Variablen in XML können nichts

- keine Veränderung

- nur lokal gültig (Übergabe als Parameter)

- Variablen in XML können vieles- Ständige Überschreibung in Schleifen

- Komplexe Inhalte durch Aufruf weiterer Templates

- Variablen in XML sind anders- Variablen können Kontextinformationen speichern

- Variablen können temporäre Knotenbäume enthalten

… Variablen können beliebige Bäume enthalten



Wie ging es eigentlich jemals ohne?xsl:for-each-group

- Einsatzzwecke- Der xsl:for-each-group-Befehl

- @select, @group-by

- (@group-adjacent, @group-ending-with, @group-starting-with)

- current-group(), current-grouping-key()

- Beispiel1 (Fischer-Frage)- Refs rausziehen; mit copy-all-but + document zurückspielen

- Beispiel2 (Schriftsteller (herleiten!), Geburtskohorten)- geb-kohorten.xsl schreiben



Visualisierung?

- Visualisierung wozu?- http://benfry.com/traces/

- Fake-Grafiken (?) mit HTML- Beispiel (Geburtskohorten)

- Eigene Grafiken mit SVG- Torten und anderes Eye Candy

- Beispiel (Verteilung der Hss. auf Sprachen)

- Google-Maps- Beispiel (Handschriftenlokalisierung)



XSLT-

produziert



Visualisierung?

- Visualisierung wozu?- Fake-Grafiken (?) mit HTML

- Beispiel (Geburtskohorten)




http://code.google.com/intl/de-DE/apis/charttools/



Visualisierung?







<img src= "http://chart.apis.google.com/chart?chs=450x125 &cht=p &chd=t:{$ProzArab},{$ProzHeb},{$ProzLat} &chl=arabic|hebrew|latin &chdl={$ProzArab}%|{$ProzHeb}%|{$ProzLat}% " />

Simple Pie Chart …



<img src="http://chart.apis.google.com/chart?chs=225x125 &cht=gom &chd=t:{$VollstaendigkeitFol} &chl=Seitenangaben({$VollstaendigkeitFol}%) "/>

"Google-o-Meter"



Visualisierung?





- Google-Maps- Beispiel (Handschriftenlokalisierung)



Google Maps per XSLT



Google Maps per XSLT

- Drei Zutaten- HTML-Container

- Externe Javascripte

- Lokale Einstellungen (Javascript)- Key- Karte: Mittelpunkt, Zoomfaktor, Funktionalitäten- Marker: Position, Info-Fenster (HTML)



Drei Zutaten …

1. <script src="http://maps.google.com/maps?file=api&v=2&sensor=false&key=ABQIAAAA6wyLPpbDp03tNqBX6NzZyRT2yXp_ZAY8_ufC3CFXhHIE1NvwkxRNs-JV0rqHP75bygTkcn_guLR8zg" type="text/javascript"></script>

2. <div id="map" style="width: 950px; height: 350px"></div>



Drei Zutaten …

3. <script type="text/javascript"> //<![CDATA[ if (GBrowserIsCompatible()) { function createMarker(point,html) { var marker = new GMarker(point); GEvent.addListener(marker, "click", function() { marker.openInfoWindowHtml(html); }); return marker; } // Display the map, with some controls and set the initial location var map = new GMap2(document.getElementById("map")); map.addControl(new GLargeMapControl()); map.addControl(new GMapTypeControl()); map.setCenter(new GLatLng(48,-7),3);

…



Drei Zutaten …3. // Set up markers with info windows

<xsl:for-each-group select="//location" group-by="."> <xsl:variable name="longlat" select="document('locations_geo.xml')// locations[.=current-grouping-key()]/@longlat"></xsl:variable> <xsl:variable name="breite" select="substring-before($longlat,' ')"/> <xsl:variable name="laenge" select="substring-after($longlat,' ')"/> <xsl:variable name="infotext" select="'//institution'"></xsl:variable> var point = new GLatLng(<xsl:value-of select="$breite"/>, <xsl:value-of select="$laenge"/>); var marker = createMarker(point,'<a href="#{current-group()[1]/../text()}"> <xsl:value-of select="current-grouping-key()"/></a>:<br/> <xsl:for-each-group select="current-group()" group-by="../../institution"> <xsl:value-of select="current-grouping-key()"/> <br/> </xsl:for-each-group>'); map.addOverlay(marker);</xsl:for-each-group> } //]]> </script>



… jetzt noch einmal grundsätzlich:zwei Basisstrategien in XSLT

- "pull-Ansatz"- ein template erledigt so viel wie möglich, indem es nacheinander

Teilaufgaben abarbeitet und sich dazu die benötigten Inhalte selbst holt- zunächst übersichtlich, einfach zu entwickeln, unabhängig von der

Reihenfolge der Elemente im xml, nicht modular, wird bei komplexen Dokumenten unübersichtlich

- "push-Ansatz"- templates betreffen möglichst immer nur bestimmte Elemente und

verweisen für deren Inhalte auf andere templates (xsl:apply-templates)- für Anfänger unübersichtlicher, abhängig von der Reihenfolge der Elemente

im xml, modularsierte templates werden in verschiedenen Kontexten verwendet, bei komplexen Dokumenten letztlich leichter wartbar

- in der Praxis häufig Mischung beider Strategien

Basisstrategien in XSLT …

 <xsl:template match="/"> <xsl:for-each select="div"> <h1><xsl:value-of select="head"/></h1> <xsl:for-each select="p"> <p><xsl:value-of select="."></xsl:value-of></p> </xsl:for-each> </xsl:for-each> </xsl:template>

- Es gibt Situationen, die sich mit einem pull-Ansatz nicht lösen lassen! <p> enthalte <persName> …

Basisstrategien in XSLT …

<xsl:template match="/"> <xsl:apply-templates/></xsl:template><xsl:template match="div"> <xsl:apply-templates/></xsl:template><xsl:template match="head"> <h1><xsl:value-of select="."/></h1></xsl:template><xsl:template match="p"> <p><xsl:value-of select="."/></p></xsl:template>

Basisstrategien in XSLT … 

<xsl:template match="/"> <h1>Inhalte</h1> <ul> <xsl:for-each select="div"> <li><a href="#@n"><xsl:value-of select="head"/></a></li> </xsl:for-each> </ul> <xsl:apply-templates/> <xsl:template match="div"> <a name="@n"/> <xsl:apply-templates/> </xsl:template> <xsl:template match="head"> <h1><xsl:value-of select="."/></h1> </xsl:template> <xsl:template match="p"> <p><xsl:value-of select="."/></p> </xsl:template> </xsl:template>



Templates können sich auch wie Funktionen verhalten

<!– am Anfang muss der namespace kml deklariert sein -->

<xsl:call-template name="fetchGeo"> <xsl:with-param name="suche" select="Berlin"/>

</xsl:call-template>

<xsl:template name="fetchGeo"><xsl:param name="suche"/><xsl:variable name="key" select="'ABQIAAAA6wyLPpbDp03tNqBX6NzZyRT2yXp_ZAY8_ufC3CFXhHIE1NvwkxRNs-JV0rqHP75bygTkcn_guLR8zg'"/><xsl:variable name="URL" select="http://maps.google.com/maps/geo? q={$suche}&output=xml&sensor=false&key={$key}"/><xsl:value-of select="document($URL)//kml:coordinates"/>

</xsl:template>

institut für dokumentologie und editorik spring school 2. märz bis 5. märz 2010 zum einstieg, zur...

Documents