web04 semantic web: managementul datelor rdf

Dr. Sabin Buraga http://www.purl.org/net/busaco

Semantic Web <?xml version=“1.0” ?><curs desc=“…” />

Web semantic

Dr. SabinCorneliu BuragaFacultatea de Informatica

Universitatea “A.I.Cuza” – Iasi, Romania

http://www.infoiasi.ro/~busaco/



Managementul datelor RDF



“Trebuie sa adunam fapte pentru a avea idei.”

GeorgesLouis de Buffon



intrebari

Ce instrumente de procesarea declaratiilor RDF putem folosi?



Conform (Bailer &

Hausenblas, 2007)



necesitati

Procesor (parser) RDF

preluarea datelor in diverse formate si reprezentarea lor ca triple RDF



necesitati

Serializator (serializer) RDF

exprimarea modelului intern RDFin diverse formate standard: RDF/XML, N3,...



instrumente

API‐uri RDF – exemple:

ActiveRDF (Ruby)CARA – CArmen RDF API (Perl)

Drive.NET (C#)Jena Semantic Web Toolkit (Java)

RAP – RDF API for PHP RDFLib (Python)

Redland (C/C++; bindings in alte limbaje)SemWeb (C#)Wilbur (Lisp)



necesitati

Convertor RDF

preluarea datelor din alte modelesi transformarea lor in RDF

extragerea directa din documentele HTMLvia scrapers/harvesters



instrumente

Extractoare/convertoare RDF – exemple:Aperture (Java)Babel (Java)

Greengrass (C#)LinqToRDF (C#)

Piggy Bank (JavaScript – extensie Firefox)Raptor (C)

RDF123 (Java)sommer (Java)

Semantic Radar (JavaScript – extensie Firefox)



instrumente

Initiativa Triplify:

triplify.org



necesitati

Motoare de cautare

cauta documente RDF,eventual extrag cunostinte – e.g., meta‐date –

din alte documente (HTML, RSS,...)

pot beneficia de servicii de pingingpingthesemanticweb.com



instrumente

Motoare de cautare – exemple:

SindiceSwoogle

SWSE – Semantic Web Search EngineWatson



necesitati

O modalitate standardizata de “convertire”a constructiilor semantice incapsulatein documentele Web in triple RDF



grddl

GRDDL – Gleaning Resource Descriptionsfrom Dialects of Languages

gleanverb [ trans. ]extract (information) from various sources:the information is gleaned from press clippings.• collect gradually and bit by bit: objects gleaned from local markets.

• historical gather (leftover grain or other produce) after a harvest: [as n. ] (gleaning)the conditions of farm workers in the ‘30s made gleaning essential.



grddl

Permite asocierea de transformari din formate structurate (e.g., microformate, RDFa, XML) in declaratii RDF,

fara pierderea semanticii (meaning)

www.w3.org/TR/grddl/

www.w3.org/TR/grddlprimer/



grddl

Exista o multitudine de documente recurgind la anumite dialecte XML – e.g., ODF, RSS/Atom, XHTML etc. –,incapsulind informatii care ar putea fi redate in RDF

se doreste o asociere faithful – se pastreaza intelesul

se va specifica o transformare GRDDL uzual, se foloseste XSLT



grddl

Berners‐Lee, 2007: www.w3.org/2007/Talks/1211-whit-tbl/



grddl: exemplu

Un document XHTML ce include microformatul hCard:<html xmlns="http://www.w3.org/1999/xhtml"><head profile="http://www.w3.org/2003/g/data-view"><link rel="transformation" href="mHTML2RDF.xsl" /> <title>...</title></head><body>

<div class="vcard"> <p class="fn n"><span class="given-name">Sabin</span>

<span class="family-name">Buraga</span></p></div>...

</body></html>

TransformareGRDDL



grddl: exemplu

In urma transformarii XSLT, ar putea rezulta:<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"

xmlns:v="http://www.w3.org/2006/vcard/ns#"> <rdf:Description rdf:nodeID="EsAVHkUx6">

<rdf:type rdf:resource="http://www.w3.org/2006/vcard/ns#VCard"/> <v:fn>Sabin Buraga</v:fn>

</rdf:Description> <rdf:Description rdf:nodeID="EsAVHkUx8">

<rdf:type rdf:resource="http://www.w3.org/2006/vcard/ns#Name"/><v:given-name>Sabin</v:given-name><v:family-name>Buraga</v:family-name>

</rdf:Description></rdf:RDF>



necesitati

Un sistem de stocare/interogare a triplelor RDF



sisteme de stocare rdf

Datele RDF sunt memorate in cadrul unui RDF store

aspecte de interes:performanta

capacitatea de stocarefacilitatile privind interogarea

API‐urile disponibile




Se ofera posibilitatea fuzionarii (merging)a seturilor de date RDF

date 2 seturi de triple RDF, in urma fuzionarii va rezulta un set de triple RDF incluzind toate triplele din ambele seturi de intrare in care resursele avind acelasi URI

sunt considerate echivalente




Intern, un RDF store poate stoca tripleleintr‐o varietate de formate:

baze de date relationalestructuri de date speciale

asigurarea interoperabilitatii este facilitata de formatele de serializare standardizate – precum RDF/XML




Exemple:BOCA (Java)

Brahms (C/C++)D2R Server (Java)Joseki (Java)

Kowari & Mulgara (Java)Oracle Spatial 10g (C/C++)

Oyster (Java)RDFStore (C, Perl)Sesame (Java)



necesitati

Un limbaj de interogare a seturilor de triple RDF



sparql

SPARQL Protocol and RDF Query Language

limbaj descriptiv standardizatpentru realizarea de interogări pe baza potrivirilor

de şabloane referitoare la triple RDF

inspirat din RDQL – oferit de Jena, RAP, Redland etc.



sparql

Ofera suport pentru manipularea constructiilor RDF

Pune la dispozitie operatii asupra grafurilor RDF

Independent de platforma software utilizata

Limbaj de interogare + protocol de acces la triple RDF



sparql

Precursori:limbaje inspirate de SQL: RDQL, SeRQL, RQL,...limbaje inspirate de XPath: Versa, RDFPath

limbaje bazate pe reguli: N3QL, Triple, DQL, OWL‐QL,…suportul de interogare oferit de XML: XSLT, XPath, XQuery



sparql: xml vs. rdf (Beckett, 2006)

Concept XML RDF

Model document/arbore /infoset set de triple = graf RDF

Atomi elemente, atribute, text triple, URI‐uri, noduriblanc, literali (text)

Identificatori

Nume de elemente/atributeNume calificate (qnames)identificatori (ID‐uri)

expresii XPath

URI‐uri(IRI‐uri)

Structura(schema)

DTD‐uri, scheme XML, RELAX NG,...

Scheme RDF (RDF Schema)



sparql: limbaj de interogare

Ofera acces – via interogari – la datele RDFdoar pentru consultare (readonly)

modelul de interogare e fundamentat desabloane de grafuri RDF – graph patterns

constantele dintr‐un graf RDF sunt substituite de variabile

nu se bazeaza pe cai (paths) sau reguli (rules)




Recomandare a Consortiului Web

www.w3.org/TR/rdfsparqlquery/




Termeni RDF (RDF‐T): reuniunea multimilor IRI, noduri blanc, literali RDF

Variabile de interogare (V): simboluri prefixate de “?”

Sabloane (triple patterns): membru al multimii(RDF‐T ∪ V) × (IRI ∪ V) × (RDF‐T ∪ V)

Sabloane de tip graf: multime de sabloane




Conventii sintactice bazate pe Turtle/N3

Triplele RDF sunt generalizateca fiind tablouri de termeni RDF

termen RDF = IRI | nod blanc | literal

pattern de triple = tablou de termeni RDFsau nume de variabile (termeni liberi)




URI – sau, mai general, IRI – delimitati de “<” si “>”<http://www.info.uaic.ro/>

se poate folosi constructia @prefix pentru a specificaspatii de nume ale vocabularelor utilizate

nodurile blanc se specifica prin _:numesau delimitate de “[” si “]” daca se folosesc o singura data

Literali RDF(siruri de caractere cu atribute optionale)

"Web" "Web"@ro  "Web"^^xsd:string  "true"^^xsd:boolean




Abrevierireferitoare la triple

:s :p :o1 , :s :p :o1 .:o2 . echivalent cu :s :p :o2 .

:s :p1 :o1 , :s :p1 :o1 .:p2 :o2 . echivalent cu :s :p2 :o2 .




Abrevieriprivitoare la nodurile blanc

:s :p [ :p' :o ] echivalent cu :s :p _:x . _:x :p' :o .




Un şablon (pattern) permite specificareade variabile indicând informații ce vor fi returnate

în urma realizării interogării

?subiect ?predicat ?obiect .




Exemplu

lista persoanelor inter‐conectatevia predicatul (proprietatea) foaf:knows:

?persoana foaf:knows ?alta_persoana .




Sabloanele pot fi combinate pentru a forma şabloane mai complexe

şabloane de tip graf (graph patterns)

componente ale unei interogari SPARQL




SELECT ?contribWHERE {<http://en.wikipedia.org/> <http://purl.org/dc/elements/1.1/contributor>?contrib .

}

{ … } desemneaza un graph pattern

Selectarea celorce au contribuit la

o resursa




Rezultatul interogarii poate fi:

un tabel de valori corespunzatoare variabilelor utilizate, rezultat precizat prin SELECT

o valoare booleana intoarsa de constructia ASK

un graf RDF creat via CONSTRUCT sau DESCRIBE




SELECT: rezultatul interogarii reprezinta un tabelsecventa de rinduri compuse

din valorile variabilelor (variable bindings)

oferirea de valori distincte via DISTINCTordonarea rezultatelor prin ORDER BY

returnarea de sub‐secvente cu LIMIT si OFFSETprecizarea constructiilor optionale prin OPTIONAL




Informatiile interogate pot fi filtratevia clauza FILTER

expresiile de filtrare includ:variabile

operatori aritmetici/logicifunctii (predefinite sau specificate de utilizator)

tipuri de date definite de XML Schema




FILTER (?anul = 2)

FILTER (?dataComanda < "2008-12-31T22:00:00Z"^^xsd:date)

FILTER regex (?titluCarte, "^Semantic")




Interogare: ce aplicatii utilizeaza Sabin?s:Sabin s:utilizeaza ?aplicatie .

Rezultatul interogarii:?aplicatie = soft:Firefox?aplicatie = soft:iTunes

?aplicatie = soft:ZynAddSubFX…




PREFIX foaf: <http://xmlns.com/foaf/0.1/>PREFIX s: <http://www.infoiasi.ro/SW#>SELECT ?nume ?adresa ?aniWHERE {?pers foaf:name ?nume .?pers s:ani ?ani . FILTER (?ani < 33) .OPTIONAL { ?pers foaf:mbox ?adresa . }

}ORDER BY ?ani DESC (?nume)LIMIT 10

Informațiidespre

primele 10 persoane cuvârsta < 33




Graful RDF de intrare poate fi specificat via URI

FROM <http://planetrdf.com/bloggers.rdf>




Nodurile blanc intr‐o interogare joaca rol de variabile anonime




Crearea unui graf RDF se poate realiza prin CONSTRUCT

CONSTRUCT (?s ?p ?o)WHERE {

?prop rdf:subject ?s .?prop rdf:predicate ?p .?prop rdf:object ?o .web:Wikipedia s:afirma ?prop .

}

Determinareatuturor declaratiilorreificate exprimatede Wikipedia




Obtinerea de sabloane de graf alternativese face via clauza UNION



sparql: protocol

Pune la dispozitie mecanismul de realizarede interogari SPARQL prin invocarea de servicii

aflate la distanta (SPARQL endpoints)

serviciile SPARQL pot fi descrise si invocate via tehnologiile serviciilor Web clasice (SOAP, WSDL, REST,…)

exemplu: http://dbpedia.org/sparql/



sparql: protocol

Recomandare a Consortiului Web

www.w3.org/TR/rdfsparqlprotocol/



sparql: protocol

Exemplu de invocare a unei interogari SPARQL:

GET /sparql/?query=interogare&graph-uri=http://www.retea-sociala.info/document-foaf.rdf HTTP/1.1

Host: www.undeva.orgUser-agent: sparql-client/0.1 Accept: text/turtle, application/rdf+xml



sparql: protocol

Un posibil raspuns din partea serviciului:

HTTP/1.1 200 OK Date: Mon, 04 Nov 2008 14:33:00 GMT Server: Apache/1.3.29 (Unix) Connection: closeContent-Type: text/turtle

@prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>. @prefix foaf: <http://xmlns.com/foaf/0.1/>. …



sparql: protocol

Maniera de serializare XML a rezultatelorinterogarilor SPARQL este standardizata

SPARQL Query Results XML Format

www.w3.org/TR/rdfsparqlXMLres/



sparql: protocol –mash‐ups

Studiu de caz – adaptare dupa (Todd Williams, 2007):

dorim sa obtinem imagini care contin obiective de interesaflate in vecinatatea unui punct (locatie geografica)

filtrarea se va putea realiza pe alte calculatoare

calculul distantei dintre doua puncte geografice poate firealizat de servere multiple via implementari JavaScript specificate prin RDF: numele functiei + URI‐ul sursei




PREFIX f: <http://undeva.org/functii.rdf#>SELECT ?locatie ?imagineWHERE {

?imagine dcterms:spatial [a geo:Point ;foaf:name ?locatie ;geo:lat ?lat ; geo:long ?long

] .FILTER ( f:distanta ( ?lat, ?long, 38.9, -76.9 ) < 15 ) .

}

Care‐s imaginilelocalizate in proximitatea

mea?

Poate fi calculata pe masini diferite




Client(aplicatie Web)

ServiciuSPARQL(endpoint)

Interogare SPARQLtrimisa via HTTP




Client(aplicatieWeb)


GET functii.rdf Server Web






Server Web

:distanta a f:Function;f:sursa <http://sit.ro/dist.js>;f:functie "calculDistanta" .

raspuns RDF






Server Web

GET dist.js

Server Web






Server Web

function calculDistanta(lat1, lon1, lat2, lon2) { ... }

Server Web






Server Web

Server Web

?locatie ?imagine

Universitate http://flickr.com/20/fdsdw3.jpgTeatru http://places.org/img/t.jpg

raspuns



sparql: instrumente

AllegroGraph (Java)ARC (PHP)

OpenRDF Sesame (Java)Rasqual (C)

RDF::Query (Perl)SPARQL library (Java)Virtuoso (C/C++)



sparql: instrumente



sparql+

Propunere de extindere a SPARQLpentru a suporta operatii de actualizare a datelor RDF

http://esw.w3.org/topic/SPARQL/Extensions/Update



aplicatii rdf

Tipuri majore de aplicatii RDF

integrare de resurse: bookmark‐uri, calendare, informatii cartografice (map integration)

adnotare avansata a resurselor

management “inteligent” al continutului



aplicatii rdf

Arhitectura aplicatiilor bazate pe RDF(Allemang & Hendler, 2008)



aplicatii rdf: exemplificari

Managementul “inteligent” al codului‐sursaBaetle: Bug And Enhancement Tracking LanguagE (Sun)

ofera o vedere coerenta a dependentelor dintre diverse proiecte software, permitand filtrarea bug‐urilor

modelare prin RDF, DOAP, SIOC etc.interogari via SPARQL

vezi si blog‐ul Babel Fish: http://blogs.sun.com/bblfish




Managementul “inteligent” al codului‐sursaBaetle: Bug And Enhancement Tracking LanguagE (Sun)

PREFIX : <http://baetle.googlecode.com/svn/ns/#>SELECT *WHERE {

?jar :contains ?c . FILTER REGEX ( str (?c), 'OffsetIterator.class$')

}LIMIT 20




Managementul informatiilor medicaleCleveland Clinic, 2007

constituirea unui depozit de cunostinte privind pacientii>54 milioane de asertiuni RDF

interogari SPARQLintegrarea unui sistem expert




Managementul informatiilor personale in KDE 4.0proiectul NEPOMUK Semantic desktop (2008)

servicii de cautare & adnotare a resurselorla nivel de desktop pe baza instrumentului Soprano

meta‐datele asociate fisierelor sunt stocate in RDF

www.w3.org/2001/sw/sweo/public/UseCases/Nepomuk/Nepomuk.pdf




Componente logice ale unui semantic desktop:sisteme de stocare: harddisk‐uri, stick‐uri USB etc.un robot (crawler) – extrage meta‐date din fiecare fisierun depozit RDF (triple store)un serviciu de interogare SPARQL (endpoint)aplicatii ce solicita (cauta, agrega,…) date,

invocind serviciul SPARQL

a se vizita siwww.semanticdesktop.org




Componente logice ale unui semantic desktop:

N. Spivak et al., “Developing Web 3.0”, JavaOne, 2007




Agregarea informatiilor privind angajatii NASAsistemul POPS de management inteligent al angajatilor: date personale, competente, implicari in proiecte etc.

interogari vizuale ale datelor RDF prin jSpace

arhitectura bazata pe servicii Web in stil REST

www.w3.org/2001/sw/sweo/public/UseCases/Nasa/Nasa.pdf




Managementul resurselor bibliotecilor digitale

JeromeDLjeromedl.org

BRICKSwww.brickscommunity.org

Detalii in Kruk et al., “Tutorial – Semantic Digital Libraries”, WWW Conference, 2007




Solutii colaborative de management al resurselormultimedia in medii de productieInteractive Media Manager (Microsoft)

recurge la un cadru de lucru bazat pe meta‐datemodelate in RDF si interogate prin SPARQL

tipurile de resurse sunt specificate via ontologii (OWL)

se ofera si un SDK specializat disponibil pentru .NET




Management colaborativ al continutuluimodelat semantic (semantic wikis)

Semantic MediaWiki

extensie a sistemului MediaWiki:permite adnotarea semantica a continutului unui wiki

facilitati: specificarea proprietatilor,realizarea de interogari, exportarea datelor in RDF etc.




Semantic MediaWiki

marcaje semantice:Title: '''[[Has Title::Mythical Man-Month]]'''

ISBN: [[Has ISBN::0201835959]]

“triple” RDF:(Man-Month, Has Title, "Mythical Man-Month")

(Man-Month, Has ISBN, "0201835959")




Cautarea “avansata” a resurselor WebSearch Monkey (Yahoo!)

ofera maniere de rafinare a rezultatelor cautarilor pe Web

se bazeaza pe meta‐date scufundate in documentele HTML (microformate, RDFa)

se poate recurge la o extragere “manuala”a datelor de interes dintr‐o pagina via XSLT




Search Monkey (Yahoo!)

utilizatorul (consumatorul) trebuie “sa puna la treaba”o “maimuta” de cautare via

http://developer.search.yahoo.com/

pentru vocabulare si microformate consacrate,pot fi realizate automat extractii de date – eventual, filtrate

maniera de vizualizare poate fi ajustata via PHP




Alte studii de caz pe situl Consortiului Web:www.w3.org/2001/sw/sweo/public/UseCases/

A se consulta si David Provost, “On The Cusp: A GlobalReview of the Semantic Web Industry”, septembrie 2008



concluzii

Avind la dispozitie date modelate in RDF,se ofera premisele cautarii, descoperirii, achizitiei,

colectarii, analizei si procesariiinformatiilor disponibile pe Web

management avansat al cunostintelor



Rezumat

Obtinerea, transformarea si interogareadatelor modelate in RDF



?

web04 semantic web: managementul datelor rdf

Education