chiclayo 2012

SEMANTIC)WEB)Usando)Linked)Data)para)conectar)Datos)

Heterogéneos)y)Distribuidos)a)través)de)la)Web)Nelson Piedra (UTPL, [email protected])!

!Edmundo Tovar (UPM [email protected] )!

Jorge López UTPL, Janneth Chicaiza UTPL, Oscar Martínez UMH!!

XX"Congreso"Nacional"de"Estudiantes"de"Ingeniería"de"Sistemas"y"Computación,"2012))

Universidad)Santo)Toribio)de)Mogrovejo)Chiclayo,)Perú)

this work is licensed under a Creative Commons Atribución-NoComercial-SinDerivadas 3.0 Ecuador License http://creativecommons.org/licenses/by-nc-nd/3.0/ec/

#CONEISC #OpenEducationalResources

#OpenCourseWare #linkeddata #ocw #oer #SemWeb #SemanticWeb #LOCWD #LOD

Semantic Web: Usando Linked Data para conectar Datos Heterogéneos y Distribuidos a través de la Web

By Adolfo Plasenciahttp://www.flickr.com/photos/adolfoplasencia/3529884072/

Texto

Vint Cerf and Sir Tim Berners-Lee

internet

En 1990 el CERN crea el código HTML y con él el primer cliente World Wide Web. En la imagen el código HTML con sintaxis coloreada.

INTERNET Sus orígenes se remontan a la década de 1960, dentro de ARPA (hoy DARPA) se crea el proyecto ARPANet (Advanced Research Projects Agency Network). En 1969, se estableció la primera conexión de computadoras, conocida como ARPANET, entre tres universidades en California y una en Utah, Estados Unidos.... (años de inspiración y transpiración que se pueden ver en http://es.wikipedia.org/wiki/Internet)En el CERN de Ginebra, un grupo de físicos encabezado por Tim Berners-Lee creó el lenguaje HTML, basado en el SGML. En 1990 el mismo equipo construyó el primer cliente Web, llamado WorldWideWeb (WWW), y el primer servidor we

primero conectamos DOCUMENTOS

luego conectamos PERSONAS

en la próxima Web, conectaremos DATA

La Web está en evolución

The Web principle of designed

The Web was designed as an information space, with the goal that it should be useful not only for human-human communication, but also that machines

would be able to participate and help. [Tim Berners-Lee]

Estado Actual de la Web

(1) Contenido Almacenado en Silos de InformaciónDiversas Plataformas y Sistemas (CMS, APIs) almacenan Información.Millones de datos contenidos en Millones de Documentos Web, embebidos en CMS heterogéneos, de difícil acceso y procesamiento semántico.

(2) Descubrimiento y Reusabilidad LimitadasNo es posible reusar datos fuera de los CMSMuy pocos datos de las páginas Web están disponibles en formatos procesables por agentes máquina

la Web actual es una Web de Documentos destinada para interpretación y consumo humano... de humanos para humanos

Uno de los mayores obstáculos de la Web actual es que la mayoría de la Información en la Web está diseñada para consumo humano, incluso si el contenido está generado a partir de bases de datos estructuradas. El contenido está estructurado en un formato que no es entendible por las máquinas.

¿Y las máquinas? su acceso es restringido...

Web of Documentsfrom human to human

Los links expresan relaciones entre documentos escritos en HTML, conectan páginas, pero no conectan

datos/significados/información.

from Web of Documents

toWeb of Data

Web of Documentsfrom human to human

Los links expresan relaciones entre documentos escritos en HTML, conectan páginas, pero no conectan datos/significados/información.

la solución...

¿(1) máquinas inteligentes o (2)datos inteligentes ?

dejando de lado el problema de la Inteligencia Artificial de entrenar a las máquinas para que se comporten como seres humanos, el enfoque de Web Semántica es desarrollar lenguajes para expresar la información en un formato procesable por las máquinas [TBL]

A.I.

Information Silos

RDF data

Tim Berners-Lee on the Next Web (TED, 2009)Wordle of the transcript of Sir Tim Berners-Lee TED talk, the Next Web.

License: Some rights reserved by Chris P Joblinghttp://www.flickr.com/photos/cpjobling/5034035908/

Web of DataDiscovery, Access, and Usages of Resources in the Web

Web of Data,Conectar cualquier cosa en la Web, enlazar DATOS más que Documentos

Linked Data es (a) sobre usar la Web para conectar datos relacionados que antes no estaban enlazados, o (b) usar la Web para disminuir las barreras para enlazar datos que actualmente están enlazados por otros métodos.

Linked Data (c) es una buena práctica para exponer, compartir y conectar piezas de datos, información, y conocimiento en la Web semántica, usando URIs para identificar las cosas y RDF para describir y enlazar semánticamente las cosas.

Linked-Data Principles, back to TBL note from ’98

1.Usar URIs para identificar globalmente una cosa de interés en la Web (OCW, syllabus, test, autores, universidad, país, idioma, ...)

2.Usar HTTP para conectar y visualizar los recursos. 3.Describir los recursos a través del estándar; RDF*, y permitir la consulta de datos a través de SPARQL

4.Incluir links a otros URIs de manera que se posible descubrir otras cosas.

Features The Web of Document The Web of Data

Analogy a global filesystem a global database

Designed for human consumption machines first, humans later

Primary objects documents things (or descriptions of things)

Links between documents (or subparts of) things

Degree of structure in objects fairly low, disconnected data high

Semantics of content and links implicit Implicit explicit

adapted from: Tom Heath, Talis, 2009

COMPARACIÓNLa Web Semántica no solo se trata de poner datos en la Web. Es sobre enlazar cosas, de manera que las personas o las máquinas puedan explorar la Web de Datos.

The Linking Open Data cloud diagram, evolution

“Linking Open Data cloud diagram, by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/”

Next images sequence shows datasets that have been published in Linked Data format, by contributors to the Linking Open Data community project and other individuals and organisations. It is based on metadata collected and curated by contributors to the CKAN directory. Last updated: 2010-09-22.

20071008 25 datasets

http://richard.cyganiak.de/2007/10/lod/lod-datasets_2007-10-08.png“Linking Open Data cloud diagram, by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/” This work is available under a CC-BY-SA license.

20100922203

datasets

http://richard.cyganiak.de/2007/10/lod/lod-datasets_2010-09-22_colored.png“Linking Open Data cloud diagram, by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/” This work is available under a CC-BY-SA license.

OPEN: "A piece of knowledge is open if you are free to use, reuse, and redistribute it"

http://www.opendefinition.org/okd

Our OER semantic vision:Educational Content

+ Open Licenses

+ Data in Machine Format

Open Educational Content and Open Education Practices represent the next stage

of human knowledge organization

EJEMPLO: DATA en la página web de un OCW de UPM

Title

OCW University

Author(s)

year

descrip:on

knowledge area

bibliography

ects credits

:me autoself

Department

syllabus

‘Ontologies and Semantic Web’

author-creator

Asunción Gómez Pérez

has a

whose name is

subject

predicate

object

http://ocw.upm.es/ciencia-de-la-computacion-e-inteligencia-artificial/ontologies-and-semantic-web

http://purl.org/dc/elements/1.1//creator

Asunción Gómez Pérez

has a

whose name is

subject

predicate

object

example for locwd dataset

Subject Predicate Objectlocwd:opencourseware dc:creator foaf:Person

locwd:opencourseware dc:title xsd:string

locwd:opencourseware dc:description xsd:string

locwd:opencourseware dc:subject skos:Concept, xsd:string

locwd:biblio rdfs:subclassOf bibo:document

locwd:biblio dcterms:isPartOf, bibo:DocumentPart, dc:title xsd:string

locwd:ocwRepository dc:creator foaf:Organization

IN#ORDER#TO#MOVE#FORWARD#AND#REALIZE#THE#PROMISE#OF#LINKED#DATA#FOR#OCW/OER#REPOSITORIES,#UNIVERSITIES##

!!

WHY!OCW/OER!+!LINKED!DATA?!!

42

Linked OpenCourseWare Data connected with the LinkedOpenData Cloud

General'Framework'The framework used is divided into five phases: •  (1) Identify and select heterogeneous data sources to

determine the scope of the content. Of the information sources for evaluation, we selected OCW repositories, information stored in structured databases, Web page content, information accessible via RSS feeds, RDF available, etc.;

•  (2) Model vocabularies; •  (3) Generate RDF data, •  (4) Publish linked data, and •  (5) Consume and display linked data.

43

Why$publish$Linked$OCW$Data?$

•  Because$LinkedData$holds$the$poten9al$to$move$our$OCW$collec9ons$out$of$their$silos$

•  Open$the$data$and$content$silos,$to$leverage$the$knowledge$capital$represented$by$our$OCW$repositories$

•  To$enrich$our$informa9on$landscape,$to$mprove$visibility$•  To$improve$ease$of$discovery$open$academic$resources$•  To$improve$ease$of$consump9on$and$reuse$of$OCW$•  To$reduce$redundancy$in$searched$of$OCW$•  Promo9ng$innova9on$and$Added$Value$to$Open$$

Extraction of Universities data

Content extraction from HTML pages

Agent to include new Universities

Organizations

Linked Universities DataSetAgent to include new

Legislation from universities

OCW Directories Listener

Monitoring for universities, organizations and courses

Connect University Data with Other RDF

Repositories

Enrichment Linked OCW Data Repository

Extraction of data patterns (Classification, and

applying of clustering SNA techniques )

Map the terms mined to terms already in

the LOD Cloud

Publish the mined info as

linked data and create RDF links to resources in the LOD cloudExtraction

of content from each university page (CC license

verified )

OCW Repositories Listener

A new OCW organization

A new OCW

Temporary Repository for store of html content

extracted

Terms mined as RDF tripletes

Get information from RSS subscription

Get RDF content, if available

Apply scraping technique

Get embebed content in HTML pages

stream of extracted content

Use of crawling and scraping

techniques

stream of html content

Cleasing Data (detecting and

correcting corrupt or inaccurate data

Software agent

Relational database

RDF triplestore

URIs for universities thingsRDF for describe Universities resources

Links to other Universities - things

LOCWD Triplestore

non-reliable data or erroneous data

data corrected

LUD Linked

Universities Data

RDF vocabularies

Legend

RDF data

URI links

raw content

ocw data pattern

Estrategia de Trabajo• Fase 1. Integrar repositorios heterogéneos de OCW.

(Asegurar actualización de datos (ejemplo datos no entregados), Interoperabilidad)

– Presencia de OCW-UNIVERSIA en el Cloud de Linked Data– Análisis y Limpieza de datos

• Fase 2. Describir Semánticamente cada OCW.– Establecer el vocabulario Linked Universia Data, a través del

que se integren los recursos OCW/OER con otros DataStores en el mundo

– Identificar consultas de interés

Fuentes de datos OCW– Interna:

• UNIVERSIA, Excel con los siguientes datos: (Titulo del Curso, URL del Curso; Texto de Autores - no estaban separados por “;”-)

– Externa:• WEB, Visita manual a cada sitio OCW, extracción de datos

adicionales, Actualización de cursos OCW que no constaban en el EXCEL, nuestra fuente primaria.

• La Nube de Datos de LinkedData: DBPedia, GeoNames, Vocabularios RDF. Con pocos atributos, la posibilidad de desambiguar información es limitada.

University

university name

university oficial web site

OCW repository

OCW repository name

state of repository

OCW001

country Platform

Author

Course title

URL OCW repository

RSS link

Course Description

Creation date

Language

OERsFirstName

LastName

Gender

TagTag list

Language

Meaning tag

Knowledge Area

university organization unit

OER link

OER type

OER language

OER Subject

Licensed

DBLP

Vocabularios•Dublin Core, dc: http://purl.org/dc/elements/1.1/•dcterms: http://purl.org/dc/terms/•Person, foaf: http://xmlns.com/foaf/0.1/•geo: http://www.w3.org/2003/01/geo/wgs84_pos#•sioc: http://rdfs.org/sioc/ns#•tag: http://twitlogic.fortytwo.net/hashtag/•rdf: http://www.w3.org/1999/02/22-rdf-syntax-ns#•rdfs:http://www.w3.org/2000/01/rdf-schema#•owl: http://www.w3.org/2002/07/owl#•Concept, skos: http://www.w3.org/2004/02/skos/core#•Bibliographic Ontology, bibo: http://purl.org/ontology/bibo/ •fti: http://franz.com/ns/allegrograph/2.2/textindex/•AIISO: http://vocab.org/aiiso

Consultas posibles con datos vinculados

• 1. Consultar Cursos OCW, relacionados con un tema determinado y que se devuelvan ordenados cronológicamente (primero los más recientes)

– Datos de Entrada: término a consultar, ejemplo: “Ontologies”, “Web 2.0”

– Datos necesarios: Cursos OCW, fecha de creación del curso, fuente de conceptos (temas, categorías, tags, …) y la relación éntre estos y cada curso OCW.

– Técnica: Filtrar cursos OCW por concepto, ordenar los resultados

• 2. Consultar docentes-‐autores de cursos OCW, en temas específicos, que son reconocidos por su relevancia cien@fica/académica y/o por la relevancia de sus cursos OCW (medido en términos de visitas al OCW)

– Datos de Entrada: término a consultar, ejemplo: “eLearning”, “Seman:c Web”

– Datos necesarios: Datos de Autores de OCW, dato de impacto cienSfico (se puede consultar el indice_H de cada autor, haciendo enlace con ISIWeb/DBLP), dato con la can:dad de visitas y calificación social del curso OCW (este dato se puede recoger a través de la herramienta de búsqueda)

– Técnica: Selección de autores de cursos OCW que :enen relación con el concepto a consultar, comparación de Autores de OCW según “índice h” (u otro) y dato sobre uso de sus curso OCW (o calificación social del OCW).

Consultas posibles con datos vinculados (II)

• 3. Consultar Repositorios OCW según información geográfica de entrada o información de caracterísGcas del repositorio buscado– Datos de Entrada: (a) Información geográfica (país, longitud, la:tud, ciudad, …) (b) Tipo de Plataforma, idioma, Licencia CC de repositorio, can:dad de cursos, Universidad asociada, etc.

– Datos necesarios: Datos del repositorio OCW, y link a fuentes de datos RDF externos: DBPEDIA, GEONAMES, FREEBASE, ….

– Técnica: enlazar las propiedades del repositorio con Fuentes de datos RDF externas.• 4. Consulta de Información cien@fica y Académica de un Autor de cursos OCW en

fuentes externas a la base de datos (integración de autores con otras fuentes de datos)– Datos de Entrada: Datos de Persona– Datos necesarios: Datos de Autores de OCW, dato de impacto cienSfico (se puede consultar el indice_H de cada autor, haciendo enlace con ISIWeb/DBLP), dato con la can:dad de visitas y calificación social del curso OCW (este dato se puede recoger a través de la herramienta de búsqueda)

– Técnica: En función de los datos de entrada para la consulta, proponer los posibles autores de cursos OCW que sa:sfacen tales condiciones de búsqueda; a con:nuación consultar a través de datos de enlace hacia las fuentes de datos externas en los que el autor-‐OCW pueda tener información que podamos extraer; obtener datos potenciales del autor, aplicar proceso de conciliación/desambiguación; mostrar resultados.

Consultas FUTURAS. El mecanismo existe, pero no hay datos

5. Buscar en el contenido de Cursos OCW: por ciertos OERs o ciertos Conceptos que no constan en el Gtulo (Ejemplo: en Universia existe un curso de Web SemánGca dictado por UPM, en el syllabus de este curso hay capítulos de dos temas: RDF y SPARQL; si se consulta en el buscador de OCW-‐Universia por algo relacionado a RDF/SPARQL/LinkedData no hay resultados; esto se puede solucionar con LinkedData)

– Datos de Entrada: Buscar por el Stulo de un OER, o por un concepto, etc

– Datos necesarios: Datos de cursos OCW, Datos de Conceptos que se enlacen a los cursos OCW, y Una base de datos de OERs enlazados en alguna propiedad a Conceptos y a otros OERs/OCWs

– Técnica: La búsqueda no es solamente sobre el :tulo de un Curso OCW o un recurso OER. Se trata de la aplicación de filtros para seleccionar OERs/OCW a través de las relaciones que se dan entre recursos educa:vos abiertos y los conceptos (tags, categorías, etc) que se dispongan localmente o en la nube de Linked Data. Es necesario implementar procesos para extraer conceptos desde el contenido que ya existe en los si4os Web de los OpenCourseWare.

•★ publicar recursos en la Web bajo una licencia abierta

•★★ preferir publicar datos estructurados en lugar de no estructurados (ejemplo, excel en lugar de imágenes)

•★★★ usar formatos no-‐propietarios (ejemplo CSV en lugar de EXCEL)

•★★★★ usar URIs para iden:ficar cosas, que luego la gente pueda usar para hacer enlaces

•★★★★★ enlazar los datos a otros datos con el fin de describir y ampliar el contexto

Buena Práctica para abrir datos de OER / OCW

• Tim Berners-Lee suggested a 5-star deployment scheme for Linked Open Data and Ed Summers provided a nice rendering of it. from: hip://lab.linkeddata.deri.ie/2010/star-‐scheme-‐by

Linked Data es Interoperabiliad de DataLa necesidad de comunicación e interoperación entre sistemas de información distribuidos y autónomos se ha incrementado con el uso de la Web.

e.g. Interoperabilidad entre Repositorios OCW/OER heterogéneos y distribuidos

TED2009 Tim Berners-Lee on the next Web

concept extraction

desambiguation

entity equivalence

You might like...

Other OEROCW suggested

recomendations

LUD publication

RDFData Store

Sistema Recomendador de OCW

hip://oer.loxa.ec/ocwmap/

Ejemplo de App en Capa de Visualización de Datos Enlazados

El repositorio conectado a DBPedia

El repositorio conectado a GeoNames

View Controller Model

RESTful web service - SPARQL end point

SQLLite to manage the remote data as local data in Android applications

1

2 3 4

567

Listens for events

The view is implemented as a tree of subclasses of the View class

1) data binding to the model, 2) sending messages to the controller, and 3) handling messages from the controller

ViewGroup

View ViewGroup

View View View

The controller interprets the user inputs, translates external actions into events that are enqueued and then passed into the model informing the model and/or the view to change as appropriate.

HTTP REST

LOCWD SPARQL endpoint

event queue

RESTfulWeb services

The model manages the behavior and data of the APP domain.

KeyEvent DataDroid Lib

send and receive messages

LOCWD Linked Open Course Ware

Data

LOERD Linked OER

Data

LUD Linked

Universities Data

RDF vocabularies

Linked OpenCourseWare DataSet - LOCWD

Content Provider

Client

Server

Triplestore

OCW Users:Teachers, Students and Self-learners

LOCWD-Mobile Architecture

URIs for OCW thingsRDF for describe resourcesLinks to other LOD -‐ things

Ways for user interaction: touch, gestures, type, talk, sensors, and so on.

Screen from LOCWD-Mobil to browse and select OCW Points of Interest Mobile’s map view of OCW repositories in the user’s proximity

Screen from OCW-Recommender mobil app

OCW and OERraw data now!

References• The Seman:c Web, Scien:fic American, May 2001, Berners-‐Lee, Hendler and Lassila W3C Seman:c Web Ac:vity, February 2001

• Dave Beckei's RDF Resource Guide hip://ilrt.org/discovery/rdf/resources/Everything about RDF.

• Seman:c Web History: Nodes and Arcs 1989-‐1999 -‐ The WWW Proposal and RDF, Dan Brickley, 1999-‐11-‐12

• BERNERS-‐LEE, Tim. Linked data [online]. W3C, Last change 2009/06/18. Available from WWW: hip://www.w3.org/DesignIssues/LinkedData.html

• Auer, S., Bizer, C., Kobilarov, G., Lehmann, J., Ives, Z.: Dbpedia: A nucleus for a web of open data. In: Aberer, K., Choi, K.-‐S., Noy, N., Allemang, D., Lee, K.-‐I., Nixon, L.J.B., Golbeck, J., Mika, P., Maynard, D., Mizoguchi, R., Schreiber, G., Cudr ́e-‐Mauroux, P. (eds.) ASWC 2007 and ISWC 2007. LNCS, vol. 4825, pp. 722–735. Springer, Heidelberg (2007)

• Auer, S., Dietzold, S., Lehmann, J., Hellmann, S., Aumueller, D.: Triplify -‐ lightweight linked data publica:on from rela:onal databases. In: Proceedings of the 17th Interna:onal Conference on World Wide Web, WWW 2009, Madrid, Spain, April 20-‐24, pp. 621–630 (2009)

• Berners-‐Lee, T., Hendler J., and Lassila O. (2001) “The seman:c web. A new form of web content that is meaningful to computers will unleash a revolu:on of new possibili:es”, Scien:fic American, 2001.

• Berners-‐Lee, T., et al.: Tabulator: Exploring and analyzing linked data on the seman:c web. In: Proceedings of the 3rd Interna:onal Seman:c Web User Inter-‐ ac:on Workshop (2006), hip://swui.seman:cweb.org/swui06/papers/Berners-‐Lee/Berners-‐Lee.pdf

• Bizer, C., Cyganiak, R., Heath, T.: How to publish linked data on the web (2007), hip://sites.wiwiss.fu-‐berlin.de/suhl/bizer/pub/LinkedDataTutorial/

• Buneman, P., Khanna, S., Tan, W.C.: Why and where: A characteriza:on of data provenance. In: Van den Bussche, J., Vianu, V. (eds.) ICDT 2001. LNCS, vol. 1973, Springer, Heidelberg (2000)

• Erling, O., Mikhailov, I.: RDF support in the Virtuoso DBMS. volume P-‐113 of GI-‐Edi:on -‐ Lecture Notes in Informa:cs (LNI), Bonner Ko ̈llen Verlag (September 2007) (ISSN 1617-‐5468) hip://esw.w3.org/topic/SweoIG/TaskForces/CommunityProjects/Linking OpenData DBpedia: A Nucleus for a Web of Open Data

• Ghawi, R., Cullot, N.: Database-‐to-‐ontology mapping genera:on for seman:c interoperability. In: Third Interna:onal Workshop on Database Interoperability (InterDB 2007), held in conjunc:on with VLDB 2007 (2007)

• Gruber, T. R. (1993). "A Transla:on Approach to Portable Ontologies". Knowledge Acquisi:on, 5(2): 199-‐220. hip://tomgruber.org/wri:ng/ontolingua-‐kaj-‐1993.htm

• Hewlei (2005). Open Educa:onal Resources Ini:a:ve Overview. William and Flora Hewlei Founda:on. Recuperado Dec 15, 2009 Desde: hip://www.hewlei.org/Programs/Educa:on/OER/Publica:ons/oeroverview.htm

• Piedra, N. Chicaiza, J. López, J. MarSnez, O. Tovar, M. (2010) 'An approach for descrip:on of Open Educa:onal Resources based on seman:c technologies', Educa:on Engineering (EDUCON), 2010 IEEE, 2010, pp. 1111 -‐1119 hip://ieeexplore.ieee.org/xpl/mostRecentIssue.jsp?punumber=5487606

• W3C (2009a). Resource Descrip:on Framework (RDF). W3C, Seman:c Web -‐ RDF Working Group. Recuperado Nov, 2009 desde: hip://www.w3.org/RDF/

• W3C(2009b). SPARQL Query Language for RDF. W3C. Recuperado Dec, 2009 desde: hip://www.w3.org/TR/rdf-‐sparql-‐query/

this work is licensed under a Creative Commons Attribution 3.0 License http://creativecommons.org/licenses/by/3.0/ec/

Thank you for your Aien:on

@nopiedra