das solr system - suche nicht nur auf planet typo3
DESCRIPTION
Apache Solr nicht nur für TYPO3.TRANSCRIPT
![Page 1: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/1.jpg)
d dkdevelopmentkommunikationdesign
![Page 2: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/2.jpg)
Das�Solr-System
Suche nicht nur auf Planet TYPO3
Ingo Renner, TYPO3 Core DeveloperOlivier Dobberkau, Geschäftsführer dkd
![Page 3: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/3.jpg)
Ingo�Renner
TYPO3 Core Developer
Release Manager TYPO3 4.2
TYPO3 Google Summer of Code Admin
Software Architect, Senior Developerdkd Internet Service GmbH
- Caution -TYPO3-Evangelist
![Page 4: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/4.jpg)
Olivier�Dobberkau
aka TYPO3 Reverend Neverend
Geschäftsführerdkd Internet Service GmbH
Research and Development @ dkd
Kandidat für das BCC der TYPO3 Association
- Caution -TYPO3-Evangelist
![Page 5: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/5.jpg)
Apache�Solr
Open Source Enterprise Search Server
![Page 6: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/6.jpg)
Apache�Solr
Apache Software Foundation
Enterprise Search Server
Basiert auf Lucene Index
Viele starke Funktionen
CNet, Net!ix, ilocal.nl, Zappos.com
![Page 7: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/7.jpg)
Solr�Key-Features
Synonyme
Stopwords
Gewichtung
Facettierung
Bezahlte Ergebnisse
Fehlerkorrektur
Geschwindigkeit
![Page 8: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/8.jpg)
Wie�funktioniert‘s
REST ähnliches Interface
Indexieren per POST
Suchen per GET
Ergebnisse als XML, JSON, PHP
Bibliotheken
SolrPhpClient
php5_solr PECL Package
![Page 9: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/9.jpg)
Solr�Index
Solr Index
Document
Document
Document
Document
Document
Field
Field
Field
Field
Field
Field
Field
Field
Field
Field
Field
Field
Field
Field
Field
Field
Field
Field
Field
![Page 10: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/10.jpg)
Heimatplanet�TYPO3
![Page 11: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/11.jpg)
Heimatplanet�TYPO3
![Page 12: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/12.jpg)
Suche�B.S.
(Before Solr)
![Page 13: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/13.jpg)
Indexed�Search
Indexed Search seit TYPO3 Version 3.x an Board
Frontend Indexierung beim Seitenaufruf
Suche in Seiten und einigen Dateien möglich
Berücksichtigt Sprachen und FE-Gruppen
![Page 14: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/14.jpg)
Indexed�Search
Index in der Datenbank
Problematisches Verhalten bei großen Webseiten
Langsam
Keine Sortierung
un!exible Templates
OK für kleinere Websites
![Page 15: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/15.jpg)
Suche�im�Zeichen�der�Sonne.
Apache Solr für TYPO3
![Page 16: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/16.jpg)
Geschichte
Prototyp im Sommer 2008
Kick-off Februar 2009
Erstes Ziel „Acts like Indexed Search“
Early Access Program (EAP)
T3CON September 2009 Version 1.0
Aktuelle Version 1.3 (public Version)
![Page 17: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/17.jpg)
Komponenten
Indexierung
Suche
Flexible Ergebnisausgabe
Analyse und Statistiken
Administration
![Page 18: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/18.jpg)
Herausforderungen
Seiten Rendering in TYPO3
Berücksichtigung von Zugriffsrechten
Dateiindexierung
Einfaches Setup für Nicht-Java Leute
Integration und Zugriff auf Solr
![Page 19: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/19.jpg)
Lösungen
Record Monitor und Indexing Queue
Eigenes Solr Query Parser Plugin
Integration von Apache Tika
Voll automatisiertes bash Install Script
SolrPhpClient und JSON Response Writer
![Page 20: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/20.jpg)
Features
Facettierte Suche
Umfangreiche Dateiindexierung
Multi-language Support
Fehlerkorrektur / Did you mean
Suchwort Highlighting
Autocomplete / Suggestions
Berücksichtigung von Zugriffsrechten
![Page 21: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/21.jpg)
Galileo�Galilei
Dreht sich die Sonne um die Erde?
![Page 22: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/22.jpg)
Mond
Der Mond umkreist die Erde.Entfernung 385.000 Kilometer von der Erde.Mondlandung 21 Juli 1969.Enorme Wirkung auf Menschen und Werwölfe.
![Page 23: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/23.jpg)
Mond
Tabellen
![Page 24: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/24.jpg)
TYPO3�Tabellen
TYPO3 besteht nicht nur aus Seiten
News, FAQ, Events, ...
Gut: Eigene Indexer Erweiterung für FE
Besser: Index Queue
Record Monitor
Garbage Collection
Keine Eigenentwicklung nötig
![Page 25: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/25.jpg)
Mars
Der rote Planet.Entfernung zur Sonne 228.000.000 Kilometer.Path"nder sendet erste Bilder am 4. Juli 1997.Leckerer Schokoladen-Riegel.Kriegsgott im antiken Italien.
![Page 26: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/26.jpg)
Mars
Tabellen
Daten-banken
![Page 27: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/27.jpg)
Datenbanken
Anwendungsfall: Daten aus Datenbanken
Datenbanken nicht für Suche optimiert
Apache Solr prädestiniert für Suche
Data Import Handler (DIH)
JDBC
Dateilisten
URL zum Beispiel für RSS Feeds, XML
![Page 28: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/28.jpg)
Datenbanken
Inkrementeller Import möglich
Transformer vorhanden
Regex
HTML
Processoren
XPATH
![Page 29: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/29.jpg)
Saturn
Geil ist Geil.Abstand von Erde 1.430.000.000 Kilometer.96% der Atmosphäre aus Wasserstoff.Saturn-Ringe ø 1.000.000 Kilometer.1610 entdeckte Galilei die Ringe und deutete diese als HenkelGott des Ackerbaus.
![Page 30: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/30.jpg)
Saturn
CSV
Tabellen
Daten-banken
![Page 31: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/31.jpg)
CSV�Daten
Wenn alle Stricke reißen: CSV
CSV Update Request Handler
Einfache Kon"guration über URL Parameter
Indexierung per POST
Entfernte oder Lokale CSV Dateien
Keine Transformation oder Boosting möglich
Gut für Prototyping!
![Page 32: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/32.jpg)
Venus
Entfernung zur Sonne 108.000.000 Kilometer.Hellstes Objekt am Himmel nach dem Mond.Göttin der Liebe und des erotischen Verlangens.437°C im Schatten.
![Page 33: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/33.jpg)
Venus
Websites
CSV
Tabellen
Daten-banken
![Page 34: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/34.jpg)
Andere�Websites
Jeder hat da sein kleines dunkles Geheimnis
Nicht alle Websites mit CMS Systemen gebaut
Kein Zugriff auf Daten möglich
Nutch Crawler
Crawlt Website ab
Indexiert in eigenen Index
Export zu Apache Solr mittels Mapping Funktion
![Page 35: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/35.jpg)
Jupiter
Höchste Gottheit der römischen Mythologie.Entfernung 778.000.000 Kilometer zur Sonne.Tag dauert nur 9 Stunden und 55 Minuten.ø Temperatur -108 C.Heimatplanet von Fred.
![Page 36: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/36.jpg)
Jupiter
Websites
CSV
Dateien
Tabellen
Daten-banken
![Page 37: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/37.jpg)
Dateien
Word und andere Grausamkeiten
Volltext und unstrukturierte Daten
Meta Informationen in Bildern und Filmen
Apache Tika - Daten Extraktions Toolkit
Meta Daten
Text
Spracherkennung
![Page 38: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/38.jpg)
Dateien
Tika ist in Apache Solr als eigener Handler vorhanden
Erkennt über 1200 Dateitypen
Kann über 600 davon lesen
Of"ce Formate inkl. OOXML, ODF und PDF
Audio, Bilder und Video
E-Mails im mbox Format
![Page 39: Das Solr System - Suche nicht nur auf Planet TYPO3](https://reader034.vdocuments.mx/reader034/viewer/2022051411/547ba572b4795983098b4e73/html5/thumbnails/39.jpg)
d dkdesignkommunikationdevelopment
sagt�danke.