Montag, 20. April 2020

Neuauflage der swissbib Linked Open Data API / Nouvelle version de l'API Linked Open Data de swissbib

Deutsche Version Version française

Im ersten Teil unserer Blogserie haben wir die wesentlichen Neuerungen der linked swissbib Aktivitäten im letzten Jahr für Benutzerinnen kurz zusammengestellt. Dieser zweite Teil legt seinen Schwerpunkt auf die neuentwickelte Linked Open Data Schnittstelle und möchte den Leserinnen Hintergrundinformationen dazu geben, wie und warum diese als Teil des Projekts linked swissbib entwickelt wurde und welche Gründe zu ihrer Neuimplementierung im letzten Jahr führten.     


Das swissbib Projekt hat sich bereits sehr früh mit dem Thema strukturierte semantische Daten für das Web (LOD) auseinandergesetzt. Im Jahre 2014 reichten die Projektpartner 


einen Projektantrag im Rahmen des “Programm SUK 2013-2016 P-2” zur Erweiterung der swissbib-Plattform zu einem Service für verlinkte Metadaten ein.

Zur weiteren Unterstützung der Umsetzung konnte zusätzlich die Expertise des GESIS – LeibnizInstitute for the Social Sciences gewonnen werden.

Zu den inhaltlichen 5 Säulen des Projekts zählen:
  • Die Konvertierung aller in swissbib verfügbaren Daten in ein durch das Projekt erstelltes Datenmodell
  • Datenanreicherung durch Verlinkung mit weiteren Quellen
     
  • Erstellung einer REST Datenschnittstelle für die neuen RDF Daten
  • Soweit rechtlich möglich Bereitstellung eines Grossteils der schweizerischen bibliographischen Daten unter der offenen Lizenz CC0
Das Projekt konnte Ende des Jahres 2016 nach der Errichtung dieser 5 Säulen erfolgreich abgeschlossen werden.

Dem Programm P2 (jetzt P5) war bei der Genehmigung wichtig, dass die Projektergebnisse in den laufenden produktiven Betrieb von swissbib übernommen und damit Nutzerinnen die Möglichkeiten von semantisch vernetzten Daten aktiv angeboten werden können und das Projekt nicht nur reinen Forschungscharakter hat. Auch dieses Ziel wurde umgesetzt. Alle Daten, die jede Nacht in den Datenhub von swissbib einfliessen (i.d.R. rund 200.000 Dokumente mit Spitzen von mehreren Millionen), werden in den workflow zur Erstellung strukturierter RDF Daten eingespiesen und stehen damit grundsätzlich allen Services der swissbib Plattform sowie den clients unserer Schnittstellen zur freien Verfügung. Innerhalb der Discoverywerkzeuge der swissbib Plattform werden die RDF Daten vor allem für die Seiten mit Personen- und Themeninformationen genutzt, maschinelle clients verwenden die Linked Open Data Schnittstelle.

Zeit ist verstrichen, Erfahrungen im praktischen Betrieb wurden gesammelt und der Service swissbib entwickelte sich vor allem in den letzten 2 ½ Jahren immer stärker hin zu einer Plattform mit hoher Expertise im Bereich des Management von Daten primär aus dem kulturellen Sektor. Diese Datenkompetenz ist die zentrale Grundlage zur Bereitstellung von Services, die sowohl von Menschen als auch Maschinen genutzt werden können.

Neuimplementierung der Linked Open Data Schnittstellen

Welche Gründe führten zur kompletten Neuentwicklung dieser API:
  • Die technische Basis basierte seinerzeit auf dem PHP Framework API platform, das sich damals und auch heute noch grosser Beliebtheit bei der Realisierung von REST Schnittstellen erfreut. Diese Basis passte 2015 auch ideal in den sonstigen Technologiestack des swissbib Projekts. API Platform integrierte als eines der ersten Frameworks überhaupt das Hydra Vokabular als ein Bestandteil der linked data fragments, die eine  leichtgewichtige Variante für Sparql Server ermöglichen. Der Grossteil der Implementierung konnte durch zwei Studenten im Rahmen einer Projektarbeit an der FH Nordwestschweiz umgesetzt werden. Dennoch erwies sich die Techologie als nicht unbedingt passend für die Umsetzung von Anforderungen wie bspw. Reconciliation mit populären tools wie OpenRefine. Hier steht das lobid Projekt des Hochschulbibliothekszentrums Köln Pate für eine erfolgreicher genutzte Datenschnittstelle zur GND. Der von lobid genutzte Technologiestack, das Play Framework, passt unterdessen auch viel besser zur sonstigen swissbib Datenplattform. Der Sourcecode der neuen API ist wie alle anderen Entwicklungen von swissbib frei abruf- und verfügbar.

  • swissbib entwickelt sich immer mehr zu einer Datenplattform, auf der (strukturierte) Daten in Datenpipelines ge-clustert sowie für Services aufbereitet werden und in Zukunft auch für die interaktive Datenanalyse durch Menschen bereitstehen. Dazu setzen wir bereits jetzt Big Data Technologien wie Apache Kafka, Apache Flink und Apache Beam ein. Auf der Elag 2019 gaben wir einen Einblick, wie wir die Datendrehscheibe Apache Kafka für die Orchestrierung von Workflows mit Microservices nutzen. Auf Basis dieser Technologien entwickeln wir Bausteine der swissbib Datenplattform, eine unabdingbare Voraussetzung für zukunftsfähige innovative Services. Mehr Einblick in diese Ideen gaben wir im Rahmen eines Weiterbildungsmoduls.
    In diese Welt lässt sich die technische Basis aus dem Jahre 2015 schlechter integrieren bzw. können wir uns als kleines Team neben dem beschriebenen Kern an Technologien nicht auch noch fokussieren.
     
  • Die seinerzeit entwickelten workflows zur Verlinkung der Daten genügen nicht mehr den heutigen Wünschen und Vorstellungen. Die neuen Datenkomponenten ermöglichen es uns, einen umfassenderen Hub für Personen und Organisationen aus den bibliographischen Ressourcen der swissbib Daten zu erstellen. Diese Identitäten verlinken wir nicht nur mit Ressourcen aus GND, DBPedia und Viaf (bisher) sondern neu mit Wikidata und allen weiteren Datensourcen, die mit den genannten Quellen in Verbindung stehen. Bereits jetzt haben wir einen erheblichen Zuwachs an Verlinkungen. Neu werden wir auf Basis der neuen Technologen weitere Methoden nutzen, um die Verlinkungsqualität stetig zu verbessern.     
Die neue Datenschnittstelle wird unsere deutlich verbesserten Verlinkungen anderen Diensten einfacher zur Verfügung stellen können. Sie kann die stabile technische Basis für bereits jetzt angedachte funktionale Weiterentwicklungen sein:
  • Reconciliation mit Open Refine  
  • Webabfragesprache GraphQL als Alternative zum REST Modell
  • wir freuen uns über weitere Wünsche und Ideen sowie aktive Mitarbeit 
Im folgenden dritten Teil unserer Blogserie zu den aktuellen Entwicklungen im Bereich semantische Daten auf der swissbib Plattform werden wir den Schwerpunkt auf praktische Beispiele legen, wie die neuen Funktionen der Schnittstelle https://data.swissbib.ch genutzt werden können. 

Montag, 30. März 2020

wikidata Erweiterungen und neue Version data.swissbib.ch / Enrichissements via wikidata et nouvelle version de data.swissbib.ch



Deutsche Version Version française


In den letzten Wochen haben wir drei wesentliche Erweiterungen von swissbib online publiziert.

swissbib ist jetzt mit Wikidata verlinkt


Seit einigen Wochen ist swissbib mit Wikidata verlinkt. Wikidata ist eine riesige Datenbank, die unter anderem auch die Informationen von Wikipedia enthält. Damit können wir viel umfassendere Informationen zu den Personen im swissbib-Katalog anbieten.

Seite zur Beschreibung von Albert Einstein in swissbib


Zahlreiche weitere Verknüpfungen von swissbib mit externen Daten


Der Workflow, mit dem wir die Informationen zu Personen (z.B. Autoren) und Organisationen innerhalb von swissbib mit Fakten aus verschiedenen externen Datenbanken wie Wikidata verknüpfen, wurde komplett umgestellt. Damit ist zum Beispiel die Zahl der so verlinkten Einzelpersonen von 200'000 auf 2 Millionen angewachsen.


https://www.swissbib.ch/Record/428632262
Beispiel für eine bibliographische Ressource mit weitergehenden Informationen zu Personen.

Neue Version der swissbib Linked Open Data API


Schliesslich wurde unsere Schnittstelle für Maschinen https://data.swissibib.ch komplett neu implementiert und gestaltet. Sie können jetzt nach Entitäten (Bibliographische Resourcen, Personen, Organisationen...) suchen und erhalten viel umfassendere Informationen.


https://data.swissbib.ch/person/1295c7bf-c60d-3da4-a034-1f56248c0dd1

Die in der Linked Open Data API von swissbib verfügbaren Informationen über Albert Einstein

Weitere Informationen


Wir werden auf die verschiedenen oben genannten Punkte in künftigen Beiträgen dieses Blogs noch ausführlicher eingehen.

Mittwoch, 22. Januar 2020

Die Zukunft des Schweizer Metakatalogs swissbib / Le futur du métacatalogue swissbib

Deutsche Version Version française

Einiges wurde bereits berichtet, vieles blieb aber bislang noch offen: Wie geht es weiter mit swissbib nach dem Start der Swiss Library Service Platform SLSP am 1. Januar 2021? Nach einem Jahr intensiver Klärungsgespräche können wir nun erste konkrete Aussichten formulieren.

Metakatalog Schweiz und Discoveries

Ab dem 1. Januar 2021 wird SLSP das neue Discovery für Bibliotheksbestände in der Schweiz stellen. In einem ersten Schritt werden primär wissenschaftliche Bibliotheken aus den bisherigen Verbünden IDS und RERO darin enthalten sein. Danach ist jedoch geplant, die Teilnehmerbasis von SLSP kontinuierlich auszuweiten sowie über ein hybrides Verfahren auch Drittsysteme anzubinden. Auch die lokalen swissbib Discoveries werden migriert bzw. teilweise abgestellt:
  • swissbib orange für die Bestände der Bibliotheken in Bern und Basel wird durch SLSP bzw. Primo VE abgelöst.
  • swissbib blau: Die Vereinigung der Juristischen Bibliotheken der Schweiz (VJBS) hat sich entschieden, ihren Katalog einzustellen.
Eine gemeinsame Mitteilung der Direktion der UB Basel, des swissbib-Beirates und SLSP (16.01.2020) schildert die Details:
"Ablösung von swissbib grün durch SLSP

Ende 2020 wird die UB Basel die Dienste von swissbib einstellen im Zuge der Inbetriebnahme des nationalen Angebotes von Swiss Library Service Platform (SLSP). Die Mehrheit der in swissbib beteiligten Bibliotheken und der Grossteil der Schweizer Bibliotheksbestände werden von der SLSP Discovery-Lösung ab Go-Live oder in der «zweiten Welle» abgedeckt. Für die Einbindung weiterer Bibliotheken, die nicht planen SLSP beizutreten, sind Lösungen bzw. Produktentwicklungen seitens der Firma Ex Libris in Aussicht gestellt worden.

Mit dem Go-Live von SLSP Ende 2020 wird ein Grossteil der Hochschulbibliotheken und viele andere wissenschaftliche Bibliotheken der Schweiz über das Discovery-Tool von SLSP auf Netzwerkebene recherchierbar sein. Diese Oberfläche ermöglicht auch einen direkten Zugang zu allen elektronischen Beständen und eine nahtlose Anbindung an alle Benutzungsfunktionalitäten inkl. Kurier.

In einer «zweiten Welle» sollen weitere Hochschul- und wissenschaftliche Bibliotheken zu SLSP stossen und ebenfalls in das Discovery eingebunden werden. Hierzu gehören andere Einrichtungen, die bereits Alma nutzen (beispielsweise Alexandria-Verbund) sowie weitere Bibliotheken, die einen Systemwechsel zu Alma planen (beispielsweise Bibliotheksverbund Graubünden, St. Galler Bibliotheksnetz, Liechtensteinische Landesbibliothek und Sistema Bibliotecario Ticinese).

Allerdings kann nicht davon ausgegangen werden, dass sämtliche von swissbib abgedeckten Bibliotheken von dieser «zweiten Welle» erfasst werden können. Somit wird es auch mittelfristig Bibliotheken geben, die nicht über das Discovery von SLSP recherchierbar sind. Hier handelt es sich voraussichtlich um kleinere bis mittelgrosse Kantonsbibliotheken sowie wissenschaftliche Spezialbibliotheken, die nicht Alma als Bibliothekssystem einsetzen. Um diese Drittsysteme nahtlos und ohne grossen technischen Aufwand in das schweizweite Discovery einzubinden, braucht es weitere Produktentwicklungen bei der Firma Ex Libris. Diese werden von Ex Libris in Aussicht gestellt, allerdings ohne Nennung eines konkreten Termins. Der zumindest vorübergehende Ausschluss dieser Bibliotheken aus dem nationalen Rechercheportal wird vom swissbib-Team an der UB Basel und dem Beirat von SLSP bedauert.

Allerdings hält SLSP am Ziel eines schweizweiten Discovery-Tools für alle wissenschaftlichen Bibliotheken fest und wird die Entwicklungen bei Ex Libris eng verfolgen. Idealerweise könnte die Bildung eines hybriden Discoveries (also mit Einbindung von Drittsystemen) direkt im Anschluss an die oben genannte «zweite Welle» in Angriff genommen werden.

Marie-Christine Doffey (Direktorin Schweizerische Nationalbibliothek) und Martin Good (Direktor BCU Fribourg) bedanken sich im Namen des SLSP Verwaltungsrates und SLSP Beirats beim swissbib Team für den ausgezeichneten und zuverlässigen Service von swissbib grün, den die Basler Kolleginnen und Kollegen während vieler Jahre zur Verfügung gestellt haben. Aus nationaler Sicht ist bzw. war swissbib ein Vorzeigeprojekt, das einerseits innovative technische Entwicklungen aufgegriffen und vorangetrieben hat, und andererseits für die Kundinnen und Kunden über alle Bibliotheksverbünde hinweg eine einheitliche Suchoberfläche angeboten hat.

Eine abschliessende Würdigung der Leistungen des swissbib Teams und ein Dankeschön an alle teilnehmenden Bibliotheken für ihre regelmässigen Datenlieferungen und grosszügige finanzielle Unterstützung während der letzten zwei Jahre soll gesondert und gegen Ende des Jahres erfolgen."

Nationallizenzen und Private User Remote Access (PURA)

Mit der am 29. November 2019 durch SLSP publizierten Mitteilung, dass der operative Teil des Konsortiums der Schweizer Hochschulbibliotheken in SLSP integriert wird, ist bestätigt, dass die Nationallizenzen künftig auch im SLSP-Discovery implementiert werden. Der jüngste Service von swissbib – Private User Remote Access PURA – kann durch den Einsatz von SWITCH edu-ID in SLSP ebenfalls realisiert werden. Für Details dazu empfehlen wir die direkte Kontaktaufnahme mit SLSP.

Schnittstellen zu den bibliografischen Metadaten

swissbib bietet heute neben den Discoveries auch offene Schnittstellen verschiedenster Art für den Metadatenbezug an. Diese können ab Ende 2020 von uns nicht weiter bedient werden (das genaue Datum werden wir noch kommunizieren). Den automatischen Datenexport nach WorldCat wird SLSP eigenständig weiterführen, auch die Anbindung an das Kartenportal bleibt bestehen.

Weitere Daten- und Schnittstellennutzer bitten wir, sich direkt bei SLSP zu melden, um die Möglichkeiten und Konditionen für den Metadatenbezug zu klären.

Know-How (und dessen Weitergabe) im Bereich Dataprocessing

Die Personen hinter swissbib waren in den vergangenen Jahren rege im Bereich der Weitergabe ihres Know-Hows unterwegs – an Tagungen und in verschiedenen Weiterbildungskursen wurden die Erfahrungen und Services präsentiert und erläutert. Diesen Geist möchten wir uns bewahren. Die im Rahmen von swissbib erarbeiteten Skills im Bereich Dataprocessing und Datentransformation und -anreicherung wird die Universitätsbibliothek Basel in Zukunft in anderen Projekten einsetzen und nachnutzen können.