swissbib version 5

Deutsche Version Version française

Seit etwas mehr als zwei Monaten stellt swissbib Schritt für Schritt auf Version 5 um. Viele Komponenten der Software, die swissbib bilden, wurden aktualisiert.

Benutzeroberfläche (VuFind)

Für unsere Benutzeroberfläche verwenden wir die Open-Source-Software VuFind. Mit dem jüngsten Update arbeiten wir nun mit VuFind Version 5. Dieses Update bringt für swissbib folgende wichtigsten Verbesserungen mit sich:

• VuFind 5 ist vollständig kompatibel mit der Bibliotheksverwaltungssoftware Alma von Ex Libris. Durch die Verwendung der APIs von Alma ist es nun auch möglich, direkt in VuFind Ausleihen einzusehen, Dokumentenlieferungen aufzugeben, ein neues Konto zu erstellen usw. Dies könnte nicht nur bei den heute bereits im Einsatz befindlichen Alma-Systemen (bspw. Alexandria-Verbund, Nationalbibliothek) helfen, sondern auch beim kommenden Verbund SLSP.
• Dank verschiedener Optimierungen ist VuFind 5 schneller als seine Vorgängerversion. Einer der Hauptgründe dafür ist, dass auch das von VuFind verwendete Zend Framework aktualisiert wurde. Die heute eingesetzte Version 3 von Zend hat ebenfalls wichtige Weiterentwicklungen zu seinen Vorgängern erfahren.
• VuFind 5 ist mit dem neuen Europäischen Datenschutzgesetz (DSGVO) kompatibel.
• Viele weitere Verbesserungen sind online dokumentiert.

Suchmaschine (Apache Solr)

Für unsere Suchmaschine verwenden wir die Open-Source-Software Apache Solr. Wir arbeiten nun mit der Version 7.3 dieser Software (statt der Version 4). Derzeit verfügt swissbib über 30 Millionen Dokumente. Bisher haben wir eine "Master-Slave"-Konfiguration verwendet, d.h. die 30 Millionen Dokumente wurden auf jede Maschine kopiert, die als Suchmaschine diente. Dabei stiessen wir an die Grenzen der Machbarkeit einer solchen Architektur. Beim Upgrade auf Version 7 verwenden wir nun eine SolrCloud-Konfiguration. Das bedeutet, dass die Suche auf mehrere Maschinen verteilt wird. Derzeit setzen wir 4 Maschinen ein, die etwa 7,5 Millionen Dokumente enthalten. Dies ist zwar etwas komplizierter zu konfigurieren, hat aber den grossen Vorteil, dass bei zunehmender Dokumentanzahl einfach Maschinen zur Beibehaltung der Performance hinzugefügt werden können.

Linked Data

Auch die Prozesse, die die swissbib-Daten in verknüpfte Daten umwandeln, wurden aktualisiert, insbesondere die Software Metafacture 5, was bereits dazu geführt hat, dass doppelt so viele Autoren in swissbib mit Wikipedia verknüpft sind (vgl. früheren Blog-Artikel zu den Knowledge Cards). Um dies zu sehen, klicken Sie einfach auf das kleine "i" neben dem Namen eines Autors, z.B. https://www.swissbib.ch/Record/162961022.

Ausblick

Nach diesen wichtigen Updates unserer Infrastruktur sind wir nun in der Lage, neue Funktionen viel einfacher zu implementieren. Einige unserer Projekte der kommenden Monate:

• Anzeige der Dokumentenverfügbarkeit direkt in der Ergebnisliste
• Hinzufügen einer Kantons-Facette mit einer Unterfacette je Bibliothek, die es ermöglicht, die Suche gezielt nach Bibliotheken einzuschränken
• Deutliche Zunahme der Anzahl an Links zwischen den in swissbib präsentierten Autoren (Knowledge Cards) und ihren Entsprechungen auf Wikipedia
• Verbesserung der Suchqualität und der Vorschläge, wenn keine Ergebnisse gefunden wurden
• Bessere Dedublierung der Ergebnisse
• Möglichkeit der Abstimmung und Anreicherung von Daten mit swissbib über OpenRefine und data.swissbib.ch

Depuis un peu plus de deux mois, swissbib est passé petit à petit sur sa version 5. De nombreuses briques des logiciels qui composent swissbib ont été mises à jour.

Interface utilisateur (VuFind)

Pour notre interface utilisateur, nous utilisons le logiciel open source VuFind. Nous fonctionnons désormais avec la version 5 de VuFind. Pour swissbib, les principales améliorations sont les suivantes:

• VuFind 5 est complètement compatible avec le logiciel de gestion de bibliothèques Alma de la société ExLibris. En utilisant les API de Alma, il est possible de voir ses prêts, de passer des commandes de documents, de créer un nouveau compte ... directement dans Vufind. Ceci pourrait être très intéressant avec le développement de SLSP.
• VuFind 5 est plus rapide que VuFind 4 grâce à différentes optimisations. Une des raisons principales est que le framework utilisé par VuFind, Zend Framework, a lui aussi été mis à jour. Nous utilisons maintenant Zend Framework 3, qui est une évolution majeure de ce framework.
• VuFind 5 est compatible avec la nouvelle loi européenne sur la protection des données (GDPR).
• De nombreuses autres améliorations font partie de VuFind 5.

Moteur de recherche (Apache Solr)

Pour notre moteur de recherche, nous utilisons le logiciel open source Apache Solr. Nous fonctionnons désormais avec la version 7.3 de ce logiciel (en lieu et place de la version 4).

Actuellement, swissbib compte 30 millions de documents. Auparavant, nous utilisions une configuration "master-slave", ce qui veut dire que les 30 millions de documents étaient recopiés sur chaque machine qui servait de moteur de recherche. Nous arrivions aux limites de l'exploitation d'une telle architecture. En passant à la version 7, nous utilisons désormais une configuration SolrCloud. Ceci signifie que la recherche est distribuée sur plusieurs machines. Actuellement, nous utilisons 4 machines qui contiennent environ 7.5 million de documents. Cette façon de faire est un peu plus compliquée à configurer, mais a le principal avantage suivant : lorsque le nombre de documents augmente, il n'y a aucun problème de performance, il suffit d'ajouter des machines.

Linked Data

Les processus qui convertissent les données de swissbib en linked data ont aussi été mis à jour, avec notamment l'utilisation de Metafacture 5. Ceci a déjà eu la conséquence suivante : deux fois plus d'auteurs dans swissbib sont liés à Wikipedia (cf. l'article sur les knowledge cards). Pour voir ceci, il suffit de cliquer sur le petit "i" à côté d'un nom d'auteur, comme par exemple https://www.swissbib.ch/Record/162961022.

Perspectives

Après ces mises à jour essentielles de notre infrastructure, nous sommes maintenant en mesure d'ajouter beaucoup plus simplement de nouvelles fonctionnalités. Voici quelques projets pour les prochains mois :

• Affichage de la disponibilité des documents directement dans la liste des résultats
• Ajout d'une facette canton avec une sous-facette par bibliothèque, qui permet de restreindre la recherche
• Augmentation majeure du nombre de liens entre les auteurs présents dans swissbib et leurs équivalents sur Wikipedia
• Améliorations de la qualité de la recherche et des suggestions lorsque aucun résultat n'est trouvé
• Meilleure dé-duplication des résultats
• Possibilité de réconcilier des données avec swissbib en utilisant OpenRefine et data.swissbib.ch

Swissbib sucht mit SOLR

Am Montag 19.11.11 wurden alle Suchservices von swissbib von FAST auf SOLR umgestellt. Damit ist ein grosser Schritt hin zu einem offenen Suchsystem getan und sind dem zukünftigen Ausbau des swissbib-Indexes keine lizenztechnischen Schwellen mehr gesetzt.

Obwohl an der Oberfläche wenig von dieser Umstellung zu spüren ist, ändert sich für die NutzerInnen doch das eine oder andere. Gleich bleibt sich der Umfang der Indexierung, das heisst neben den bibliographischen Daten der Bibliotheken, ausgewählter Archive und Repositories werden auch die Inhaltsverzeichnisse mit in die Suche einbezogen. Angepasst wurden vor allem die Regeln zur Sortierung, die Bildung der Facetten und die Suche in unterschiedlichen Schriftsystemen. Daneben wurden Suchmaschinenfeatures stark überarbeitet und neue Suchfelder definiert.

Folgende Bereiche sind dabei gesondert hervorzuheben:

Die Regeln der Relevanzsortierung variieren stark. Es werden vor allem bei Eintermsuchen Zeitschriften und Schriftenreihen bevorzugt. Insgesamt werden Titel nicht mehr so stark gewichtet, dafür aber die Autoren und die Beschlagwortung etwas mehr betont. Die Inhaltsverzeichnisse werden wie bislang tief bewertet, was die Menge an "false positives" gering halten soll.

Ausserdem wurden die Module für Suchvorschläge und Did-you-mean signifikant verbessert. Vor allem letzteres war während der letzten zwei Jahre aus Qualitätsgründen deaktiviert. Beide bestehen aus Termen der Titel- und Autorenfelder, was gezielte Vorschläge ermöglicht im Gegensatz zu generischen Wörterbüchern.

Bei Zeitschriften werden sämtliche Erscheinungsjahre miteinbezogen anstatt nur auf Erscheinungsbeginn und -ende fixiert zu sein. Das heisst, dass Nature (erstmals 1876 erschienen) auch in denjenigen Jahren als Treffer aufscheint, während denen die Zeitschrift erschienen ist, also z.B. 1932. Der Vorteil für die NutzerInnen liegt darin, dass zum vornherein nicht bekannt sein muss, wann eine Zeitschrift erstmals erschienen ist. Der Effekt auf der Oberfläche - in der Jahresfacette erscheinen sehr viel mehr Treffer als bisher. Die Sortierung nach Erscheinungsjahr ist von diesem Mechanismus natürlich ausgenommen.

Weiter wurden die Facetten gestrafft. So sind die bisher in fünf Kategorien gehaltenen Themen neu auf zwei zusammengefasst: Themen und Form. Die Facette "Themen" enthält die Kategorien "Sache", "Person", "Titel" und "Geografika". Die Facette "Form" enthält mehrsprachig aufbereitete Formschlagwörter, wobei nicht jeder denkbare Term übersetzt wurde sondern nur die am häufigsten verwendeten.
Ausserdem wurden die Regeln für die Autorenfacette überarbeitet, so dass neu Namen von Königen, Päpsten, Heiligen usw. besser erkennbar sind - die Schattenseite der genaueren Bezeichnungen sind Mehrfachnennungen derselben Person wegen unterschiedlicher Erfassungsweisen.

Ein Schwachpunkt der bisherigen Suche im Bereich Vernacular Script wurde beseitigt. Neu kann swissbib besser Aufnahmen mit Zeichen aus semitischen Sprachen oder chinesischen, japanischen und koreanischen Schriftzeichen umgehen. Daneben sollte auch die Suche nach Griechisch oder Kyrillisch besser geworden sein - swissbib enthält aber keine nennenswerte Zahl solcher Aufnahmen.

Neu können auch Systemnummern direkt gesucht werden - allerdings müssen sie mit dem swissbib-konformen Verbundkürzel versehen werden und mit führenden Nullstellen auf neun Stellen gebracht werden:
A-1234567 => idsbb001234567

Ausserdem müssen ISBN mit Bindestrichen  als Phrase gesucht werden, um die Anzahl der Treffer gering zu halten:

0-521-48205-4 => "0-521-48205-4" oder 0521482054