DFG-Förderung für Living-Lab-Projekt - GESIS, TH Köln und ZB MED entwickeln gemeinsame virtuelle Infrastruktur für die Evaluierung von Informationssystemen
Für die Qualitätssicherung und Weiterentwicklung von Suchportalen und Empfehlungsdiensten, sogenannten Recommender-Systemen, sind regelmäßige Evaluierungen erforderlich. Meist finden diese Evaluierungen unter strengen Laborbedingungen mit einer kleinen Stichprobe fester Testdatenkollektionen statt. Im Projekt STELLA werden die Forschenden eine Infrastruktur entwickeln, die es erlaubt, in einer realen Umgebung, also einem laufenden System, die Interaktionen von echten Nutzern in großem Umfang zu evaluieren. „Studien haben ergeben, dass die Bedürfnisse der User besser erfüllt werden können, wenn die Anwendungen direkt online evaluiert werden. Dafür fehlt aber bisher im akademischen Bereich die geeignete Infrastruktur“, erläutert Dr. Johann Schaible, Projektleiter bei GESIS.
ZB MED-Projektleiter Bernd Müller erklärt das Vorhaben: „Mit STELLA entwickeln wir eine virtuelle e-Research-Umgebung, ein sogenanntes Living Lab. Forschende können darin Studien mit echten Benutzern in realen Umgebungen aufsetzen.“ Der wissenschaftliche Gesamtleiter des Projekts, Prof. Dr. Philipp Schaer vom Institut für Informationsmanagement der TH Köln ergänzt: "STELLA verbindet die Vorteile einer Evaluation im Live-System mit denen einer reinen Laborumgebung. Wir bauen eine Brücke zwischen durchstrukturierter Laborevaluation und freier, dadurch weniger plan- und steuerbarer Online-Evaluation.“
Im Projektverlauf bauen die Forschenden zunächst eine Evaluierungsinfrastruktur in Form einer quelloffenen API als Schnittstelle auf – als Open Source Software nachnutzbar und offen für die Weiterentwicklung. Im nächsten Schritt folgt die Praxisanwendung auf zwei Testsystemen: LIVIVO, dem ZB MED-Suchportal für die Lebenswissenschaften, und der GESIS-Suche. Innerhalb des Projektes öffnen die Partner dann die STELLA-Infrastruktur der akademischen Forschung. Die Expertinnen und Experten für Information Retrieval und Recommender-Systeme werden eine sogenannte Living-Labs-Evaluationskampagne durchführen, um die Suchmaschinen LIVIVO und GESIS-Suche unter wissenschaftlichen Aspekten methodisch und technisch zu verbessern. Im Echtbetrieb begutachten sie die Algorithmen und Nutzerinteraktionen in den Suchsystemen mit Hilfe der neuen Infrastruktur von STELLA.
