InfraSTructurEs for Living LAbs II
Das DFG-geförderte und inzwischen erfolgreich abgeschlossene Projekt STELLA hatte zum Ziel, eine Evaluierungsinfrastruktur aufzubauen, um Such- und Recommender-Systeme im Live Betrieb webbasierter Suchmaschinen mit echten Usern zu evaluieren. STELLA bietet eine integrierte e-Research-Umgebung für die Forschungsfelder Information Retrieval und Recommender-Systeme. Der experimentelle Aufbau unterscheidet sich substantiell von klassischen TREC-Studien, die nur offline durchgeführt werden können, sowie von anderen Nutzerstudien, die lediglich unter Laborbedingungen ausführbar sind. Durch STELLA können Forscher eine Evaluierungsmethodik nutzen, die bislang nur auf großen kommerziellen Plattformen im industriellen Umfeld realisierbar war.
In STELLA II werden die Partner das bestehende Framework um die zusätzlichen externen Partner DIPF, TIB und ZBW und ihre entsprechenden Suchplattformen und Evaluierungsfälle erweitern. Darüber hinaus wird STELLAs derzeitiges Ad-hoc-Retrieval- und Empfehlungs-Setup als kontinuierliche Evaluierungsplattform erweitert.
Aufgaben von ZB MED
- Mitwirkung an der technischen Konsolidierung des STELLA-Frameworks einschließlich einer verbesserten Docker-Infrastruktur, einem gemeinsamen Index und einer umfangreichen Logging-Komponente.
- Integration der neuen STELLA-Version in ausgewählte Portale von ZB MED.
- Unterstützung externer Partner bei der Integration von STELLA in ihre eigenen Portale.
- Erstellung von Testsammlungen, damit Expert:innen Empfehlungen und Rankings für ausgewählte Abfragen und Themen in den Testportalen kommentieren können.
- Mitwirkung an der Entwicklung des kontinuierlichen Evaluierungs- und Evolutionszyklus unter Einbeziehung von expertenbasierten Testsammlungen sowie realer und simulierter Nutzendeninteraktion in ausgewählte Portale von ZB MED.
- Mitwirkung an der Definition einer langfristigen Nachhaltigkeitsstrategie für das STELLA-Framework.
Laufzeit
1. August 2023 – 31. Juli 2026
Drittmittelgeber
Deutsche Forschungsgemeinschaft (DFG) - Projektkennung 407518790
Partner
- TH Köln
- GESIS – Leibniz-Institut für Sozialwissenschaften in Köln
