Search (55 results, page 2 of 3)

  • × theme_ss:"Retrievalstudien"
  1. Sünkler, S.: Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität (2012) 0.01
    0.011088862 = product of:
      0.04435545 = sum of:
        0.04435545 = weight(_text_:und in 479) [ClassicSimilarity], result of:
          0.04435545 = score(doc=479,freq=18.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.3673144 = fieldWeight in 479, product of:
              4.2426405 = tf(freq=18.0), with freq of:
                18.0 = termFreq=18.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.0390625 = fieldNorm(doc=479)
      0.25 = coord(1/4)
    
    Abstract
    Gegenstand dieser Arbeit ist die Entwicklung eines funktionalen Prototyps einer Webanwendung für die Verknüpfung der Evaluierung von explorativen Suchen in Verbindung mit der Durchführung klassisches Retrievaltests. Als Grundlage für die Programmierung des Prototyps werden benutzerorientierte und systemorientierte Evalulierungsmethoden für Suchmaschinen analysiert und in einem theoretischen Modell zur Untersuchung von Informationssysteme und Suchmaschinen kombiniert. Bei der Gestaltung des Modells und des Prototyps wird gezeigt, wie sich aufgezeichnete Aktionsdaten praktisch für die Suchmaschinenevaluierung verwenden lassen, um auf der einen Seite eine Datengrundlage für Retrievaltests zu gewinnen und andererseits, um für die Auswertung von Relevanzbewertungen auch das implizierte Feedback durch Handlungen der Anwender zu berücksichtigen. Retrievaltests sind das gängige und erprobte Mittel zur Messung der Retrievaleffektiviät von Informationssystemen und Suchmaschinen, verzichten aber auf eine Berücksichtigung des tatsächlichen Nutzerverhaltens. Eine Methode für die Erfassung der Interaktionen von Suchmaschinennutzern sind protokollbasierte Tests, mit denen sich Logdateien über Benutzer einer Anwendung generieren lassen. Die im Rahmen der Arbeit umgesetzte Software bietet einen Ansatz, Retrievaltests auf Basis protokollierter Nutzerdaten in Verbindung mit kontrollierten Suchaufgaben, durchzuführen. Das Ergebnis dieser Arbeit ist ein fertiger funktionaler Prototyp, der in seinem Umfang bereits innerhalb von Suchmaschinenstudien nutzbar ist.
    Content
    Masterarbeit im Studiengang Informationswissenschaft und -management.
  2. Dzeyk, W.: Effektiv und nutzerfreundlich : Einsatz von semantischen Technologien und Usability-Methoden zur Verbesserung der medizinischen Literatursuche (2010) 0.01
    0.010668128 = product of:
      0.04267251 = sum of:
        0.04267251 = weight(_text_:und in 4416) [ClassicSimilarity], result of:
          0.04267251 = score(doc=4416,freq=34.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.35337773 = fieldWeight in 4416, product of:
              5.8309517 = tf(freq=34.0), with freq of:
                34.0 = termFreq=34.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.02734375 = fieldNorm(doc=4416)
      0.25 = coord(1/4)
    
    Abstract
    In der vorliegenden Arbeit werden die Ergebnisse des MorphoSaurus-Projekts der Deutschen Zentralbibliothek für Medizin (ZB MED) vorgestellt. Ziel des Forschungsprojekts war die substanzielle Verbesserung des Information-Retrievals der medizinischen Suchmaschine MEDPILOT mithilfe computerlinguistischer Ansätze sowie die Optimierung der Gebrauchstauglichkeit (Usability) der Suchmaschinenoberfläche. Das Projekt wurde in Kooperation mit der Averbis GmbH aus Freiburg im Zeitraum von Juni 2007 bis Dezember 2008 an der ZB MED in Köln durchgeführt. Ermöglicht wurde die Realisierung des Projekts durch eine Förderung des Paktes für Forschung und Innovation. Während Averbis die MorphoSaurus-Technologie zur Verarbeitung problematischer Sprachaspekte von Suchanfragen einbrachte und wesentliche Datenbanken der ZB MED in ein Testsystem mit moderner Suchmaschinentechnologie implementierte, evaluierte ein Team der ZB MED das Potenzial dieser Technologie. Neben einem Vergleich der Leistungsfähigkeit zwischen der bisherigen MEDPILOT-Suche und der neuen Sucharchitektur wurde ein Benchmarking mit konkurrierenden Suchmaschinen wie PubMed, Scirus, Google und Google Scholar sowie GoPubMed durchgeführt. Für die Evaluation wurden verschiedene Testkollektionen erstellt, deren Items bzw. Suchphrasen aus einer Inhaltsanalyse realer Suchanfragen des MEDPILOT-Systems gewonnen wurden. Eine Überprüfung der Relevanz der Treffer der Testsuchmaschine als wesentliches Kriterium für die Qualität der Suche zeigte folgendes Ergebnis: Durch die Anwendung der MorphoSaurus-Technologie ist eine im hohen Maße unabhängige Verarbeitung fremdsprachlicher medizinischer Inhalte möglich geworden. Darüber hinaus zeigt die neue Technik insbesondere dort ihre Stärken, wo es um die gleichwertige Verarbeitung von Laien- und Expertensprache, die Analyse von Komposita, Synonymen und grammatikalischen Varianten geht. Zudem sind Module zur Erkennung von Rechtschreibfehlern und zur Auflösung von Akronymen und medizinischen Abkürzungen implementiert worden, die eine weitere Leistungssteigerung des Systems versprechen. Ein Vergleich auf der Basis von MEDLINE-Daten zeigte: Den Suchmaschinen MED-PILOT, PubMed, GoPubMed und Scirus war die Averbis-Testsuchumgebung klar überlegen. Die Trefferrelevanz war größer, es wurden insgesamt mehr Treffer gefunden und die Anzahl der Null-Treffer-Meldungen war im Vergleich zu den anderen Suchmaschinen am geringsten.
    Bei einem Vergleich unter Berücksichtigung aller verfügbaren Quellen gelang es mithilfe der MorphoSaurus-Technik - bei wesentlich geringerem Datenbestand - ähnlich gute Resul-tate zu erzielen, wie mit den Suchmaschinen Google oder Google Scholar. Die Ergebnisse der Evaluation lassen den Schluss zu, dass durch den MorphoSaurus-Ansatz die Leistungsfähigkeit von Google oder Google Scholar im Bereich der medizinischen Literatursuche durch eine Erweiterung der vorhandenen Datenbasis sogar deutlich übertroffen werden kann. Zusätzlich zu den Retrieval-Tests wurde eine Usability-Untersuchung der Testsuchmaschine mit Probanden aus der Medizin durchgeführt. Die Testpersonen attestierten dem Such-interface eine hohe Gebrauchstauglichkeit und Nützlichkeit. Der szenariobasierte Usability-Test hat zudem gezeigt, dass die Testpersonen bzw. User die integrierten Unterstützungs-maßnahmen zur Erhöhung der Benutzerfreundlichkeit während der Suche als sehr positiv und nützlich bewerten. In der Testsuchmaschine wurde diese Unterstützung z. B. durch das Aufklappen und Präsentieren von verwandten MeSH- und ICD-10-Begriffen realisiert. Die Einführung eines Schiebereglers zur effektiven Eingrenzung des Suchraums wurde ebenfalls überwiegend positiv bewertet. Zudem wurden nach Abschicken der Suchanfrage sogenannte Verwandte Suchbegriffe aus verschiedenen medizinischen Teilbereichen angezeigt. Diese Facetten-Funktion diente der Eingrenzung bzw. Verfeinerung der Suche und wurde von den Testpersonen mehrheitlich als ein sinnvolles Hilfsangebot bewertet. Insgesamt stellt das MorphoSaurus-Projekt - mit seinem spezifischen Ansatz - ein gelungenes Beispiel für die Innovationsfähigkeit von Bibliotheken im Bereich der öffentlichen Informationsversorgung dar. Durch die mögliche Anpassung der MorphoSaurus-Technologie mittels fachspezifischer Thesauri ist zudem eine hohe Anschlussfähigkeit für Suchmaschinen-projekte anderer Inhaltsdomänen gegeben.
  3. Rapke, K.: Automatische Indexierung von Volltexten für die Gruner+Jahr Pressedatenbank (2001) 0.01
    0.010454679 = product of:
      0.041818716 = sum of:
        0.041818716 = weight(_text_:und in 5863) [ClassicSimilarity], result of:
          0.041818716 = score(doc=5863,freq=16.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.34630734 = fieldWeight in 5863, product of:
              4.0 = tf(freq=16.0), with freq of:
                16.0 = termFreq=16.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.0390625 = fieldNorm(doc=5863)
      0.25 = coord(1/4)
    
    Abstract
    Retrievaltests sind die anerkannteste Methode, um neue Verfahren der Inhaltserschließung gegenüber traditionellen Verfahren zu rechtfertigen. Im Rahmen einer Diplomarbeit wurden zwei grundsätzlich unterschiedliche Systeme der automatischen inhaltlichen Erschließung anhand der Pressedatenbank des Verlagshauses Gruner + Jahr (G+J) getestet und evaluiert. Untersucht wurde dabei natürlichsprachliches Retrieval im Vergleich zu Booleschem Retrieval. Bei den beiden Systemen handelt es sich zum einen um Autonomy von Autonomy Inc. und DocCat, das von IBM an die Datenbankstruktur der G+J Pressedatenbank angepasst wurde. Ersteres ist ein auf natürlichsprachlichem Retrieval basierendes, probabilistisches System. DocCat demgegenüber basiert auf Booleschem Retrieval und ist ein lernendes System, das aufgrund einer intellektuell erstellten Trainingsvorlage indexiert. Methodisch geht die Evaluation vom realen Anwendungskontext der Textdokumentation von G+J aus. Die Tests werden sowohl unter statistischen wie auch qualitativen Gesichtspunkten bewertet. Ein Ergebnis der Tests ist, dass DocCat einige Mängel gegenüber der intellektuellen Inhaltserschließung aufweist, die noch behoben werden müssen, während das natürlichsprachliche Retrieval von Autonomy in diesem Rahmen und für die speziellen Anforderungen der G+J Textdokumentation so nicht einsetzbar ist
    Series
    Tagungen der Deutschen Gesellschaft für Informationswissenschaft und Informationspraxis; 4
    Source
    Information Research & Content Management: Orientierung, Ordnung und Organisation im Wissensmarkt; 23. DGI-Online-Tagung der DGI und 53. Jahrestagung der Deutschen Gesellschaft für Informationswissenschaft und Informationspraxis e.V. DGI, Frankfurt am Main, 8.-10.5.2001. Proceedings. Hrsg.: R. Schmidt
  4. Womser-Hacker, C.: Evaluierung im Information Retrieval (2013) 0.01
    0.010454679 = product of:
      0.041818716 = sum of:
        0.041818716 = weight(_text_:und in 728) [ClassicSimilarity], result of:
          0.041818716 = score(doc=728,freq=4.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.34630734 = fieldWeight in 728, product of:
              2.0 = tf(freq=4.0), with freq of:
                4.0 = termFreq=4.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.078125 = fieldNorm(doc=728)
      0.25 = coord(1/4)
    
    Source
    Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. 6., völlig neu gefaßte Ausgabe. Hrsg. von R. Kuhlen, W. Semar u. D. Strauch. Begründet von Klaus Laisiepen, Ernst Lutterbeck, Karl-Heinrich Meyer-Uhlenried
  5. Fuhr, N.; Niewelt, B.: ¬Ein Retrievaltest mit automatisch indexierten Dokumenten (1984) 0.01
    0.010349605 = product of:
      0.04139842 = sum of:
        0.04139842 = weight(_text_:und in 262) [ClassicSimilarity], result of:
          0.04139842 = score(doc=262,freq=2.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.34282678 = fieldWeight in 262, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.109375 = fieldNorm(doc=262)
      0.25 = coord(1/4)
    
    Source
    Deutscher Dokumentartag 1983, Göttingen, 3.-7.10.1983: Fachinformation und Bildschirmtext. Bearb.: H. Strohl-Goebel
  6. Grunder, R.: Qualitätskriterien für Datenbanken : Grundsätzliche Überlegungen und Untersuchung ausgewählter Aspekte am Beispiel bibliographischer Online-Datenbanken (1995) 0.01
    0.010349605 = product of:
      0.04139842 = sum of:
        0.04139842 = weight(_text_:und in 7107) [ClassicSimilarity], result of:
          0.04139842 = score(doc=7107,freq=2.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.34282678 = fieldWeight in 7107, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.109375 = fieldNorm(doc=7107)
      0.25 = coord(1/4)
    
  7. Krause, J.; Mutschke, P.: Indexierung und Fulcrum-Evaluierung (1999) 0.01
    0.010349605 = product of:
      0.04139842 = sum of:
        0.04139842 = weight(_text_:und in 6256) [ClassicSimilarity], result of:
          0.04139842 = score(doc=6256,freq=2.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.34282678 = fieldWeight in 6256, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.109375 = fieldNorm(doc=6256)
      0.25 = coord(1/4)
    
  8. Kluck, M.; Mandl, T.; Womser-Hacker, C.: Cross-Language Evaluation Forum (CLEF) : Europäische Initiative zur Bewertung sprachübergreifender Retrievalverfahren (2002) 0.01
    0.010349605 = product of:
      0.04139842 = sum of:
        0.04139842 = weight(_text_:und in 266) [ClassicSimilarity], result of:
          0.04139842 = score(doc=266,freq=8.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.34282678 = fieldWeight in 266, product of:
              2.828427 = tf(freq=8.0), with freq of:
                8.0 = termFreq=8.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.0546875 = fieldNorm(doc=266)
      0.25 = coord(1/4)
    
    Abstract
    Seit einigen Jahren hat sich in Europa eine Initiative zur Bewertung von Information Retrieval in mehrsprachigen Kontexten etabliert. Das Cross Language Evaluation forum (CLEF) wird von der EU gefördert und kooperiert mit Evaluierungsprojekten in den USA (TREC) und in Japan (NTCIR). Dieser Artikel stellt das CLEF in den Rahmen der anderen internationalen Initiativen. Neue Entwicklungen sowohl bei den Information Retrieval Systemen als auch bei den Evaluierungsmethoden werden aufgezeit. Die hohe Anzahl von Teilnehmern aus Forschungsinstitutionen und der Industrie beweist die steigende Bedeutung des sprachübergreifenden Retrievals
    Source
    Information - Wissenschaft und Praxis. 53(2002) H.2, S.82-89
  9. Sachse, E.; Liebig, M.; Gödert, W.: Automatische Indexierung unter Einbeziehung semantischer Relationen : Ergebnisse des Retrievaltests zum MILOS II-Projekt (1998) 0.01
    0.010349605 = product of:
      0.04139842 = sum of:
        0.04139842 = weight(_text_:und in 3577) [ClassicSimilarity], result of:
          0.04139842 = score(doc=3577,freq=8.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.34282678 = fieldWeight in 3577, product of:
              2.828427 = tf(freq=8.0), with freq of:
                8.0 = termFreq=8.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.0546875 = fieldNorm(doc=3577)
      0.25 = coord(1/4)
    
    Abstract
    Im Rahmen von MILOS II wurde das erste MILOS-Projekt zur automatischen Indexierung von Titeldaten um eine semantischer Komponente erweitert, indem Thesaurusrelationen der Schlagwortnormdatei eingebunden wurden. Der abschließend zur Evaluierung durchgeführte Retrievaltest und seine Ergebnisse stehen im Mittelpunkt dieses Texts. Zusätzlich wird ein Überblick über bereits durchgeführte Retrievaltests (vorwiegend des anglo-amerikanischen Raums) gegeben und es wird erläutert, welche grundlegenden Fragestellungen bei der praktischen Durchführung eines Retrievaltests zu beachten sind
    Imprint
    Köln : FH Köln, Fachbereich Bibliotheks- und Informationswesen
    Series
    Kölner Arbeitspapiere zur Bibliotheks- und Informationswissenschaft; Bd.14
  10. Bauer, G.; Schneider, C.: PADOK-II : Untersuchungen zur Volltextproblematik und zur interpretativen Analyse der Retrievalprotokolle (1990) 0.01
    0.010243452 = product of:
      0.04097381 = sum of:
        0.04097381 = weight(_text_:und in 4164) [ClassicSimilarity], result of:
          0.04097381 = score(doc=4164,freq=6.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.33931053 = fieldWeight in 4164, product of:
              2.4494898 = tf(freq=6.0), with freq of:
                6.0 = termFreq=6.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.0625 = fieldNorm(doc=4164)
      0.25 = coord(1/4)
    
    Abstract
    Dieser Beitrag baut auf dem Bericht über das methodische Konzept, über die Durchführung und die Ergebnisse der PADOK-II-Retrievaltests auf (Krause/Wormser-Hacker). Hier werden die Ergebnisse von Zusatztests zum Einfluß des Umfangs der zugrundeliegenden Dokumente (Volltext vs. Titel+Abstract) beschrieben, die eine deutliche Beeinträchtigung der Recall-Werte bei reduziertem Dokumentenumfang zeigen. Zur interpretativen Analyse der Retrievalprotokolle werden vor allem die methodische Einbindung, Ansatzpunkte der Analyse und erste Ergebnisse vorgestelt.
  11. Krause, J.; Womser-Hacker, C.: PADOK-II : Retrievaltests zur Bewertung von Volltextindexierungsvarianten für das deutsche Patentinformationssystem (1990) 0.01
    0.010243452 = product of:
      0.04097381 = sum of:
        0.04097381 = weight(_text_:und in 2653) [ClassicSimilarity], result of:
          0.04097381 = score(doc=2653,freq=6.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.33931053 = fieldWeight in 2653, product of:
              2.4494898 = tf(freq=6.0), with freq of:
                6.0 = termFreq=6.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.0625 = fieldNorm(doc=2653)
      0.25 = coord(1/4)
    
    Abstract
    Vorgestellt werden die Ergebnisse extensiver Retrievaltests von zwei Varianten von Inhalteserschließungen (Freitext und PASSAT) für das deutsche Patentinformationssystem auf der Basis von Volltexten. Die Tests führte die Fachgruppe Linguistische Informationswissenschaft der Universität Regensburg von 1986-1989 in Zusammenarbeit mit dem Deutschen Patentamt, dem Fachinformationszentrum Karlsruhe und meheren industrieellen Partnern durch. Der Schwerpunkt des Berichts liegt auf dem allgemeinen Ansatz der Bewertung der Ziele des Projekts und auf der Darstellung der statistischen Evaluierungsergebnisse.
  12. Grummann, M.: Sind Verfahren zur maschinellen Indexierung für Literaturbestände Öffentlicher Bibliotheken geeignet? : Retrievaltests von indexierten ekz-Daten mit der Software IDX (2000) 0.01
    0.010243452 = product of:
      0.04097381 = sum of:
        0.04097381 = weight(_text_:und in 1879) [ClassicSimilarity], result of:
          0.04097381 = score(doc=1879,freq=6.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.33931053 = fieldWeight in 1879, product of:
              2.4494898 = tf(freq=6.0), with freq of:
                6.0 = termFreq=6.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.0625 = fieldNorm(doc=1879)
      0.25 = coord(1/4)
    
    Abstract
    Maschinelles Indexieren vereinheitlicht und vermehrt das Suchvokabular eines Bibliothekskatalogs durch verschiedene Methoden (u.a. Ermittlung der Grundform, Kompositazerlegung, Wortableitungen). Ein Retrievaltest mit einem für öffentliche Bibliotheken typischen Sachbuchbestand zeigt, dass dieses Verfahren die Ergebnisse von OPAC-Recherchen verbessert - trotz 'blumiger' Titelformulierungen. Im Vergleich zu herkömmlichen Erschließungsmethoden (Stich- und Schlagwörter) werden mehr relevante Titel gefunden, ohne gleichzeitig den 'Ballast' zu erhöhen. Das maschinelle Indexieren kann die Verschlagwortung jedoch nicht ersetzen, sondern nur ergänzen
    Source
    Bibliothek: Forschung und Praxis. 24(2000) H.3, S.297-318
  13. Womser-Hacker, C.: Theorie des Information Retrieval III : Evaluierung (2004) 0.01
    0.010243452 = product of:
      0.04097381 = sum of:
        0.04097381 = weight(_text_:und in 2919) [ClassicSimilarity], result of:
          0.04097381 = score(doc=2919,freq=24.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.33931053 = fieldWeight in 2919, product of:
              4.8989797 = tf(freq=24.0), with freq of:
                24.0 = termFreq=24.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.03125 = fieldNorm(doc=2919)
      0.25 = coord(1/4)
    
    Abstract
    Information-Retrieval-Systeme wurden bereits sehr früh aus einer bewertenden Perspektive betrachtet. Jede neu entwickelte Komponente sollte effektivitätssteigernd für das gesamte System wirken und musste ihre Funktionalität unter Beweis stellen oder den Vergleich zu existierenden Verfahren antreten (z.B. automatische Indexierung vs. manuelle Erschließung von Informationsobjekten). 1963 fanden die Cranfield-II-Experimente statt und begründeten die Evaluierungsprinzipien im Information Retrieval. Somit haben auch Bewertungsverfahren, -ansätze und -methoden bereits eine lange Tradition. Die von Sparck Jones eingebrachte Feststellung, dass die genauen Gründe für das Verhalten von Information-Retrieval-Systemen oft im Dunklen lägen, führte zu der Forderung nach einer exakten und expliziten Evaluierungsmethodologie und experimentellen Überprüfbarkeit. Als generelle Herangehensweise hat sich ein indirektes Verfahren zur Bewertung von InformationRetrieval-Systemen etabliert, bei welchem das System an sich als black box gesehen und nur der Retrievaloutput als Grundlage für die Bewertung herangezogen wird. In den Experimenten stand die Systemperspektive im Vordergrund, um zu einer bewertenden Aussage zu gelangen. Es wurde gemessen, wie gut die Systeme in der Lage sind, die an sie gestellten Anforderungen zu erfüllen, relevante Dokumente zu liefern und nicht-relevante zurückzuhalten. Durch die zunehmende Komplexität der Systeme sowie die immer stärkere Einbeziehung von Benutzern, die nicht über die Kompetenz und Professionalität von Informationsfachleuten verfügen, wurde es immer schwieriger, Einzeleigenschaften vom Gesamtsystem zu isolieren und experimentell zu bewerten. Erst im Zeitalter der Suchmaschinen ist man zu der Ansicht gelangt, dass den Benutzern der Systeme eine entscheidende Rolle bei der Bewertung zukommt. Die Verfahren der Qualitätsbewertung müssen - wie dieses Beispiel zeigt - ständig weiterentwickelt werden. Die Benutzermerkmale können heterogen sein und sich einer genauen Kenntnis entziehen, was eine vollständige Formalisierung bzw. Quantifizierung erschwert. Neueren Datums sind Studien, die sich auf interaktive Information-Retrieval-Systeme oder auf die Qualitätsbestimmung bestimmter Teilkomponenten spezialisiert haben wie z.B. die Erschließungsoder Visualisierungskomponente, die Gestaltung der Benutzungsschnittstelle aus softwareergonomischer Sicht oder auch die Multilingua-Fähigkeit.
    Source
    Grundlagen der praktischen Information und Dokumentation. 5., völlig neu gefaßte Ausgabe. 2 Bde. Hrsg. von R. Kuhlen, Th. Seeger u. D. Strauch. Begründet von Klaus Laisiepen, Ernst Lutterbeck, Karl-Heinrich Meyer-Uhlenried. Bd.1: Handbuch zur Einführung in die Informationswissenschaft und -praxis
  14. Mandl, T.: Evaluierung im Information Retrieval : die Hildesheimer Antwort auf aktuelle Herausforderungen der globalisierten Informationsgesellschaft (2010) 0.01
    0.010243452 = product of:
      0.04097381 = sum of:
        0.04097381 = weight(_text_:und in 4011) [ClassicSimilarity], result of:
          0.04097381 = score(doc=4011,freq=6.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.33931053 = fieldWeight in 4011, product of:
              2.4494898 = tf(freq=6.0), with freq of:
                6.0 = termFreq=6.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.0625 = fieldNorm(doc=4011)
      0.25 = coord(1/4)
    
    Abstract
    Die Forschung zur Evaluierung von Information Retrieval Systemen hat in den letzten Jahren neue Richtungen eingeschlagen und interessante Ergebnisse erzielt. Während früher primär die Überlegenheit einzelner Verfahren in heterogenen Anwendungsszenarien im Fokus stand, gerät zunehmend die Validität der Evaluierungsmethodik ins Zentrum der Aufmerksamkeit. Dieser Artikel fasst die aktuelle Forschung zu innovativen Evaluierungsmaßen und zur Zuverlässigkeit des so genannten Cranfield-Paradigmas zusammen.
    Source
    Information - Wissenschaft und Praxis. 61(2010) H.6/7, S.341-348
  15. Rapke, K.: Automatische Indexierung von Volltexten für die Gruner+Jahr Pressedatenbank (2001) 0.01
    0.00991818 = product of:
      0.03967272 = sum of:
        0.03967272 = weight(_text_:und in 6386) [ClassicSimilarity], result of:
          0.03967272 = score(doc=6386,freq=10.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.328536 = fieldWeight in 6386, product of:
              3.1622777 = tf(freq=10.0), with freq of:
                10.0 = termFreq=10.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.046875 = fieldNorm(doc=6386)
      0.25 = coord(1/4)
    
    Abstract
    Retrieval Tests sind die anerkannteste Methode, um neue Verfahren der Inhaltserschließung gegenüber traditionellen Verfahren zu rechtfertigen. Im Rahmen einer Diplomarbeit wurden zwei grundsätzlich unterschiedliche Systeme der automatischen inhaltlichen Erschließung anhand der Pressedatenbank des Verlagshauses Gruner + Jahr (G+J) getestet und evaluiert. Untersucht wurde dabei natürlichsprachliches Retrieval im Vergleich zu Booleschem Retrieval. Bei den beiden Systemen handelt es sich zum einen um Autonomy von Autonomy Inc. und DocCat, das von IBM an die Datenbankstruktur der G+J Pressedatenbank angepasst wurde. Ersteres ist ein auf natürlichsprachlichem Retrieval basierendes, probabilistisches System. DocCat demgegenüber basiert auf Booleschem Retrieval und ist ein lernendes System, das auf Grund einer intellektuell erstellten Trainingsvorlage indexiert. Methodisch geht die Evaluation vom realen Anwendungskontext der Textdokumentation von G+J aus. Die Tests werden sowohl unter statistischen wie auch qualitativen Gesichtspunkten bewertet. Ein Ergebnis der Tests ist, dass DocCat einige Mängel gegenüber der intellektuellen Inhaltserschließung aufweist, die noch behoben werden müssen, während das natürlichsprachliche Retrieval von Autonomy in diesem Rahmen und für die speziellen Anforderungen der G+J Textdokumentation so nicht einsetzbar ist
    Source
    nfd Information - Wissenschaft und Praxis. 52(2001) H.5, S.251-262
  16. Fugmann, R.: ¬Das Faule Ei des Kolumbus im Aslib-Cranfield Vergleich von Informationssystemen : Die erneute Betrachtung eines einflussreichen Experiments (2004) 0.01
    0.0089630205 = product of:
      0.035852082 = sum of:
        0.035852082 = weight(_text_:und in 2364) [ClassicSimilarity], result of:
          0.035852082 = score(doc=2364,freq=6.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.2968967 = fieldWeight in 2364, product of:
              2.4494898 = tf(freq=6.0), with freq of:
                6.0 = termFreq=6.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.0546875 = fieldNorm(doc=2364)
      0.25 = coord(1/4)
    
    Abstract
    Der Beitrag gibt einen kritischen Rückblick auf die Experimente des ASLIB-CranfieldProjekts, mit dem die Leistungsfähigkeit verschiedenere Methoden der Inhaltserschließung verglichen wurden. Bemängelt wird die fehlende Unterscheidung zwischen Erinnerungsrecherche und Entdeckungsrecherche sowie die Wirklichkeitsferne der Versuchsbedingungen im ASLIB-Cranfield Projekt insbesondere Abwertung der Indexierung, Wirklichkeitsferne der Suchziele, die Empfehlung zum oberflächlichen Indexieren, die vermeintliche "gesetzmäßige Umkehrrelation" zwischen Ballast und Verlust sowie die Geringschätzung von Informationsverlust. Der Autor plädiert dafür, bei der Weiterentwicklung von Methoden der Inhaltserschließung die Erfahrungen aus der Vergangenheit nicht außer Acht zu lassen.
    Source
    Information - Wissenschaft und Praxis. 55(2004) H.4, S.211-220
  17. Kluck, M.: ¬Eine deutschsprachige Testdatenbank für moderne Erschließungs- und Retrievalsysteme : German Indexing and Retrieval Testdatabase - GIRT (1996) 0.01
    0.00887109 = product of:
      0.03548436 = sum of:
        0.03548436 = weight(_text_:und in 5269) [ClassicSimilarity], result of:
          0.03548436 = score(doc=5269,freq=2.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.29385152 = fieldWeight in 5269, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.09375 = fieldNorm(doc=5269)
      0.25 = coord(1/4)
    
  18. Schoger, A.; Frommer, J.: Heterogen - was nun? : Evaluierung heterogener bibliographischer Metadaten (2000) 0.01
    0.00887109 = product of:
      0.03548436 = sum of:
        0.03548436 = weight(_text_:und in 4465) [ClassicSimilarity], result of:
          0.03548436 = score(doc=4465,freq=2.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.29385152 = fieldWeight in 4465, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.09375 = fieldNorm(doc=4465)
      0.25 = coord(1/4)
    
    Source
    Zeitschrift für Bibliothekswesen und Bibliographie. 47(2000) H.1, S.110-128
  19. Petras, V.; Womser-Hacker, C.: Evaluation im Information Retrieval (2023) 0.01
    0.00887109 = product of:
      0.03548436 = sum of:
        0.03548436 = weight(_text_:und in 808) [ClassicSimilarity], result of:
          0.03548436 = score(doc=808,freq=8.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.29385152 = fieldWeight in 808, product of:
              2.828427 = tf(freq=8.0), with freq of:
                8.0 = termFreq=8.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.046875 = fieldNorm(doc=808)
      0.25 = coord(1/4)
    
    Abstract
    Das Ziel einer Evaluation ist die Überprüfung, ob bzw. in welchem Ausmaß ein Informationssystem die an das System gestellten Anforderungen erfüllt. Informationssysteme können aus verschiedenen Perspektiven evaluiert werden. Für eine ganzheitliche Evaluation (als Synonym wird auch Evaluierung benutzt), die unterschiedliche Qualitätsaspekte betrachtet (z. B. wie gut ein System relevante Dokumente rankt, wie schnell ein System die Suche durchführt, wie die Ergebnispräsentation gestaltet ist oder wie Suchende durch das System geführt werden) und die Erfüllung mehrerer Anforderungen überprüft, empfiehlt es sich, sowohl eine perspektivische als auch methodische Triangulation (d. h. der Einsatz von mehreren Ansätzen zur Qualitätsüberprüfung) vorzunehmen. Im Information Retrieval (IR) konzentriert sich die Evaluation auf die Qualitätseinschätzung der Suchfunktion eines Information-Retrieval-Systems (IRS), wobei oft zwischen systemzentrierter und nutzerzentrierter Evaluation unterschieden wird. Dieses Kapitel setzt den Fokus auf die systemzentrierte Evaluation, während andere Kapitel dieses Handbuchs andere Evaluationsansätze diskutieren (s. Kapitel C 4 Interaktives Information Retrieval, C 7 Cross-Language Information Retrieval und D 1 Information Behavior).
    Source
    Grundlagen der Informationswissenschaft. Hrsg.: Rainer Kuhlen, Dirk Lewandowski, Wolfgang Semar und Christa Womser-Hacker. 7., völlig neu gefasste Ausg
  20. Lohmann, H.: KASCADE: Dokumentanreicherung und automatische Inhaltserschließung : Projektbericht und Ergebnisse des Retrievaltests (2000) 0.01
    0.008581439 = product of:
      0.034325756 = sum of:
        0.034325756 = weight(_text_:und in 494) [ClassicSimilarity], result of:
          0.034325756 = score(doc=494,freq=22.0), product of:
            0.12075608 = queryWeight, product of:
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.054483794 = queryNorm
            0.28425696 = fieldWeight in 494, product of:
              4.690416 = tf(freq=22.0), with freq of:
                22.0 = termFreq=22.0
              2.216367 = idf(docFreq=13101, maxDocs=44218)
              0.02734375 = fieldNorm(doc=494)
      0.25 = coord(1/4)
    
    Abstract
    Der Test hat gezeigt, dass die Ergänzung der bibliothekarischen Titelaufnahme um zusätzliche inhaltsrelevante Daten zu einer beeindruckenden Verbesserung der Suchergebnisse führt. Die Dokumentanreicherung sollte daher als Ziel bibliothekarischer Bemühungen um eine Verbesserung des OPAC-Retrievals weiterverfolgt werden. Der im Projekt eingeschlagene Weg, die Inhaltsverzeichnisse zu scannen, erwies sich allerdings als wenig sinnvoll. Zwar erzielte das Scanningverfahren gute Ergebnisse, auch arbeitete die Texterkennungssoftware sehr zuverlässig. Das Scanning bietet darüber hinaus die Möglichkeit, die dabei angefertigte Grafik-Datei mit dem Titelsatz im OPAC zu verknüpfen und so dem Nutzer als Entscheidungshilfe bei der Ergebnismengenbeurteilung an die Hand zu geben. Die Arbeiten am Aufbau der Testdatenbank brachten aber die Erkenntnis, dass die Anreicherung im Wege des Scanning technisch außerordentlich problematisch ist und einen nicht vorauszusehenden und letztlich auch nicht zu rechtfertigenden Aufwand erfordert. Diese Methode der Anreicherung kann daher für einen Praxiseinsatz nicht empfohlen werden.
    Abgesehen von diesen Überlegungen müssten für einen praktischen Einsatz der KASCADE-Entwicklungen weitere Voraussetzungen geschaffen werden. Erforderlich wäre zunächst die Optimierung und Rationalisierung der Verfahrensabläufe selbst. Die Teilprogramme unter KasKoll sollten in ein kompaktes Programm integriert werden. Die Sortiervorgänge könnten vereinfacht werden, indem die Deskriptoren in eine relationale Datenbank überführt werden. Letztendlich wirken sich diese Punkte aber vor allem auf die Dauer der Maschinenlaufzeiten aus, die bei der Frage nach den Implementierungskosten letztlich nur eine untergeordnete Rolle spielen. Optimiert werden sollte die Oberfläche zur Steuerung des Verfahrens. Bereits jetzt laufen einige der Programme unter einer menügeführten Windows-Schnittstelle (Kasadew) ab, was für alle Verfahrensteile erreicht werden sollte. Schließlich ist zu klären, unter welchen Bedingungen das Gewichtungsverfahren im Praxisbetrieb ablaufen kann.
    Da sich mit jedem Dokument, das zu dem im Gewichtungsverfahren befindlichen Gesamtbestand hinzukommt, die Werte aller bereits gewichteten Deskriptoren ändern können, müsste die Berechnung der Häufigkeitsverteilung jeder Grundform im Prinzip nach jeder Änderung im Dokumentbestand neu berechnet werden. Eine Online-Aktualisierung des Bestandes erscheint daher wenig sinnvoll. In der Praxis könnte eine Neuberechnung in bestimmten zeitlichen Abständen mit einem Abzug des OPAC-Bestandes unabhängig vom eigentlichen Betrieb des OPAC erfolgen, was auch insofern genügen würde, als die zugrunde liegenden Maße auf relativen Häufigkeiten basieren. Dadurch würde nur ein geringer Verzug in der Bereitstellung der aktuellen Gewichte eintreten. Außerdem würde der Zeitfaktor eine nur untergeordnete Rolle spielen, da ein offline ablaufender Gewichtungslauf erst bis zum nächsten Aktualisierungszeitpunkt abgeschlossen sein müsste. Denkbar wäre zusätzlich, für die Zeit zwischen zwei Aktualisierungen des OPACs für die in den Neuzugängen enthaltenen Begriffe Standardgewichte einzusetzen, soweit diese Begriffe bereits in dem Bestand auftreten. Bei entsprechender Optimierung und Rationalisierung der SELIX-Verfahrensabläufe, Nutzung der Gewichte auf der Retrievalseite für ein Ranking der auszugebenden Dokumente und Integration der THEAS-Komponente kann das Verfahren zu einem wirkungsvollen Instrument zur Verbesserung der Retrievaleffektivität weiterentwickelt werden.
    Footnote
    Zugl.: Köln, Fachhochsch., Fachbereich Bibliotheks- und Informationswesen, Hausarbeit
    Imprint
    Düsseldorf : Universitäts- und Landesbibliothek
    Series
    Schriften der Universitäts- und Landesbibliothek Düsseldorf; 31

Years

Languages

  • d 51
  • e 3
  • m 1
  • More… Less…

Types

  • a 40
  • el 6
  • r 6
  • x 6
  • m 2
  • s 1
  • More… Less…