Trip Report: Fraunhofer Arbeitstagung BibliotheksundInformationswesen 2010

MPDL

Event: Fraunhofer Arbeitstagung Bibliotheks - und Informationswesen

Fulda 18.10. - 21.10.2010

Participants MPDL: Günter Schönfeldt

=Workshop Bibliometrie 18.10.2010=

Grundzüge der Bibliometrie
Allgemeine Einführung
 * Wunsch der Bibliothekare nach Workshop im Rahmen der letzten Tagung
 * Dr. Ulrich Schmoch, Fraunhofer ISI Institut


 * Kompetenzzentrum Bibliometrie BMBF gefördert
 * Aufbau Inhouse Datenbanken
 * WoS und Scopus werden verwendet

Zahl der Promotionen, Drittmittelquote Bewertung nach Impact Factor nicht nach wissenschaftl. Leistung
 * Anwendungsbereiche
 * Bewertung von Wissenschaftlern, Forschungseinheiten (leistungsorientierter Mittelvergabe), Forschungseinrichtungen (Uni Ranking, Exzellenzinitiative)
 * wissenschaftliche Leistungen
 * Publikationen, aber auch andere Faktoren: Infrastruktur (wissenschaftl. Vereinigungen), Ausbildung von Nachwuschsforschern, Transfer zu Gesellschaft / Entwicklung, Produktion
 * u-map.eu
 * Erstellung von Leistungsprofilen
 * Publikationen im Verhältnis zu Patenten (Aufgabe entweder Transfer oder grundlagen Forschung), kein Vergleich von MPG und Fraunhofer (die beiden Extreme in den Dimensionen)
 * Relevanz der Bibliometrie
 * Publikationsoutput als Leitindikator insbesondere bei Gewichtung mit Zitaten
 * Betrachtung der Vergangenheit nicht jedoch in die Zukunft
 * Bibliometrie NICHT als Anreizsystem geeignet da falsche Konsequenzen gezogen werden, hohe Publikationszahlen jedoch nicht so hohe Qualität
 * Wissenschaftler: Veröffentlichung in Zeitschriften mit hohen Zitationen
 * Aktuelle Praxis

Bibliometrische Datenbanken
 * WoS ca. 8800 Zeitschriften, 1 mio einträge
 * lange Zeit Monopol
 * alternative Scopus, entstanden aus bibliografischer Datenbank zur Literatursuche
 * breitere Abdeckung, Codierungsfehler, 15000 Zeitschriften, 1,4 mio (viele Chinesen)
 * Vorteil Wettbewerber zu WoS, Verbesserung von beiden
 * in ein bis zwei Jahren echte Alternative
 * im Kennbereich identisch, keine totale Abdeckung zwischen den beiden Datenbanken
 * für Fraunhofer ist Scopus tendenziell besser geeignet, aufgrund der Fachbereiche die abgedeckt werden

Nutzung für Literaturrecherchen
 * Fachkenntnisse erfoderlich
 * suche mit schlagworten
 * auswahl interessanter beiträge
 * betrachtung der dort zitierten artikel und bücher nach inhalt und zitathäufikeit
 * betrachtung der zitierenden Artikel
 * auswahl aller interssanten beiträge elektronische bestellung der volltexte
 * Zeitersparnis

Mögliche Analysen
 * Untersuchung von Autoren, Einrichtungen
 * nach Zeitraum
 * nach wissenschaftsgebieten
 * nach zahl der publikationen
 * nach zahl der zitate
 * nach Zeitschriften, Kooperationen, Einrichtungstypen

Methodische Probleme
 * begrenzte abdeckung von publikationstypen
 * sprache, vorteil für englischsprachige
 * non source items, ressourcen ausserhalb der datenbanken
 * ungleiche publikations und zitierungsgewohnheiten
 * vielzahl unterschiedlicher schreibweisen für dieselben institutionen (Leibniz)
 * nachbereichtung von einträgen (bei Thomson häufig noch zusätzlich fehleranfällig)
 * proceedings ebenbürtig zu artikeln

Bedeutung von Zitaten
 * negativ zitate, bei wissenschaflicher Widerlegung
 * Abbildung formal wissenschaftlicher Kommunikation
 * inhaltliche Kopplung in inhouse datenbanken

Wachstum der Datenbanken
 * wachstum der Wissenschaft, neue Zeitschriften
 * nur Länderanteile vergleichen
 * Teillösung definition fester Zs.Sets

Zählweise bei mehreren Autoren
 * Fraktionierung
 * Inhouse Datenbanken

Zeitverzug bei Zitaten
 * Zahl der Zitate erste fünf Jahre anstieg
 * dann konstant
 * 15 Jahre warten um alle zitate zu erhalten
 * üblich 3 bis 5 jahresfenster
 * Unterbewertung von Pionierarbeiten
 * nicht über Zitate sondern qualitativ

Aufbau eigener Datenbanken(?)
 * finanzieller Aufwand
 * daher Kompetenzzentrum
 * Rohdaten in Datenbank
 * manche Analysen nur mit inhouse datenbanken möglich
 * scopus daten seit 1995 (?), qualität der daten erst ab 2004 verwendbar
 * wos seit 1980 (?)
 * Code für jede Einrichtung wäre sinnvoll, auch zur Fraktionierung
 * Eliminierung von Selbstzitaten (Leiden), aber auch Hinweis auf sonstige Tätigkeit in einem Gebiet
 * Ranking wird hierdurch jedoch nicht verändert
 * Non source items (nicht in DBs abgedeckt)

Konstruktion und Interpretation bibliometrischer Indikatoren
Ausgleich von Unterschieden zwischen Gebieten und Ländern
 * Berechnung von erwarteten Zitatraten
 * bezogen auf Zs in der artikel publiziert wird (durchschnittliche Zitatrate aler Artikel des jeweiligen jahrgangs)
 * zu hohes Gewicht von artikeln in weniger wichtigen Zs
 * bezogen auf wissenschaftsgebiet (durchschnittliche zitatrate aller artikel des jeweiligen jahrgangs)
 * übergewicht usa zs
 * bezogen auf region ausgleich von regionalen nachteilen durch referenz auf zs mit definierter regionaler herkunft

Berechnung der Normierung mit feldspezifischer erwarteter Zitatrate beobachtete Zitatrate eines landes

verschiedene Zitatmaße, verschiedene Berechnungsverfahren Hirsch Index, nur eine Zahl, keine Differenzierung nach Alter der Autoren Lotka, Zipf, Bradford Entdecker bibliometrischer Gesetze verschiedene Namensnennung problematisch

Scopus aufgrund der Abdeckung in den Fachbereichen für Fraunhofer zu bevorzugen Bedeutung von wissenschaftlicher Kommunikation zwischen Fraunhofer und Unis, Wissenschaftsgesellschaften durch z.B. Publikationen Analyse über Patente wenn man den Transfer messen möchte, Unterscheidung zu anderen Forschungseinrichtungen

Schlussfolgerung:
 * sorgfältiges methodisches Vorgehen
 * Ergebnisse mit geeigneten Referenten vergleichen
 * Zentral ist die Mission der jeweiligen Einrichtung: Grundlagenforschung, angewandte Forschung, internationale Kooperation, regionaler Transfer, Ausbildung, qualifizierte Dienstleistung, sind Publikationen der geeignete Indikator?
 * Ist das Fachgebite der EInheit (eines Forschers) überhaupt durch die Datenbank genügend abgedeckt?
 * Bibliometrie nur eine Aussage von vielen

Diskussion
 * Erfahrung einzelner Bibliothekare mit dem Wissenschaftsrat
 * Bedeutung des h Index für die Wissenschaftler (über WoS errechnbar), RÜckmeldung der Bibliothekarin
 * Personennamen Schreibweise, genauso wie bei Institutionen, Affiliations
 * Institutsleiter z.B. immer auch Herausgeber, auch ohne fachlichen direkten Bezug (Verstoss gegen gute wissenschaftliche Praxis)
 * mehrere Autoren, Arbeit in Gruppen -> Praxis in der Fraunhofer
 * wenige Wissenschaftler erhalten die Möglichkeit alleine Artikel herauszubringen, zur eigenen Reputation
 * Änderungswünsche von Insitutscodes an Thomson, keine Reaktion - eher bei Scopus

Interpretation - Sortierung von Fraunhofer Instituten

 * Milos Jovanovic
 * Vergleich von Recherchen in Scopus und Web of Science

Scopus
 * Advanced Search und Affiliation Search mit weniger Treffern
 * je nach Fachdisziplin finden sich bei Scopus oder bei WoS mehr Treffer
 * beide Quellen sind zu verwenden

Jegliche Sortierung bedarf Transparenz
 * Welche Datenbasis wird verwendet?
 * Dort: Welche Daten?
 * Wie wird gewichtet?
 * Wie wird gerechnet?

Vergleiche müssen ermöglicht werden
 * Größenunterschiede
 * Disziplinunterschiede
 * Unterschiede in den Datenbanken

Fazit WoS
 * veraltetes Interface
 * liefert weiterhin verlässliche Daten
 * "Distinct author set" oft nicht zu gebrauchen

Fazit Scopus
 * Benutzerfreundliches interface
 * größere Datenbasis
 * bequeme Suchoptionen
 * 20:80, 20 % der Zeitschriften mit 80% der wichtigen Artikeln
 * aber suchoptionen weiterhin problematisch
 * "affiliation search" bildet FhG Institution oft unvollständig ab
 * "author search" liefert lückenhafte Ergebnisse

Fazit Insgesamt
 * Manuelle Püfung der Daten unerlässlich
 * Am besten mehrere Datenbanken prüfen
 * Für Fraunhofer Patentzahlen betrachten sinnvoll
 * Suchstrategie an die Methode der Sortierung anpassen und optimieren
 * Stärken des Instituts zeigen

Diskussion
 * Nicht 100% auf eine Datenbank verlassen, egal welche
 * Insights -> Researcher ID, Institutionen Suche
 * Google Scholar, Daten kostenlos, keine Erkenntnisse über Datenbasis (Bsp. Zitate in Zeitungen, Zeitschriften) -> Zitate im Netz Buchbeiträge, systematische Daten wären gut, 10.000 wichtigste Bücher (?)
 * Sichtbarkeit = Häufigkeit der Zitate nicht Qualität
 * Übersetzung in Wichtigkeit