Die Universität Genf organisiert einen internationalen und interdisziplinären Workshop zu Forschungsevaluationen in den GSW. Er richtet sich an Nachwuchsforschende in Geistes- und Sozialwissenschaften. Die Teilnehmerinnen und Teilnehmer setzten sich mit der Frage auseinander, wie Forschungsprojekte, aber auch die Ergebnisse von Forschung in diesen Disziplinen angemessen evaluiert werden können.  Dazu wird auch die Frage angesprochen, wie Forschungskarrieren bspw. im Rahmen von Beförderungsverfahren selbst evaluiert werden. Nach dem Workshop wird ein SPOC (small private open course) zum Kursinhalt erstellt und  zugänglich gemacht.

Im Workshop werden die Teilnehmenden mit den verschiedenen Dimensionen der Forschungsevaluation vertraut gemacht. Evaluationsprozesse sind fester Bestandteil der Forschung: Vor der Veröffentlichung werden Publikationen von Gutachtern und/oder Verlegern geprüft. Die eigene Forschungsleistung trägt direkt oder indirekt zum Ruf der Universität bei. Bei Bewerbungen wird der Lebenslauf zur Bewertung des Kandidaten analysiert. Es ist daher besonders wichtig, dass Nachwuchsforschende die Bedeutung von Evaluationen für ihre zukünftige Karriere und die Auswirkungen von Evaluationen auf ihre Institution kennen.

Sind Evaluationen in den GSW spezifisch? Wie werden Forschungskarrieren evaluiert? Was steht im Kontext von akuten Budgetrestriktionen dabei für Forschungsinstitutionen auf dem Spiel? Eines der Leitthemen des Workshops wird die grundsätzliche und für die GSW typische Frage nach der Qualität von Evaluationen sein, und ob es eine solche überhaupt geben kann. Die Teilnehmenden werden gemeinsam Evaluationskriterien für qualitativ hochstehende Forschung erarbeiten und über die spezifischen Eigenheiten der GSW nachdenken. Aus dieser Arbeit werden vielleicht angemessenere Instrumente zur Projekt- und Karriereevaluation hervorgehen.

Der Workshop findet im Rahmen des Forschungsprogrammes SUK P-3 «Performances de la recherche en sciences humaines et sociales (2013-2016)» statt, zu dessen Zielen die Förderung innovativer Methoden auf diesem Gebiet gehört. Call for participation and preliminary programme hier (in Englisch)

Ansprechperson: Dr. Laure Ongois Zaugg (service-recherche@unige.ch).

1. Die Mitglieder der beteiligten Fakultäten waren hauptsächlich durch Einzelinterviews an dem Projekt SUK P-3 beteiligt. Für die Rezeption der Resultate im Gesamten bedarf es der aktiven Förderung und Begleitung. Das Projekt setzt bei der Wertschätzung für vorhandene Forschungsbeiträge an und will dazu beitragen, die Forschungserträge besser sichtbar zu machen:

• durch Austausch der Forschenden untereinander
• durch Austausch mit anderen Wissenschaftsbereichen der Universität
• durch Entwicklung nachhaltig praktizierbarer und in andere Wissenschaftsbereiche transferierbarer Formen der Forschungskommunikation in Verbindung mit einer Forschungsevaluation.

2. Das Projekt SUK P-3 hat gezeigt, dass das Selbstverständnis der Theologie im aktuellen Kontext der Wissenschaften wenig reflektiert ist und dass es kontroverse Positionen gibt, die zu einem sehr fruchtbaren Austausch führen können. Diese Diskussion wird innerhalb der Fakultät weitergeführt werden.

3. Die große Zahl von Doktorierenden der Fakultät bieten ein reiches Potential für den Austausch mit jungen Theologinnen und Theologen, die im Bereich der Forschung tätig sind und die „Kriterien guter Forschung im Bereich der Theologie“ unmittelbar in ihren Dissertationsprojekten anwenden können, verbunden mit einer Einübung in Forschungsevaluation.

4. Vernetzung mit bestehenden Projekten und Initiativen:

• Doktoratsprogramme der Fakultät
• Konsultationsprozess an der Yale University, USA: „Theology Today“
• SNF-Forschungsprojekt (eingereicht) „Erklären und Verstehen? Die duale Hermeneutik von Geistes‐ und Naturwissenschaften und ihre Konsequenzen für die Theologie“, das (mit oder ohne Genehmigung durch den SNF) in Zusammenarbeit mit der Forschungsassistentin Sabina Ingold die Reflexionen zum Selbstverständnis theologischer Forschung begleiten wird.

Das Projekt geht in zwei Etappen vor, die teilweise miteinander verschränkt sind: Im ersten Projektjahr steht die Verankerung des Projekts innerhalb der Theologischen Fakultät im Vordergrund: Forschende der Fakultät entwickeln kreative Wege der Forschungskommunikation, in deren Rahmen auch die Forschungsevaluation ihren Platz erhält: Was sind die Stärken meines Projekts? Welches Publikum kann ich im universitären Raum und darüber hinaus erreichen? Auf welche Weise kann dies geschehen? etc.

Im zweiten Projektjahr steht der Austausch im größeren Horizont der Wissenschaftsgemeinschaft im Zentrum:

• durch intensiveren Austausch mit anderen Theologischen Fakultäten
• mit verstärktem Einbezug des wissenschaftlichen Nachwuchses
• unter Würdigung der ökumenischen Vielfalt theologischer Reflexionsformen
• durch den Austausch mit anderen Disziplinen der Universität im Bemühen um „best practices“ im Bereich der Forschungskommunikation und -evaluation
• durch eine besondere Aufmerksamkeit für internationale Kontexte, die eine Ausrichtung theologischer Forschung auf eine kommunikative und kontextuelle Theologie fördern helfen.

Projektleiterin:   Prof. Dr. Barbara Hallensleben, Theologische Fakultät der Universität Freiburg  (barbara.hallensleben@unifr.ch)

L’Université de Lausanne a proposé d’adapter et d’implémenter la démarche méthodologique d’analyse détaillée des réseaux de collaboration et de partenariats développée par l’Université de Neuchâtel. Cette implémentation est articulée à la politique de l’Université de Lausanne dont une des valeurs clefs est la réflexivité. Elle a pour but de contribuer à soutenir la réflexion des chercheur·e·s et des composantes de l’université sur leurs propres activités et de tout mettre en œuvre pour évoluer professionnellement.

L’analyse des dynamiques de déploiement de réseaux de collaboration et de partenariats permet au/à la chercheur·e de disposer de visualisations et d’indicateurs rendant bien compte des diverses modalités d’interactions dans lesquels il.elle a investi. Ceci recouvre les collaborations au niveau académique d’ordre national ou international (au sein / entre les unités de recherches, les instituts, les facultés, les Universités), ainsi que les partenariats avec des acteurs extra-académiques locaux ou extra-locaux (secteur public et privé). Ces visualisations soutiennent sa réflexion sur ses propres activités et les évolutions qu’il.elle souhaite mener à bien.

Le projet a permis de mettre à la disposition des chercheur·e·s  un modèle de contenu de CV académique reprennant les principaux indicateurs. Sur cette base, nous avons pu traiter puis analyser des CVs mis à notre disposition par les chercheur·e·s et produire des visualisations au niveau individuel pour 4 types principaux d’indicateurs:

•     communications médias
•     interventions scientifiques (conférences, enseignements, discours, …)
•     formation de la relève
•     réalisations (organisations colloques, expositions …)

Nous avons ensuite pu agréger les données pour avoir une certaine vision globale de ces différentes activités. De manière agrégée, ces visualisations nourrissent la réflexion des composantes de l’université (laboratoires, instituts, facultés, réseau(x) thématique(s), etc.) sur leurs propres activités de manière à les penser, à en dresser un bilan et à affiner ou réorienter leur déploiement. Elles permettent d’explorer ce qui peut être mis en place pour accroître la visibilité de l’activité effective et de ses effets pour les chercheur·e·s, les instances qui les accompagnent et celles qui doivent prendre des décisions (recrutement, nominations). Les visualisations présentent aussi un outil intéressant pour dialoguer avec des instances externes, tels que le Canton, offrant une visibilité notamment à ce qui n’apparaît pas dans les publications et co-signatures.

Les principaux résultats peuvent être trouvés sur le site :

https://www.unil.ch/researcher/fr/home.html

Un rapport détaillé sera publié à la fin du projet et mis à la disposition du public sur le même site.

Ce projet a été conduit sous la responsabilité de Dominique Vinck (Faculté des sciences sociales et politiques), de Dr. Claire Arnold (Direction) et Alexandra Bumbaru (Faculté des sciences sociales et politiques) de l’Université de Lausanne.

Personne de contact: Dr. Claire Arnold, claire.arnold@unil.ch

The goal of this implementation project is to allow a systematic production of significant indicators for the assessment of research and teaching performance at Università della Svizzera italiana through the creation and management of a university-level database.

The fact of relying on integrated, reliable and constantly updated data concerning research and teaching activities of the University is becoming more and more important, especially in the light of the increase in size the institution is experiencing. Whereas most relevant data are already available, a systemization of data sources, methodological consolidation, as well as proper data structuring for the purpose of indicators production still need to be implemented.

Namely, the implementation of such an integrated data system will allow to respond in good time to requests for updated and reliable information serving different aims, such as faculties and institutes self-evaluation reports; strategic planning at the university and faculty level; external communication (data for the USI website and for several international rankings and projects).

The core of the system will be a relational database programmed in MS Access that will contain all relevant data aggregated at the whole university level, as well as at faculties and institutes level. That database will be linked to original data sources that currently exist at the University, namely to the personnel database, the research report database and the publications database. To this aim, some adaptions to those sources will be required.

Data collection and structuring will be aimed at producing a broad palette of indicators covering several different domains: resources available at the university (human resources by category, external funds by type); teaching and research performance; technology transfer. Data will be collected from 2010 on and the system will be constructed so that it will allow longitudinal analysis by tracking evolution over time.

Concerning project implementation, it will be articulated in three different phases.

During the first phase basic choices related to the indicators’ system construction (definition of relevant indicators and of related raw variables; identification of data sources) will be made and the database architecture will be defined. The output of this phase will lead to the realization of a methodological handbook.

In the second phase, data will be collected and organized into the MS Access database. Integration between the new database and already existing data sources will be tested and implemented. In order to test the approach defined in the first phase as well as its technical feasibility, data will be collected first for one baseline year (2014) and one faculty. Data collection and organization into the database will then be extended to all faculties and years from 2010 on.

The third and last phase will concern data quality and validation procedures, as well as the assessment of their suitability for indicators’ production.

Das Umsetzungsprojekt schliesst an die P-3-Initiative „Scientometrics 2.0: Wissenschaftliche Reputation und Vernetzung“ an. Die Initiative basiert auf der Annahme, dass der zunehmende Einsatz digitaler Medien in der Wissenschaftskommunikation neuen Metriken des „Scientific Impact“ Vorschub leistet (sog. „Altmetrics“). Die Kommunikation der Scientific Community in digitalen Medien macht Konversationen, Arbeitsprozesse sowie soziale Strukturen in einem zuvor unbekannten Masse der Beobachtung und Analyse zugänglich. Ausgewertet werden dabei sowohl die Zugriffs- und Nutzungsstatistiken von Veröffentlichungsplattformen wie auch die Vernetzung-, Bewertungs- und Kommentierungsdaten verschiedener Social Media-Plattformen.

Im Rahmen der Initiative wurden verschiedene solcher Indikatoren des „Scientific Impact“ basierend auf der Analyse digitaler Medien erhoben und analysiert. Am Beispiel von etwa 200 Angehörigen der Universität St. Gallen wurden neue und etablierte Masse des „Scientific Impact“ verglichen. Die Aussagekraft neuer Metriken wurde ebenso evaluiert wie der mit ihnen verbundene Erhebungsaufwand. Im Rahmen einer interdisziplinären Kooperation mit dem Forschungsverbund „Science 2.0“ der deutschen Leibniz-Gemeinschaft wurden zudem verschiedene Dienstanbieter für die Erhebung von „Altmetrics“ verglichen.
Das Umsetzungsprojekt „Scientometrics 2.0“ soll die so gewonnenen Erkenntnisse in die Wissenschaftskommunikation und -evaluation Schweizer Universitäten einfliessen lassen. Basierend auf dem Institutional Repository der Universität St. Gallen sollen hierfür in einem ersten Schritt fortlaufend alternative Metriken des Scientific Impacts erhoben und in einem zweiten Schritt, unter anderem basierend auf einer Nutzerbefragung, evaluiert werden. Zum Zweck der Datenerhebung kann auf unterschiedliche Dienstleister, wie etwa Plum Analytics, Altmetric, Webometric Analyst oder Impactstory, zugegriffen werden, die im Laufe des Projekts eine Evaluation durchlaufen. Da das Institutional Repository der Universität St. Gallen auf einer auch anderen Schweizerischen Universitäten eingesetzten Plattform basiert, ist die Transferierbarkeit der gewonnenen Erkenntnisse sichergestellt.

Le projet d’implémentation articule les deux instruments de visualisation cartographique développés à l’UniNE dans le cadre des programmes CUS B-05 et P-3, relatifs respectivement à l’activité de publications et aux projets de recherche, dans une démarche d’évaluation descriptive. Celle-ci vise à rendre visible et à mettre en valeur les multiples apports de l’activité de recherche. Sur le plan des publications, la démarche portera notamment sur les réseaux de co-auteurs, les langues de publications, les lieux d’éditions, les lieux de recherche, ou encore les destinataires. La description des projets de recherche sous l’angle des collaborations et partenariats fait apparaître des critères similaires, comme le réseau des co-requérants et collaborateurs liés à un projet, ou le développement de partenariats avec la Cité.

Sur le plan méthodologique, la démarche sera mise en œuvre à partir des données enregistrées sur le portail « Publications & Recherches », qui recense à la fois les publications et les projets de recherche émanant des membres de l’UniNE. Suivant les paramètres et axes d’analyse retenus, ces données seront complétées par des informations supplémentaires recueillies auprès des unités. A l’aide du logiciel « TouchGraph », des visualisations cartographiques seront élaborées en fonction des variables chaque fois pris en compte. L’implémentation comportera différentes phases qui permettent de tester l’instrument à plusieurs niveaux, à savoir les équipes et unités de recherche, les « maisons » regroupant plusieurs unités ainsi que les pôles de recherche et facultés. A l’issue de l’implémentation, la démarche sera proposée comme service aux chercheurs et unités à l’échelle de l’Université. Selon les principes qui guident les démarches d’évaluation à l’UniNE, le processus d’implémentation sera mené en concertation avec les personnes concernées, sur la base d’un questionnement flexible et modulable. La perspective choisie est interprétative et vise en premier lieu à susciter une réflexion sur les données recueillies, afin d’identifier les perspectives de développement les plus pertinentes.

Un partenariat avec l’Université de Lausanne sera développé dans le cadre de l’implémentation pour élargir l’expérience et favoriser un échange de pratiques.

https://evaluation-de-la-recherche.com

Die in Evaluationsverfahren üblicherweise eingesetzten Kriterien, Indikatoren und Instrumente werden von den Fachangehörigen in den Geistes- und Sozialwissenschaften als wenig oder gar nicht geeignet angesehen. Aus diesem Grunde hat die Schweizerische Universitätskonferenz (SUK) seit 2009 in der Schweiz verschiedene Initiativen gefördert, u.a. auch ein Kooperationsprojekt der Universitäten Zürich und Basel, in welchem die Antragsteller Kriterien für die Evaluation geisteswissenschaftlicher Forschung für die Fächer „Deutsche Literaturwissenschaft“, „Englische Literaturwissenschaft“ und „Kunstgeschichte/-wissenschaft“ entwickelt haben (siehe www.psh.ethz.ch/crus).

Das Hauptergebnis dieses Projekts stellt ein umfassender Kriterienkatalog dar, der in den drei Fächern sowohl national als auch international abgestützt ist (Einbezug aller Professorinnen und Professoren an Schweizer Universitäten und LERU-Universitäten). Das im Projekt gewählte Vorgehen und die daraus resultierenden Befunde stiessen im In- und Ausland auf grosses Interesse (Einladung zu zahlreichen Vorträgen und Workshops durch Universitäten, Ministerien, private Forschungsförderer sowie Fachgesellschaften; siehe www.psh.ethz.ch/crus/publications).

Der Kriterienkatalog wurde bisher aber in keinem Evaluationsverfahren eingesetzt. Die Universität Zürich (UZH) führt deshalb ein Implementationsprojekt durch, in welchem der Kriterienkatalog in der kompetitiven, intramuralen Nachwuchsförderung eingesetzt und nach wissenschaftlichen Kriterien für Bewertungsverfahren überprüft wird.

Das Ziel des Implementationsprojekts ist es, einen empirisch fundierten und praxistauglichen Evaluationsbogen zu entwickeln, der für die Bewertung von Forschungsanträgen von Nachwuchswissenschaftler/-innen in den Geisteswissenschaften eingesetzt werden kann.

Ein solcher Evaluationsbogen soll im Rahmen des sog. „Forschungskredits“, einem Instrument zur Nachwuchsförderung der UZH (siehe www.researchers.uzh.ch/promotion/forschungskredit.html), erarbeitet und erprobt werden. Der Fokus liegt dabei auf geisteswissenschaftlichen Fächern, die an der UZH auf drei Fakultäten verteilt sind (Philosophische Fakultät, PhF; Theologische Fakultät, ThF; Rechtswissenschaftliche Fakultät, RWF).

Das Resultat des Projekts soll ein mehrsprachiger Evaluationsbogen für die Geisteswissenschaften sein, der sich zur Beurteilung von Forschungsgesuchen von Nachwuchsforschenden eignet.

Ansprechpersonen: Prof. Dr. Hans-Dieter Daniel (daniel@gess.ethz.ch), Dr. Michael Ochsner (ochsner@gess.ethz.ch), Sven Hug (sven.hug@gess.ethz.ch).

Ziel des Implementationsprojektes ist es, aufbauend auf Ergebnissen der SUK-Programm-P-3-Initiative „Ressourcen-basiertes Instrument zur Abbildung geisteswissenschaftlicher Forschung am Beispiel der Theologie“ eine Software-Anwendung zu entwickeln, die Forschungsprofile sowie die Qualität der Forschung einzelner Forschender und Forschungseinrichtungen abbildet. Bisherige Software zur Analyse und Visualisierung von Forschungsleistungen stützt sich fast ausschliesslich auf publikations- und zitationsbasierte Daten. Die im Implementationsprojekt „Software-Anwendung zur Analyse und Visualisierung von Forschungsleistungen in den Geistes- und Sozialwissenschaften“ erarbeitete Software-Anwendung soll neben diesen Datenquellen gezielt weitere Datenquellen in die Auswertungen einbeziehen, die zur Sichtbarmachung von Forschungsleistungen in geistes- und sozialwissenschaftlichen Disziplinen geeignet sind. Ausgehend von dem in der oben genannten Initiative erarbeiteten Kriterienset für gute Forschung in der Theologie werden geeignete Indikatoren zur Evaluation von Forschungsleistungen des Faches in seiner Breite sowie passende Visualisierungsformen gewählt. Das heisst, das Implementierungsprojekt ist zunächst eng mit den Ergebnissen der Initiative verknüpft. Die Software soll 2016 auch zu ersten Auswertungen mit Testdaten aus der Theologie dienen. Gleichwohl soll die Software-Anwendung von Anfang an für eine Erweiterung und Anpassung an Spezifika anderer Disziplinen ausgelegt sein. Die Software wird der Öffentlichkeit als open-source-software und kostenfrei bereitgestellt. Nutzer (z.B. Forschungs-einrichtungen und Universitäten) können die Software zur Evaluation und Visualisierung ihrer Forschung, sowohl zur internen Steuerung als auch zur Darstellung der Forschung nach aussen, nutzen. Dabei können sie Einstellungen nach eigenen Bedürfnissen verändern oder die Anwendung gezielt weiterentwickeln. Das Projekt wird an der Universität Luzern durchgeführt.