REvaluation Podcast

Episode #40 - Counterfactual Analysis in Evaluation with Jakob Kofler

Promoted as the “gold standard” of evaluation, counterfactual evaluation is on the rise. This is one of the many findings from the new fteval cooperative study jointly conducted by the Austrian Institute for SME Research, Joanneum Research, and WPZ Research. Counterfactual evaluations estimate the effect of a policy intervention by comparing what actually happened with what would have happened without it, typically using a comparable group that did not receive support. They link point A, the intervention, to point B, its outcome. Their appeal is quantification: a single number that makes the effect measurable and gives the findings weight in policy debates. What happens when we ignore what is between A and B? What impact could counterfactual evaluations have? And what wishes do we further have for this method and the evaluation community? In this REvaluation podcast episode, we talk with Jakob Kofler from KMU Forschung Austria (SME Research Austria) about methods, conclusions, and recommendations. Links: The study: Chancen & Grenzen kontrafaktischer Wirkungsanalysen für die österreichische FTI-Politik – eine Situationsanalyse - fteval repository Training in Vienna on 23 November 2026: Trainingsangebot: Kontrafaktische Wirkungsanalysen in österreichischen FTI-Evaluationen - fteval SIP talk with the Austrian Council on counterfactual evaluations on 19 October 2026, in German: https://forwit.at/sip-talk/kausalanalysen-in-der-oesterreichischen-fti-evaluierung/ Related previous podcast episode: Folge #8 - Das AMDC: Für verknüpfte Mikrodaten ziehen wir alle Register - fteval (in German) Subscription Newsletter - fteval (EN) & Newsletter - fteval (DE) Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Foto: Johnny Be Good podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

Folge 39 - Die Evaluierung der FFG-Basisprogramme - diskutiert in der fteval Community

Mit der Evaluierung der Basisprogramme 2026 wurde die zentrale bottom-up Förderung für Innovationen an Unternehmen auf ihre Wirkung geprüft - eines der größten und am längsten bestehenden Instrumente der FTI-Politik in Österreich. Bei einer gemeinsamen Veranstaltung mit dem BMIMI wurde in der fteval-Community nicht nur der methodische Zugang mit Hilfe von AMDC-Mikrodaten, sondern auch die Befunde dieser Evaluierung und deren Implikationen für das FTI-System in Österreich diskutiert. Gemeinsam mit Cornelia Reiter vom AIT und Tobias Herzog vom AMDC rekapitulieren wir in dieser Podcastfolge die Diskussionen der Veranstaltung und bieten eine kurze Zusammenfassung, für alle die während der Urlaubszeit nicht live dabei sein konnten. Links: FFG-Basisprogramm Evaluationsbericht 2026 Diskussionsveranstaltung am 17. August 2026 Foliensatz zur Veranstaltung AIT AMDC Nächstes AMDC-Nutzer:innentreffen Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Foto: Paloeka de Koning podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

Folge 38 - "Die Verwaltung in Österreich beschäftigt sich nicht gerne (wissenschaftlich) mit sich selbst", meint Mario Steyer

Mario Steyer lehrt und forscht an der Hochschule Campus Wien (HCW) im Studiengang Public Management, wo er auch Kurse in Evaluation anbietet. Für ihn ist Evaluation ein ideales Feld für angewandte Forschung: praxisnah, methodisch anspruchsvoll und gesellschaftlich relevant. Im Gespräch diskutieren wir, warum es im deutschsprachigen Raum nach wie vor keine eigenständige Ausbildung in Evaluation gibt – die meisten Evaluatorinnen und Evaluatoren finden eher zufällig, im Laufe ihrer Karriere, zu diesem Handwerk. Was Mario kurzerhand „Saarbrücken" nennt, ist der historische Masterstudiengang in Evaluation der Universität des Saarlandes – lange Zeit eine der wenigen strukturierten Ausbildungsmöglichkeiten im DACH-Raum. Evaluation ist dabei keineswegs ein Thema, das nur die öffentliche Verwaltung betrifft – aber sie soll als Vorbild für reflexive und verantwortungsvolle Maßnahmengestaltung dienen. Dass sie das bislang nur bedingt tut, ist eine der zentralen Spannungen, die wir in dieser Folge beleuchten. Außerdem sprechen wir über die Kompetenzen, die es für gute Evaluierungsarbeit braucht: einen differenzierten Umgang mit KI, eine solide methodische Ausbildung in empirischer Sozialforschung – und die oft unterschätzten Softskills, um zwischen Stakeholdern zu vermitteln und Ergebnisse klar zu kommunizieren. Schließlich teilt Mario Einblicke aus seiner eigenen Forschung: Er beschäftigt sich konkret mit der Reflexion der Lehrveranstaltungsevaluierung an der HCW – ein Beispiel dafür, wie Evaluation auch im Hochschulkontext als Instrument der Qualitätsentwicklung eingesetzt werden kann. Das provokante Zitat im Titel stammt nicht von unserem Gast selbst, sondern aus einer Publikation des Politikwissenschaftlers Peter Biegelbauer – und es dient als roter Faden dieser Episode. Links zur Folge: Publikationsdatenbank der Hochschule Campus Wien Marios Publikation zur Lehrveranstaltungsevaluierung Publikation von Peter Biegelbauer zur wissenschaftlichen Reflexion von Verwaltungspraxis Historischer Master in Evaluation – Universität des Saarlandes Eval-Training.org – Gemeinsame Trainingsplattform von DeGEval und SEVAL Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Foto: Hübl (HCW) podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

Folge 37 - Was wissen wir eigentlich über das FTI-System in Österreich?

Im aktuellen Regierungsprogramm ist eine Systemevaluation des österreichischen FTI-Systems vorgesehen – ein Anlass für die fteval-Community, gemeinsam zu reflektieren, was wir aus Studien und Evaluationen eigentlich bereits über das FTI-System wissen. Der Rat für Forschung, Wissenschaft, Innovation und Technologieentwicklung (FORWIT) und die Österreichische Plattform für Forschungs- und Technologiepolitikevaluierung (fteval) luden daher am 27. März 2026 die Evaluierungscommunity zu einer gemeinsamen Diskussionsveranstaltung „Zwischenbilanz: Was wissen wir eigentlich über das FTI-System?“, um auf Basis zweier rezenter Arbeiten zu überlegen, welche systemischen Erkenntnisse sich ableiten lassen und wo weiterer Klärungsbedarf besteht. Cornelia Reiter (AIT) und Thomas König (FORWIT) präsentierten die systembezogenen Erkenntnisse aus der Zwischenevaluierung der FTI-Strategie 2030 sowie der Analyse des Hochschulsystems. Brigitte Ecker (WPZ Research) und Jürgen Janger (WIFO) ergänzten mit Hintergrundinformationen und boten Impulse für die Plenumsdiskussion. In dieser Podcastfolge fangen die Kolleg:innen ihre wichtigsten Take-aways dieser Diskussion ein. Links: Präsentationsfolien zur Halbzeitevaluierung der FTI-Strategie 2030, Cornelia Reiter [PDF] Evaluierung der FTI-Strategie 2030 zur Hälfte der Laufzeit [PDF] Präsentationsfolien zur Hochschulanalyse, Thomas König [PDF] Analyse des Hochschulsystems in Österreich [Publikation: Mitte 2026] Präsentationsfolien zum Diskussionsimpuls von Jürgen Janger [PDF] Präsentationsfolien zum Diskussionsimpuls von Brigitte Ecker [PDF] Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Foto: Paloeka de Koning podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

Folge 36 - "Kunst ist klüger, als man denkt" - kunstbasierte Forschung und Evaluation an der Angewandten

Helga Aichmaier und Alexander Damianisch erzählen in dieser Folge, wie man künstlerische Forschung fördern und evaluieren kann. Sie machen uns verständlich, was der Mehrwert und die Wirkmacht einer Forschung ist, die ihre Prozesse und Ergebnisse jenseits einer schriftlichen Denkkultur erfahrbar machen kann, um mit allen Sinnen "der Rätselhaftigkeit der Welt zu huldigen". Auf die eigene Praxis vertrauen, Stärken stärken, starke Erzählungen transportieren und dabei mit der Gesellschaft zu interagieren und präsent zu sein sind die Empfehlungen, die die beiden Wissenschaftler:innen, die mit künstlerischen Mitteln forschen möchten, mitgeben. Links: Angewandte Interdisciplinary Lab (AIL) - Platform for art, science and artistic research Ausstellung der Angewandten "UNDERSTANDING – ART & RESEARCH" (2019) - Booklet [PDF] Support Kunst und Forschung an der Universität für angewandte Kunst Wien Programm zur Entwicklung und Erschließung der Künste des Österreichischen Wissenschaftsfonds (FWF) Evaluierung des PEEK Programms des FWF (2022) Statement des FWF zum Evaluierungsbericht Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Foto: Marianna Mondelos, Universität für angewandte Kunst Wien podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 35 - "Critical Friends" und wie man sie findet: Ein Erfahrungsaustausch zu Panelevaluierung

Am 4. November 2025 luden der Wiener Wissenschafts-, Forschungs- und Technologiefonds (WWTF) und die Plattform fteval zu einer Veranstaltung über Panelevaluierung, um die Erfahrungen in der Community in einen Austausch zu bringen. Für diese Podcastfolge haben wir die Diskussion für unsere Zuhörenden eingefangen: Magdalena Wicher und Michael Strassnig vom WWTF fassen mit Katharina Warta, Leiterin des österreichischen Büros von Technopolis Group, die wichtigsten Punkte zusammen und kommen am Ende sogar noch in eine richtige Kontroverse! Für die Beteiligten ist klar, was die Vorteile von Panels sind, weil man beispielsweise rasch die kritischen Punkte zum Evaluationsobjekt identifiziert werden können und die Rolle der "Critical Friends" sehr wertvoll sein kann. Gleichzeitig ist es herausfordernd und ressourcenintensiv, ein ausgewogenes und hochkarätiges Panels zu etablieren und Ownership über den Evaluationsgegenstand und Vertrauen zu generieren. Die Bedeutung von persönlichen Treffen wird besonders herausgestrichen. Katharina teilt ihre Erfahrung aus der Gruppendynamik und erklärt anhand des Johari-Fensters, wie man blinde Flecken, Unbekanntes und Geheimes aufdecken kann. Links: Foliensatz des WWTF zu Panelevaluierung mit zwei Fallbeispielen Fallbeispiele von Technopolis Group: Evaluation Methodology der Evaluation der wissenschaftlichen Institutionen Lettlands: https://www.izm.gov.lv/lv/media/29432/download?attachment Presentation des Evaluationsberichts für Universität Luxembourg: https://www.chd.lu/fr/meeting/13645 (ab Minute 5:50) Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Foto: Isabella Wagner podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

Episode #33 - Anastasia Lijadi about IIASA as a "scientific powerhouse"

Anastasia Lijadi is Executive Assistant to the Deputy Director General and Gender Equality and DEI Officer at the International Institute for Applied Systems Analysis (IIASA). We hear how IIASA's international set-up allows research perspectives at a global systemic scale to tackle our time's most pressing problems. More information about IIASA's Gender Equality Plan can be found here: https://iiasa.ac.at/about-iiasa/institute/equality-diversity-and-inclusion/iiasa-gender-equality-plan-gep Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Photo: IIASA podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

Episode #34 - "Crafting career trajectories that are attractive for excellent people": Markus Wanko at XISTA

Markus Wanko is the founding force behind the XISTA innovation ecosystem, empowering science innovators. Today, Markus leads XISTA’s venture fund (Managing Partner), science park (MD), and tech transfer arm (MD). With his work he helps ISTAs research to develop it's full societal potential. In this interview we learn how start up trainings must be sector specific to be most effective, where the venture capital for the science start-ups typically comes from and what Markus recommends to the evaluation community: To take evaluation seriously! Links: ISTA: https://ista.ac.at/en/home/ XISTA: https://xista.com/ XISTA science ventures: https://xista.vc XISTA innovation: https://xista.io/ XISTA science park: https://xista-park.com/ Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Photo: The Gentlemen Creatives podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

Episode #32: Let's play cards and co-create a theory of change within an hour!

Erika Hajdu and Stefan de Jong of the Evaluating Societal Impact team at the Erasmus University Rotterdam developed a card game to structure discussions around complex impact pathways, and to enable teams to draft early versions of their Theory of Change in a more interesting, time-efficient way. They presented their approach at the REvaluation Conference, and we thought this tool might be useful for the fteval community. In this interview we learn how the game works and how it can be helpful for different settings. Links: Journey of Progress card set | Erasmus University Rotterdam Paper publication as part of the Conference Proceedings This episode was made possible with the friendly support of the Austrian Ministry for Women, Science and Research. Thank you for this cooperation! Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Photo: Erika Hajdu, Erasmus University Rotterdam podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

Folge 31 - Innovation messen, Chancen erkennen: WPZ Research über Österreich im European Innovation Scoreboard

Diesmal waren wir zu Gast bei WPZ Research und konnten uns dort einiges über die jüngste Ausgabe des European Innovation Scoreboards (EIS) und Österreichs Performance darin erfahren. Brigitte Ecker und Sascha Sardadvar erklärten uns geduldig, was uns der EIS sagen kann und was nicht und wie es sonst so um die Zukunftsfähigkeit der österreichischen Forschungslandschaft bestellt ist. WPZ Research ist als kleines unabhängiges Forschungsinstitut auch deshalb besonders, weil es zur DNA gehört, dass alle Forschenden gleichzeitig auch in der Lehre aktiv sind. Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Frauen, Wissenschaft und Forschung (BMFWF) ermöglicht. Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Foto: Isabella Wagner podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

REvaluation Special #7: What skills does the next generation of evaluators need?

There is a generation shift in the community going on and in the dynamic landscape of research and innovation, the perspectives of the next generation are crucial for shaping future policies and practices. In this panel we tried to bring together younger researchers and evaluators and senior counterparts to discuss the challenge, demands and future directions of innovation research and policy evaluation. Panellists Florian Bayer, Department of Science and Technology Studies, University of Vienna Luyu Du, Center for Organization Research and Design (CORD), Arizona State University, United States Nino Gogadze, CWTS, Leiden University Jakob Kofler, Austrian Institute for SME Research Moderators Philippe Larédo & Julia Melkers Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Photo: Martin Jordan Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research, the whole fteval Community. podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

REvaluation Special #6: Are we all metascientists now, James Wilsdon?

Motivated by evidence based scientists doing gut-based science policy, and by science policy maker acknowleding the faults of the system when they leave it rather than when they can still do something about it, James Wilsdon of RoRI turned his attention towards meta science in this REvaluation 2024 keynote. Meta Science, Meta Research, Science of Science, Research of Research are all the same, and not new, but new things are going on. Applying robust methods to understanding, analysing and improving the science system! He shows that he is not the only one, but more and more RoR is done out of the various discplines and sub-disciplines themselves, in particular, because there is data to do so, and that adds specific domain knowledge to the pool of RoR bottom-up. Top-down, from science funders, are at least in the UK again testing their funding in large-scale experimental settings; and are opening their funding data for the ROR community. Lastly, new institutions contribute to the debate, in Carlifornia funded by the Tech community, trying to "practice meta science". Why does this happen? More investment, slow down of disruption and radical change, worries about too much reporting and to little impact, on-going crisis of replication, and rapdily changing landscape of scolar communication (open science, open data), pressure for excellence and AI and research funding. MetaScience is both a contribution to incremental change and a source for radical, systematic change. Concluding, Wilsdon argues for five priorities to go forward: more and better experimentation for evaluation (e.g. applicants reviewing other applicants, makes it easier to find reviewers, and to speed up the process); investing in infrastructures for doing MetaScience at scale and long-term (e.g. the publish-curate-review-platform MetaROR); Foster cross sector alliances (e.g. MetaScience Alliance); with more global conversations beyond western countries; and demonstrate the worth of MetaScience! Links: RoRI-Research on Research Institute: https://researchonresearch.org/ Metascience Conference: https://metascience.info/ James' presentation slides Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Photo: Martin Jordan Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research and the whole fteval Community. podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

REvaluation Special #5: How to fund transdisciplinarity?

There is momentum in the research community with regard to trandisciplinary research (TDR) and research funding, because societal transformation necessitates more complex solutions; but at the same time, the notion that research happens more and more within disciplines, and not across disciplines or in a transdisciplinary way. The panel discusses challenges, but also opportunities TDR provides and tackles questions and opportunities on reasons to fund TDR and how to achieve impact, and on related challenges. The panel touches on questions like how new is the approach, what can be done to support it further and how to provide contiunity and manage knowledge within the research system. The panelists were Christian Pohl, ETH Zürich, Co-Director Transdisciplinarity Lab Helen Buckley Woods, University College London, Research on Research Institute Marianne Penker, BOKU University, Academy of Science Moderation: Petra Biberhofer, Austrian Science Fund Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Photo: Martin Jordan Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research, the whole fteval Community. podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

REvaluation Special #4: How do you measure impact at your ministry, Henriette Spyra?

Henriette Spyra explains how the back then Austrian Federal Ministry for Climate Action implements a transformative Innovation Policy since 2021. RTI is one, but not the only one, policy that contributes to transformative change. Climate neutrality, competitiveness and sovereignty as well as resilience, security and well-being need nowadays a broad innovation approach and system view. The Ministry redesigned and focusses its thematic priorities, introduced new instruments and broadened its innovation community. A new approach towards monitoring, evaluation and learning was key. Examples will be presented on (1) what new approaches and elements have been introduced to better monitor and evaluate the entire portfolio of RTI activities and its interlinkages and (2) how especially the contribution of RTI towards green transition is monitored and evaluated. The discussion was moderated by Elke Dall. Links: Federal Ministry of Austria - Innovation, Mobility and Infrastructure (BMIMI): https://www.bmimi.gv.at/en.html Henriette Spyra on Linkedin Henriette's presentation slides Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Photo: Martin Jordan Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research, the whole fteval Community. podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

REvaluation Special #3: Peer Review in Transition

Peer review is a central instrument for the self-governance of the scientific community and for legitimizing e.g. funding decisions made towards both scolars and society. However, it is intransparent and time-consuming, especially so because more and more publications are produced. Therefore, the need to increase its quality and reliability was often recognized in the past years. Today, additional challenges have emerged such as generative AI, the occurance of predatory journals, paper/reviewer mills, etc. Nevertheless, peer review will most likely remain important for the foreseeable future, exemplified also by CoARA. On the REvaluation conference 2024, the editorial board of the academic journal Research Evaluation organised a panel discussion on this topic. The panel focusses on two main questions: How can peer review address the challenges posed by generative AI tools like Chat GPT? How should the relationships between peer review and bibliometrics be reviewed under the new CoARA agreement for open science? The panelists were Jakob Edler, Executive Director of the Fraunhofer Institute for Systems and Innovation Research ISI-Karlsruhe - DE & Prof. of Manchester University Grit Laudel, Research Associate at TU Technical University of Berlin-DE Nicholas Vonortas, Associate Dean for Research Initiatives - GW Elliott School of International Affairs Washington DC-US, Co-Editor Science and Public Policy) The panel was chaired by Emanuela Reale (IRCrES CNR-Italy). Further contributions are from Julia Melkers (Center for Organization Research & Design, School of Public Affairs, Arizona State University) and Nicolas Robinson-Garcia (Department of Information and Media Studies, University of Granada). Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Photo: Martin Jordan Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research, the whole fteval Community. podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

REvaluation Special #2: Does AI really save work in evaluation, Linda Raftree?

Interest in artificial intelligence (AI) has been growing among the monitoring, evaluation, research and learning (MERL) community over the past decade. Yet AI adoption has been hampered by lack of data science capacities, low trust in AI, ethical concerns, affordability, absence of applicable use cases, and multiple other barriers. The public release of mainstream Generative AI (GenAI) applications, beginning with ChatGPT in late 2022, changed the game. GenAI and natural language processing (NLP) tools are now more accessible. For MERL Professionals, the hope is that they might support program delivery, improve efficiencies, and help us to find meaning in large troves of qualitative data. At the same time, the untested nature of emerging AI — especially in low resource contexts and fragile environments. The potential harms due to bias, low levels of reliability and validity, lack of accountability, and negative wider societal impacts such as job loss and the environmental costs of data processing make the use of GenAI an ethically fraught exercise. The MERL community is varied in its attitudes toward GenAI. Some are rushing to embrace and adopt it, at times uncritically. Others are avoiding GenAI altogether, perhaps out of fear or disinterest, but also because of real concerns about the practical utility and the bigger issues with AI ethics. At this talk Linda Raftree elaborates, with real world examples, on how and where GenAI is being used in the MERL space. She also examines how and why the wider AI boom is affecting our societies and our planet to spur us to think critically about AI in our work and in the world and to re-examine the role of Evaluators as users and assessors of AI. Links: The MERL Tech Initiative: https://merltech.org/ Linda's presentation slides Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Photo: Martin Jordan Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research and the whole fteval Community. podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

REvaluation Special #1: Can we just have more causal methods in the evaluation of innovation and research policies?

Whether it is business innovation or basic research, new quantitative methods or new micro-level and register data open up opportunities to investigate the relationships between policies and their intended effects. The aim of the panel is to facilitate an exchange on methods and data for causal evaluation in various innovation and research policies. Which opportunities can we identify, which challenges remain for an increased use of these methodological approaches in evaluations in the medium and long term? Panellists Reinhilde Veugelers, KU Leuven Professor at the Department of Management, Strategy and Innovation, Senior fellow at Bruegel, CEPR Research Fellow, member of the Royal Flemish Academy of Belgium for Sciences and of the Academia Europeana Guido Bünstorf, University of Kassel Professor and Head of Economic Policy, Innovation and Entrepreneurship-Group and member of the Commission of Experts for Research and Innovation (EFI) Regina Fuchs, Statistics Austria Director for Social Statistics and Austrian Micro Data Center (AMDC) Clara Calero-Medina, Leiden University Senior Researcher and Director of Innovation and Impact at the Centre for Science and Technology Studies (CWTS) Moderator Thomas König, Managing Director at FORWIT - Austrian Council for Sciences, Technology, and Innovation Panel Organisers Patrick Svensson-Jajko, BMBWF - Austrian Federal Ministry of Education, Science and Research Agnes Kügler, WIFO - Austrian Institute of Economic Research Jürgen Janger, WIFO - Austrian Institute of Economic Research Links: Keynote speech by Paul Hünermund about causality at the predecessor REvaluation Conference in 2022 This panel and thte podcast episode were inspired and supported by the Ministry of Women, Science and Research. Thank you! Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Photo: Martin Jordan Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research, the whole fteval Community. podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

Folge 22 - Brigitte Tiefenthaler evaluiert Österreichs Beitrag zum "EU Binnenmarkt für Forschung"

Brigitte Tiefenthaler hat schon an ganz unterschiedlichen Stationen im FTI-System gearbeitet, seit 2007 ist sie Beraterin bei Technopolis in Wien. Sie beschäftigt sich besonders gerne mit Fragen der Transformation und der Partizipation. So kommt es nicht ungelegen, dass der Österreichische Aktionsplan für den Europäischen Forschungsraum (ERA-NAP) 2022-2025 ebenfalls mit Hilfe von Konsultationen entstanden ist. Wie man so einen Aktionsplan evaluiert, erfahren wir in dieser Podcastfolge. Wer Näheres zur Hochschulkonferenz erfahren möchte, wird an dieser Adresse fündig: https://www.bmbwf.gv.at/Themen/HS-Uni/Hochschulgremien/HSK.html Informationen zur ERA Policy Agenda 2022-2024 gibt es hier: https://era.gv.at/era/era-policy-agenda/ Und zuletzt Mehr Information zu ERA, auch zur Historie und zu den relevanten Dokumenten: https://era.gv.at/era/ Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht. Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Foto: Brigitte Tiefenthaler podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

Folge 21 - Evaluierung auf lokaler, nationaler und europäischer Ebene: im Gespräch mit Angelika Sauer-Malin

Angelika Sauer-Malin ist Forscherin und Evaluatorin im Bereich POLICIES bei Joanneum Research in Graz. In dieser Podcastfolge erzählt sie über ihre Arbeit als Evaluator:in auf lokaler, nationaler und europäischer Ebene und was sie damit bisher bewirken konnte. Wir lernen, welche Skills Evaluator:innen mitbringen müssen, wie man eine anstatt einer "Beurteilungs-" eine Lernatmosphäre schaffen kann und womit sich in ihre Abteilung sonst so beschäftigt. Für die Plattform fteval wünscht sie sich ein Mentoringprogramm für Nachwuchsevaluator:innen - eine sehr interessante Idee, die wir auf jeden Fall evaluieren werden! :) Vielen Dank für das nette Gespräch! Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht. Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Foto: JOANNEUM RESEARCH/Bernhard Bergmann podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters

Folge 20 - Qualität auf die grüne Wiese planen: Die Neugründung der IT:U

Für diese Folge haben Tobias und Isabella die neu gegründete IT:U in Linz besucht und Stefanie Lietze und Gerd Krizek gefragt, wie sie ihr Qualitätssicherungssytem komplett von Anfang an aufbauen. Wir lernen, dass die "Digitaluni" sehr wohl analoge Lehr-/Lernlabore betreibt, wie die Kriterien Interdisziplinarität, Digitalisierung und Transformation gelebt und beforscht werden und so "21st Century Skills" vermittelt werden sollen. Link zur IT:U - interdisciplinary transformation university austria: https://it-u.at/ Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht. Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Foto: Michaela Lamplmayr podcast(at)fteval.at - @fteval.bsky.social - fteval.at

• Chapters