

#003 · Wenn der Benchmark lügt — mit Artus Krohn-Grimberghe
Dr. Artus Krohn-Grimberghe hat einen medizinischen KI-Benchmark geprüft und festgestellt, dass er vor allem Formelwissen und Rechengenauigkeit misst. Über eigene Messlatten, KI-Projekte, die an unternehmensinternen Hürden scheitern, und die Daten, die Daten, die Daten. Kennengelernt haben wir uns in Paderborn, wo Artus Juniorprofessor war und ich eine Gastvorlesung zu Data Vault hielt. Heute bringt er mit der LYTiQ GmbH KI in Produktion, zuletzt LLM- und RAG-Anwendungen. Angefangen hat alles über Weihnachten mit einem Posting, das aus schlechten medizinischen Benchmark-Ergebnissen ableitete, KI tauge nicht für die Medizin. Das hat ihn so getriggert, dass er sich den MedCalc-Bench genauer angesehen hat. Dabei fand er über 20 Fehler in den Rechner-Implementierungen und zeigte, wie stark sich die Ergebnisse verbessern, wenn die benötigten Formeln mitgeliefert werden. Was daraus für Unternehmen folgt, sagt Artus ganz pragmatisch: einen eigenen Datensatz für die eigenen Probleme bauen und selbst messen, so wie wir es in der BI schon immer gemacht haben. Danach reden wir darüber, warum so viele KI-Projekte bei der Demo stehen bleiben, wie viel Datenmodell eine RAG- oder Agentenanwendung braucht, und über die Überzeugung, die ihm die Praxis ausgetrieben hat: „Für mich als Professor waren es am Anfang immer die Algorithmen … Aber in der Realität sind es halt die Daten, die Daten, die Daten." ── Kapitel ── 00:00 Intro 01:46 Paderborn: Datenmodellierung damals und heute 04:00 Der MedCalc-Bench: Was misst der Benchmark wirklich? 10:56 Echo auf das Audit — und ein Paper über Marsbeben 15:25 Woran Unternehmen ihre KI messen sollten 19:38 Warum KI-Projekte bei der Demo stehen bleiben 22:23 Wie viel Datenmodell eine KI-Anwendung braucht 28:36 Erst die Algorithmen, dann die Daten 32:13 Signature Question: antifragil durch Druck 34:35 Outro ── Erwähnungen & Links ── • Artus Krohn-Grimberghe auf LinkedIn: https://tedamoh.de/xsl8k • LYTiQ GmbH: https://tedamoh.de/84l23 • Paper „MedCalc-Bench Doesn't Measure What You Think": https://tedamoh.de/zbm4m • Video-Version dieser Folge: https://tedamoh.de/ad003 ★ Bewertung bei Apple Podcasts oder Spotify? Hilft mehr, als man denkt. ► Abonnieren & Newsletter: https://podcast.tedamoh.com ► TrueFans: https://truefans.fm/antifragile-data [antifragile data] – der Podcast über Data, AI und die Geschichten dahinter, mit Dirk Lerner (TEDAMOH). Ehrlich, praxisnah und manchmal unbequem. Neue Folgen alle drei Wochen, dienstags. Dirk Lerner ist Berater, Autor und Gründer von TEDAMOH – The Data Modeling Hub. Mehr: https://tedamoh.com #Data #AI #Datenmodellierung #DataVault #DataEngineering #Podcast
- Transcript
