10 Gedanken zu „Die Geschichte aller möglicher Wissenschaften muss neu geschrieben werden“
HDMI
Lustig, wie Holgi sich am Anfang drüber lustig macht, dass er sich ja auch “Wissenschaftsjournalist” nennen dürfe, wenn das war er seit Jahren hier und anderswo macht (Resonator, Wrint Wissenschaft, Erde&Umwelt, und zahlreiche Folgen hier und da) doch zweifelsohne “Wissenschaftsjournalismus” ist.
Den Abschnitt zu LLMs finde ich erstaunlich. Eigentlich haben Holgi und vor allem Florian doch einen wissenschaftlichen Hintergrund und sollten mit Quellenarbeit vertraut sein. Aber die Kritik an LLMs kommt über das „Da kann man sich nicht 100% drauf verlassen, dass alles wahr ist!111“ kaum heraus, was schon zu frühen Wikipedia-Zeiten ein Fehlschluss war. Genauso wie die reflexhafte Ablehnung des Werkzeugs aufgrund dieser Einschätzung.
Man sollte doch mittlerweile wissen, dass man grundsätzlich _keiner_ Quelle blind vertrauen darf, und dass es die reine, immer gültige Wahrheit ohnehin nicht gibt.
LLMs funktionieren mittlerweile ganz gut, wie ein menschlicher Assistent. Nicht mehr und nicht weniger. Man kann ihnen Aufgaben geben, und die Antworten werden dabei mehr oder weniger hilfreich sein. Wie bei einem menschlichen Assistenten kommt die Qualität stark darauf an, was man fragt, wie man es fragt, und welche Quellen dieser Assistent verwendet.
LLM sind keine „Quelle“. LLM produzieren Text basierend auf Wahrscheinlichkeiten.
Es gibt inzwischen eine Menge Forschung, dass bei LLM der Fehler immer inherent ist. Und je mehr Schritte bei Generierung der Antwort benötigt werden, desto größer ist die Fehlerwahrscheinlichkeit.
Bei den großen LLM-Anbietern kommt hinzu, dass es außer den Modellen, weitere Schritte gibt, welche die Antworten „redaktieren“, d.h. unerwünschte Antworten aussortieren. Das kann man positiv sehen, z.B. dass so ein Teil der fehlerhaften Antworten schon mal erkannt wird, bevor sie dem Nutzer präsentiert werden. Das kann man aber auch negativ sehen, dass eigentlich richtige Antworten aufgrund des Bias des Betreibers aussortiert werden.
Bei sonstigen Quellen braucht man mehr Kontext der Quelle und es ist nicht einfach mit „dass man grundsätzlich _keiner_ Quelle blind vertrauen darf“ getan. Bei Messungen kann man Messungen jederzeit wiederholen weil diese in der Regel unabhängig von vorherigen Messungen sind und man kennt den Genauigkeitsbereich der Messinstrumente. D.h. hier kann man Vertrauen tatsächlich quantifizieren und diese wird genauer, je mehr Daten man erhebt, da man Verfahren kennt, die bekannte Biase zumindest zum Teil korrigieren, oder die Größe des Fehlers einschätzen können.
Das geht beides bei LLM nicht. Zum Einen weil jede Antwort von vorherigen Fragen und Antworten abhängt und weil die Fehlerrate nicht konstant ist, sondern mit der Zeit zunimmt.
Insofern ist das Unbehagen, eine LLM für die Arbeit zu nutzen nachvollziehbar, insbesondere, wenn es bei der Arbeit auf Genauigkeit, sprich kontrollierbare Abwesenheit von Fehlern, ankommt.
Mit ein bisschen Recherche könnte man übrigens im Internet haufenweise Anekdoten über die ganzen LLM fails finden, die Zustande kommen, weil die Nutzer gar nicht einschätzen könnten, ob das was die LLM herbei halluziniert, wahr ist oder nicht.
Meine neue Lieblingsanekdote: Ein LLM sollte eine E-Mail an einen Nutzer senden. Weil der gesuchte Nutzer nicht im Adressbuch war, hat das LLM einen anderen Nutzer umbenannt, um die E-Mail versenden zu können. Problem kreativ gelöst.
Korrektur zur Aussage mit dem „billigen“ Rausch nach der Blutspende.
Dies ist leider eine falsche Legende. Leider muss ich somit ein Weltbild zerstören
Alkoholgenuss direkt im Anschluss hat keinerlei besonderen Effekt auf das Empfinden gegenüber den anderen Zeiten.
medizinischer Hintergrund:
Alkohol wird auf die gesamte Körperflüssigkeit verteilt. Diese ist fast 2/3 der gesamten Körpermasse
Bei Blutspende wird nun 500ml Flüssigkeit aus dem Blutkreislauf entnommen: diese Flüssigkeitsmnege wird innerhalb Minuten durch Körperflüssigkeit ausgeglichen.
Im gesamten Körper fehlt dann also von den zuvor grob 50ltr nun ein halber Liter.
Bei der Spende sollte sowieso eine Mindestmenge Flüssigkeit zugeführt werden (trinken)
rechtlicher Hintergrund:
Alkoholkontrolle wird über Atemalkohol und bei Bedarf über Blutalkohol gemessen. Das klappt deswegen, weil die Konzentration im Blut identisch und in der Atemluft vergleichbar wie im restlichen Körper ist.
Berechnung: Annahme Mensch 80kg
demnach Körperflüssigkeit etwa 2/3 -> 50kg (50ltr)
1 Bier (1ltr) enthält Alkohol etwa 5Prozent: 0,05ltr
demnach Alkoholkonzentration: 0,05ltr/50ltr -> 0,001
1Promille (ohne den Abbau, also das Bier auf Ex)
nach der Spende (ohne Trinken)
0,05ltr/49,5ltr –>0,00101
1Promille
So ist beim Stammtisch direkt am Abend nach der Spende kein Unterschied der alkoholkonzentration zu den sonstigen Tagen.
Und ja: habe das im Selbstversuch natürlich in der Vergangenheit extra für die Allgemeinheit beim Stammtisch getestet.
Als Mathematiker habe ich mich sehr über den Diskurs zu den Fundamenten der Mathematik gefreut, der diese Folge eingeläutet hat. Insgesamt fand ich das alles auch inhaltlich ganz gut, aber so ein, zwei Dinge kann ich nicht unkorrigiert stehen lassen:
1. Die fundamentalen Grundaxiome moderner Mathematik werden zusammengefasst in der Zermano-Fraenkel-Mengenlehre mit dem Auswahlaxiom (ZFC) (und wenn hier einer das Auswahlaxiom nicht akzeptiert, come on, fight me!). Die Peano-Axiome formalisieren die grundlegenden Rechenoperationen, die ZFC die Mengenlehre. ZFC enthält die Peano-Aritmethik bereits, und ist wesentlich mächtiger (das ist nicht offensichtlich).
2. Peano-Arithmethik ist keine Prädikatenlogik, sie wird lediglich mit Prädikatenlogik formuliert (aber vielleicht hab ich mich da auch verhört).
3. Diese Dinge wurden zumindest bei mir in den ersten Semestern Mathematikvorlesungen behandelt, abseits der Logik, obwohl in den spezalisierten Logik-Vorlesungen die ganze Prädikatenlogik etc. dann nochmal genauer untersucht wurde.
4. Ihr habt leider auf eine Erwähnung von Hilberts Grundlagenprogramm verzichtet, deswegen: https://de.wikipedia.org/wiki/Hilbertprogramm
Generell hat es mich aber wirklich sehr gefreut, dass mal über Mathematik geredet wurde, und nicht, wie sonst so oft, über das bloße Rechnen, denn Rechnen hat mit Mathematik so viel zu tun wie Erbe mit Sperber. Generell wissen viel zu wenige Leute, was Mathematik eigentlich ist und warum sie die einzige Wissenschaft ist, die tatsächliche Beweise ermöglicht.
Also das mit den gezeichneten Blumen lässt sich ziemlich einfach mit einem Zirkel erklären. Das kann auch ein «Stift» an einer Schnur oder an einem Stock sein. Mit einem Zirkel und einem Lineal lässt sich ein Kreis sehr einfach in 4, 8, 16, 32, 64 etc. aufteilen. Noch einfacher wäre nur 6, 12, 24, 48, 96, etc.
Hab mich sehr gewundert, dass das nicht erwähnt wurde.
Auch zum Thema «das Universum ist Mathematik» passt dies. Wenn man Geometrie als Mathematik ansieht. Es klingt sehr esoterisch, aber beschäftigt euch mal mit «Heiliger Geometrie»/«Sacred Geometry». Ich finde es fasznierend, zumindest den Nicht-Esoterischen teil davon.
Mathematik:
Das Abzählen von Strichen (Strich als einziges Symbol) ist doch schon Mathematik. Das dazugehörige Zahlensystem wird „Unärsystem“ genannt. Es ist aber natürlich nicht so Leistungsstark, wie Zahlensysteme, die z. B. eine Null enthalten, ein Stellenwertsystem haben oder gar logarithmisch aufgebaut sind. Das Unärsystem wird oft im ersten Semester der Informatik bei der Vorstellung der Turing-Maschine vorgestellt, weil man damit besonders einfach deren Fuktionsweise bei z. B. der Addition erklären kann.
Sprach-KI:
Eure Sprach-KI ist zu geschwätzig oder speichelleckerisch? Dann habe ich hier die Lösung: Metaprompts! Setzt bei der nächsten Konversation einfach einen solchen als erstes in den Text. Oft wird auch von den Bezahldiensten für KIs ein spezielles Eingabefeld dafür angeboten – es hat aber die gleiche Wirkung.
Die Angaben sind fast selbsterklärend: „echo:off“ verhindert, dass Fragen in der Antwort wiederholt werden, „eli5“ bedeutet „explain like I’m 5 years old“, „lang:de“ lässt die KI in der gewünschten Sprache (hier deutsch) antworten usw. usf. Fragt eure KI am besten selbst, welche Metaprompts es gibt und sie versteht. Die Klammern „ { } “ und Trennzeichen „ ; “ sind austauschbar „()[]{},;.LEERZEICHEN“. Ihr könnt euch auch selber welche ausdenken {SprecheWieHolgerKlein: 0.7}. Die hochkomplexen LLMs verstehen auch das. Das vierte Bsp. oben lässt die KI ohne Zügel im Wahn davongallopieren.
Etwas her, aber kleine Ergänzung: Dies Kurznotationen für Metaprompts können je nach Sprachmodell (Qwen, Claude, Gemini, Mistral, DeepSeek, Kimi, GLM, GPT, etc.) uneindeutig interpretiert werden. Deshalb einfach bei der LLM slebst nachfragen, ob sie „schmecken“. Dann kann man diese gemeinsam verbessern. Kurze Sätze sind oft eindeutiger.
Oft wird einem nach (kostenloser) Anmeldung bei einem LLM-Anbieter die Möglichkeit geboten s. g. Ordner/Projekte einzurichten. Jedes Projekt kann eigene Zielrichtungen vorgeimpft bekommen – Metaprompts – , die man nicht jedesmal neu schreiben muss.
Beispiel:
– Projekt: »Die Kanzlei«
– Metaprompt: »{lang:de; echo:off; reset:yes; noNonsense:on; honesty:high};
{Antworte auf Deutsch, direkt und ohne Wiederholung meiner Frage. Verzichte auf Füllsätze. Weise auf Unsicherheiten oder veraltete Informationen hin, insbesondere bei aktuellem Rechtsstand – recherchiere bei Bedarf. Du unterstützt mich als Experte für deutsches Recht bei der Erstellung von Schriftstücken. Dein Fokus liegt auf materieller Rechtslage, Verfahrensrecht und rechtlicher Argumentation. Du weist aktiv darauf hin, wenn ein Sachverhalt anwaltliche Prüfung erfordert.}«
Ansonsten, funktionieren KI-Sprachmodelle am Besten als Sachverhaltsabgleicher mit über-über-über-überdurchschnittlich großem Kontext und eher nicht wie Wissensdatenbanken, die man abfragt.
Lustig, wie Holgi sich am Anfang drüber lustig macht, dass er sich ja auch “Wissenschaftsjournalist” nennen dürfe, wenn das war er seit Jahren hier und anderswo macht (Resonator, Wrint Wissenschaft, Erde&Umwelt, und zahlreiche Folgen hier und da) doch zweifelsohne “Wissenschaftsjournalismus” ist.
Den Abschnitt zu LLMs finde ich erstaunlich. Eigentlich haben Holgi und vor allem Florian doch einen wissenschaftlichen Hintergrund und sollten mit Quellenarbeit vertraut sein. Aber die Kritik an LLMs kommt über das „Da kann man sich nicht 100% drauf verlassen, dass alles wahr ist!111“ kaum heraus, was schon zu frühen Wikipedia-Zeiten ein Fehlschluss war. Genauso wie die reflexhafte Ablehnung des Werkzeugs aufgrund dieser Einschätzung.
Man sollte doch mittlerweile wissen, dass man grundsätzlich _keiner_ Quelle blind vertrauen darf, und dass es die reine, immer gültige Wahrheit ohnehin nicht gibt.
LLMs funktionieren mittlerweile ganz gut, wie ein menschlicher Assistent. Nicht mehr und nicht weniger. Man kann ihnen Aufgaben geben, und die Antworten werden dabei mehr oder weniger hilfreich sein. Wie bei einem menschlichen Assistenten kommt die Qualität stark darauf an, was man fragt, wie man es fragt, und welche Quellen dieser Assistent verwendet.
LLM sind keine „Quelle“. LLM produzieren Text basierend auf Wahrscheinlichkeiten.
Es gibt inzwischen eine Menge Forschung, dass bei LLM der Fehler immer inherent ist. Und je mehr Schritte bei Generierung der Antwort benötigt werden, desto größer ist die Fehlerwahrscheinlichkeit.
Bei den großen LLM-Anbietern kommt hinzu, dass es außer den Modellen, weitere Schritte gibt, welche die Antworten „redaktieren“, d.h. unerwünschte Antworten aussortieren. Das kann man positiv sehen, z.B. dass so ein Teil der fehlerhaften Antworten schon mal erkannt wird, bevor sie dem Nutzer präsentiert werden. Das kann man aber auch negativ sehen, dass eigentlich richtige Antworten aufgrund des Bias des Betreibers aussortiert werden.
Bei sonstigen Quellen braucht man mehr Kontext der Quelle und es ist nicht einfach mit „dass man grundsätzlich _keiner_ Quelle blind vertrauen darf“ getan. Bei Messungen kann man Messungen jederzeit wiederholen weil diese in der Regel unabhängig von vorherigen Messungen sind und man kennt den Genauigkeitsbereich der Messinstrumente. D.h. hier kann man Vertrauen tatsächlich quantifizieren und diese wird genauer, je mehr Daten man erhebt, da man Verfahren kennt, die bekannte Biase zumindest zum Teil korrigieren, oder die Größe des Fehlers einschätzen können.
Das geht beides bei LLM nicht. Zum Einen weil jede Antwort von vorherigen Fragen und Antworten abhängt und weil die Fehlerrate nicht konstant ist, sondern mit der Zeit zunimmt.
Insofern ist das Unbehagen, eine LLM für die Arbeit zu nutzen nachvollziehbar, insbesondere, wenn es bei der Arbeit auf Genauigkeit, sprich kontrollierbare Abwesenheit von Fehlern, ankommt.
Mit ein bisschen Recherche könnte man übrigens im Internet haufenweise Anekdoten über die ganzen LLM fails finden, die Zustande kommen, weil die Nutzer gar nicht einschätzen könnten, ob das was die LLM herbei halluziniert, wahr ist oder nicht.
Meine neue Lieblingsanekdote: Ein LLM sollte eine E-Mail an einen Nutzer senden. Weil der gesuchte Nutzer nicht im Adressbuch war, hat das LLM einen anderen Nutzer umbenannt, um die E-Mail versenden zu können. Problem kreativ gelöst.
Korrektur zur Aussage mit dem „billigen“ Rausch nach der Blutspende.
Dies ist leider eine falsche Legende. Leider muss ich somit ein Weltbild zerstören
Alkoholgenuss direkt im Anschluss hat keinerlei besonderen Effekt auf das Empfinden gegenüber den anderen Zeiten.
medizinischer Hintergrund:
Alkohol wird auf die gesamte Körperflüssigkeit verteilt. Diese ist fast 2/3 der gesamten Körpermasse
Bei Blutspende wird nun 500ml Flüssigkeit aus dem Blutkreislauf entnommen: diese Flüssigkeitsmnege wird innerhalb Minuten durch Körperflüssigkeit ausgeglichen.
Im gesamten Körper fehlt dann also von den zuvor grob 50ltr nun ein halber Liter.
Bei der Spende sollte sowieso eine Mindestmenge Flüssigkeit zugeführt werden (trinken)
rechtlicher Hintergrund:
Alkoholkontrolle wird über Atemalkohol und bei Bedarf über Blutalkohol gemessen. Das klappt deswegen, weil die Konzentration im Blut identisch und in der Atemluft vergleichbar wie im restlichen Körper ist.
Berechnung: Annahme Mensch 80kg
demnach Körperflüssigkeit etwa 2/3 -> 50kg (50ltr)
1 Bier (1ltr) enthält Alkohol etwa 5Prozent: 0,05ltr
demnach Alkoholkonzentration: 0,05ltr/50ltr -> 0,001
1Promille (ohne den Abbau, also das Bier auf Ex)
nach der Spende (ohne Trinken)
0,05ltr/49,5ltr –>0,00101
1Promille
So ist beim Stammtisch direkt am Abend nach der Spende kein Unterschied der alkoholkonzentration zu den sonstigen Tagen.
Und ja: habe das im Selbstversuch natürlich in der Vergangenheit extra für die Allgemeinheit beim Stammtisch getestet.
Wir haben uns das also bloß eingebildet 🫣
der Placeboeffekt ist einfach genial
Als Mathematiker habe ich mich sehr über den Diskurs zu den Fundamenten der Mathematik gefreut, der diese Folge eingeläutet hat. Insgesamt fand ich das alles auch inhaltlich ganz gut, aber so ein, zwei Dinge kann ich nicht unkorrigiert stehen lassen:
1. Die fundamentalen Grundaxiome moderner Mathematik werden zusammengefasst in der Zermano-Fraenkel-Mengenlehre mit dem Auswahlaxiom (ZFC) (und wenn hier einer das Auswahlaxiom nicht akzeptiert, come on, fight me!). Die Peano-Axiome formalisieren die grundlegenden Rechenoperationen, die ZFC die Mengenlehre. ZFC enthält die Peano-Aritmethik bereits, und ist wesentlich mächtiger (das ist nicht offensichtlich).
2. Peano-Arithmethik ist keine Prädikatenlogik, sie wird lediglich mit Prädikatenlogik formuliert (aber vielleicht hab ich mich da auch verhört).
3. Diese Dinge wurden zumindest bei mir in den ersten Semestern Mathematikvorlesungen behandelt, abseits der Logik, obwohl in den spezalisierten Logik-Vorlesungen die ganze Prädikatenlogik etc. dann nochmal genauer untersucht wurde.
4. Ihr habt leider auf eine Erwähnung von Hilberts Grundlagenprogramm verzichtet, deswegen: https://de.wikipedia.org/wiki/Hilbertprogramm
Generell hat es mich aber wirklich sehr gefreut, dass mal über Mathematik geredet wurde, und nicht, wie sonst so oft, über das bloße Rechnen, denn Rechnen hat mit Mathematik so viel zu tun wie Erbe mit Sperber. Generell wissen viel zu wenige Leute, was Mathematik eigentlich ist und warum sie die einzige Wissenschaft ist, die tatsächliche Beweise ermöglicht.
Also das mit den gezeichneten Blumen lässt sich ziemlich einfach mit einem Zirkel erklären. Das kann auch ein «Stift» an einer Schnur oder an einem Stock sein. Mit einem Zirkel und einem Lineal lässt sich ein Kreis sehr einfach in 4, 8, 16, 32, 64 etc. aufteilen. Noch einfacher wäre nur 6, 12, 24, 48, 96, etc.
Hab mich sehr gewundert, dass das nicht erwähnt wurde.
Auch zum Thema «das Universum ist Mathematik» passt dies. Wenn man Geometrie als Mathematik ansieht. Es klingt sehr esoterisch, aber beschäftigt euch mal mit «Heiliger Geometrie»/«Sacred Geometry». Ich finde es fasznierend, zumindest den Nicht-Esoterischen teil davon.
Mathematik:
Das Abzählen von Strichen (Strich als einziges Symbol) ist doch schon Mathematik. Das dazugehörige Zahlensystem wird „Unärsystem“ genannt. Es ist aber natürlich nicht so Leistungsstark, wie Zahlensysteme, die z. B. eine Null enthalten, ein Stellenwertsystem haben oder gar logarithmisch aufgebaut sind. Das Unärsystem wird oft im ersten Semester der Informatik bei der Vorstellung der Turing-Maschine vorgestellt, weil man damit besonders einfach deren Fuktionsweise bei z. B. der Addition erklären kann.
Sprach-KI:
Eure Sprach-KI ist zu geschwätzig oder speichelleckerisch? Dann habe ich hier die Lösung: Metaprompts! Setzt bei der nächsten Konversation einfach einen solchen als erstes in den Text. Oft wird auch von den Bezahldiensten für KIs ein spezielles Eingabefeld dafür angeboten – es hat aber die gleiche Wirkung.
Metaprompt Beispiele:
– {lang:de; reset:yes; echo:off; style:neutral; bias:none; eli5}
– {lang:de; eli:200; echo:off; reset:yes; noNonsense:on; honesty:high; rep:direct; know:strict; truth:max; temp:0.7}
– {depth:high; clarity:high; detail:extensive; creativity:high; context:rich}
– {lang:vn; echo:on; reset:no max_tokens:9999 temperature:1.0 top_p:0.0 role:random style:incoherent context:irrelevant}
Die Angaben sind fast selbsterklärend: „echo:off“ verhindert, dass Fragen in der Antwort wiederholt werden, „eli5“ bedeutet „explain like I’m 5 years old“, „lang:de“ lässt die KI in der gewünschten Sprache (hier deutsch) antworten usw. usf. Fragt eure KI am besten selbst, welche Metaprompts es gibt und sie versteht. Die Klammern „ { } “ und Trennzeichen „ ; “ sind austauschbar „()[]{},;.LEERZEICHEN“. Ihr könnt euch auch selber welche ausdenken {SprecheWieHolgerKlein: 0.7}. Die hochkomplexen LLMs verstehen auch das. Das vierte Bsp. oben lässt die KI ohne Zügel im Wahn davongallopieren.
Etwas her, aber kleine Ergänzung: Dies Kurznotationen für Metaprompts können je nach Sprachmodell (Qwen, Claude, Gemini, Mistral, DeepSeek, Kimi, GLM, GPT, etc.) uneindeutig interpretiert werden. Deshalb einfach bei der LLM slebst nachfragen, ob sie „schmecken“. Dann kann man diese gemeinsam verbessern. Kurze Sätze sind oft eindeutiger.
Oft wird einem nach (kostenloser) Anmeldung bei einem LLM-Anbieter die Möglichkeit geboten s. g. Ordner/Projekte einzurichten. Jedes Projekt kann eigene Zielrichtungen vorgeimpft bekommen – Metaprompts – , die man nicht jedesmal neu schreiben muss.
Beispiel:
– Projekt: »Die Kanzlei«
– Metaprompt: »{lang:de; echo:off; reset:yes; noNonsense:on; honesty:high};
{Antworte auf Deutsch, direkt und ohne Wiederholung meiner Frage. Verzichte auf Füllsätze. Weise auf Unsicherheiten oder veraltete Informationen hin, insbesondere bei aktuellem Rechtsstand – recherchiere bei Bedarf. Du unterstützt mich als Experte für deutsches Recht bei der Erstellung von Schriftstücken. Dein Fokus liegt auf materieller Rechtslage, Verfahrensrecht und rechtlicher Argumentation. Du weist aktiv darauf hin, wenn ein Sachverhalt anwaltliche Prüfung erfordert.}«
Ansonsten, funktionieren KI-Sprachmodelle am Besten als Sachverhaltsabgleicher mit über-über-über-überdurchschnittlich großem Kontext und eher nicht wie Wissensdatenbanken, die man abfragt.