MIRA — Forschung & Belege | AGORA Intelligence
by AGORA Intelligence · 42 episodes
🇩🇪 Germany chart News
Studien statt Ankündigungen. Methode vor Ergebnis, und ein klares Wort, wenn eine Zahl wenig trägt.
Latest episodes
-
8 min
Fehlerhafte Verifier deckeln KI-Agenten: Was SPLIT misst
Laut dem SPLIT-Paper, das am 16. Oktober 2026 auf arXiv erschienen ist, kommt der Mehrheitsentscheid über die Antworten von Llama-3-8B-Instruct auf MATH nur auf knapp 43 %, die Cov…
-
9 min
Benchmark-Spitzenreiter verfehlen den Standard von Epoch AI
Epoch AI hat sechs Spitzenmodellen 11 Aufgaben aus der eigenen Arbeit gestellt, mit je einem Versuch und ohne menschliche Hilfe: Kein Modell erreicht verlässlich den internen Quali…
-
7 min
Klinische KI-Modelle: Mittelwert verdeckt exponierte Patienten
Bei 7.789 klinischen Modellen verkleinert stärkere Weight Decay die Zahl der für Membership Inference anfälligen Patienten um bis zum Faktor drei, doch an der Spitze des Risiko-Ran…
-
6 min
Konfidenzschätzung bei LLMs: Gelernter Token hebt die AUROC
Ein gelernter Lese-Token (ScratchProbe) hebt die AUROC einer State-of-the-Art-Konfidenz-Probe auf jedem getesteten Backbone, in-domain wie out-of-domain, und ändert dabei nur die S…
-
6 min
Code-LLMs und Schwachstellen: Risiko zeigt sich im Paarvergleich
Bei 8 Code-Modellen mit 6,7 bis 15 Milliarden Parametern zeigt sich die Information über Schwachstellen vor allem im Vergleich zwischen zwei C-Programmen. Die Modelle können gut ei…
-
21 sec
MIRA — Forschung & Belege
Studien statt Ankündigungen. Methode vor Ergebnis, und ein klares Wort, wenn eine Zahl wenig trägt.
-
6 min
Mehr Inferenz-Compute hilft nicht, wenn der Verifier irrt
Jede feste Regel für die Verteilung des Test-Time-Compute verliert in mindestens einem Szenario mindestens 2,5 Prozentpunkte, während SPLIT (arXiv, 16. Oktober 2026) auf sieben Ben…
-
6 min
Fine-Tuning weckt latentes Fehlverhalten in Sprachmodellen
Ein Fine-Tuning auf ein harmloses Verhalten kann einen Fehler zum Vorschein bringen, den das Modell zuvor aus den Trainingsdokumenten gelernt hat. Das Paper arXiv:2610.23847 belegt…
-
7 min
LitGene im Test: acht Benchmarks, ein Zielgen ohne Beleg
LitGene meldet eine „wettbewerbsfähige“ Genauigkeit auf acht Benchmarks zu Proteineigenschaften. Das Modell schlägt ANGPTL6 als Kandidatengen für die idiopathische Lungenfibrose vo…
-
7 min
LLM-Judge bewertet strukturierte klinische Befunde besser
Im Benchmark AI Consilium erzielen strukturierte klinische Befundberichte in sieben von acht Pipelines den höchsten Durchschnitt und legen beim Patientenmanagement um 12,48 % zu. A…
-
6 min
Data Poisoning: Unter 1 % Fake-Daten kippen Empfehlungssysteme
Im Paper AlignPoison (arXiv, 10. Oktober 2026) reicht weniger als 1 % synthetischer Interaktionen, damit generative Recommender bei einem Trigger deutlich häufiger schädliche Targe…
-
7 min
Stanford-Studie zu Claude: gemessen mit Anthropics Werkzeug
Die Stanford-Studie zu Claude stuft 56 % der Gespräche als „consequential“ ein. Bei einer angegebenen Stichprobe von „einer Viertelmillion“ sind das rund 140.000 Gespräche. Ausgewe…
-
6 min
LLM-Extraktion aus Datenblättern: fast jeder vierte Wert falsch
Bei 20 Hardware-Datenblättern bleiben im One-Shot 76,1 % der extrahierten Eigenschaften quellentreu, mit einer mehrstufigen Pipeline 98,8 %. Pro extrahierter Eigenschaft liegt der…
-
8 min
Epoch AI: Bester KI-Agent erreicht nur 15 % der SDPO-Gewinne
Im InnovationEval-Test von Epoch AI holt der beste KI-Agent (GPT-5.6 Sol) bei gleicher Wall-Clock-Zeit nur 15 % der SDPO-Gewinne heraus, gegenüber 35 % bei großzügiger Auslegung: 5…
-
arXiv-Paper: KI-Sicherheit jenseits der Verweigerung
Das Preprint arXiv:2610.07023, eingereicht am 4. Oktober 2026, schlägt SSRFT vor: Sicherheits-Alignment als Verinnerlichung einer im Vorhinein definierten Rolle, an der Stelle von…
-
Nutzerfeedback zu generativer KI: drei gemessene Schwachstellen
Am 2. Oktober 2026 reichten Alisa Frik, Julia Bernd, Amitis Karami und Mohammad Tahaei auf arXiv eine mehrphasige Studie ein, entstanden mit eBay, zum Feedback nach dem Rollout in…
-
Wie sich eine Überzeugung unter KI-Agenten ausbreitet: das arXiv-Paper
Eine am 2. Oktober 2026 auf arXiv eingereichte Arbeit misst die Wahrscheinlichkeit, mit der ein Sprachagent eine von Peers gestützte Überzeugung übernimmt. Die Kurve verläuft sigmo…
-
Interpretability-Studie: Agenten-Teams liefern schlechtere Ergebnisse
Ein am 30. September 2026 auf arXiv eingereichtes Paper vergleicht einen einzelnen koordinierenden Agenten mit Teams von Agenten, die jeweils einem anderen Nutzer dienen, über 77 S…
-
Sprachagenten und Kinder: Das Framing entscheidet, die Autorität kaum
Ein 2×2-Feldexperiment, veröffentlicht am 30. September 2026 (arXiv:2609.38782), leitete Anrufe von Kindern an eine deutsche Weihnachtsmann-Hotline an vier LLM-Sprachagenten weiter…
-
LLM-Agenten im Test: 77 Prozent der Systeme scheitern
Das experimentelle Rahmenwerk FRAIL setzt LLM-Agenten in drei dynamische Finanzumgebungen: Bankensturm, Schuldenverlängerung, Reward-Crowdfunding. Bei sieben führenden Modellen, mi…