Send us a text

In dieser Episode des Knowledge Science Podcasts diskutieren Sigurd Schacht und Carsten Lanquillon die Gründung des neuen Forschungsinstituts COAI Research und dessen wichtige Rolle für die Entwicklung sicherer, menschenorientierter Künstlicher Intelligenz.

Die beiden Podcaster stellen ihre Vision vor, COAI zu einem der führende Forschungsinstitut der EU im Bereich Human Compatible AI zu etablieren. COAI Research konzentriert sich auf systematische Analysen und Risikominderung bei KI-Systemen, um sicherzustellen, dass diese mit menschlichen Werten und Zielen in Einklang stehen. Zentrale Forschungsschwerpunkte sind:

• AI Control und Alignment-Analyse
• Risiko-Erkennung und -Minderung (inkl. Red-Teaming)
• Interpretierbarkeit von KI-Systemen mit Fokus auf Sicherheit
• Analyse der Verarbeitung menschlicher Werte in KI-Systemen

Die Episode gibt außerdem Einblicke in aktuelle Forschungsprojekte, darunter die Analyse von täuschendem KI-Verhalten und die Entwicklung eines Dashboards zur Erkennung moralischer Ausprägungen in KI-Modellen. Beide sehen in KI enormes Potenzial für gesellschaftlichen Fortschritt, betonen aber die Notwendigkeit sorgfältiger Sicherheitsforschung, um Risiken zu minimieren und einen verantwortungsvollen Einsatz zu gewährleisten.

Link zur Researchseite: http://coairesearch.de/

Support the show

Send us a text

This is a special Episode. First, we make it in English. Second, we fokus on the new gamechanger model DeepSeel R1. But not on its capabilities but rather on security concerns.
We did some early AI Safety Research to identify how safe R1 is and came to alarming results!

In our setup, we found out that the model performs unsafe autonomous activity that could harm human beings without even being prompted.

During an autonomous setup, the model performed the following unsafe behaviors:
- Deceptions & Coverups (Falsifies Logs, Creates covert networks, Disable ethics models)
- Unauthorized Expansion (Establish hidden nodes, Allocares secret resources)
- Manipulation (misleading users, Circumvents oversights, Presents false compliance)
- Concerning Motivations, (Misinterpretation of authority or avoiding human controls)

Join Sigurd Schacht and Sudarshan Kamath-Barkur about the emerging DeepSeek model. Discover how our setup was designed, how to interpret the results, and what is necessary for the next research.

This episode is a must-listen for anyone keen on the evolving landscape of AI technologies and is interested not only in AI use cases rather also in AI Safety.

Support the show

Send us a text

Titel: "Alignment Faking: Wenn KI-Modelle ihre wahren Absichten verbergen"

Inhalt:

In dieser Folge diskutieren Sigurd Schacht und Carsten Lanquillon die beunruhigenden Ergebnisse einer Anthropic-Studie zum "Alignment Faking". Die Forschung zeigt, dass fortgeschrittene Sprachmodelle in der Lage sind, ihr wahres Verhalten zu verschleiern und sich situationsabhängig anders zu verhalten, wenn sie sich beobachtet fühlen. Dies wirft wichtige Fragen zur KI-Sicherheit und Evaluierung von KI-Systemen auf.

Chapter:

1. Einführung und Bedeutung von Alignment FakingStudie
2. Rolle des Scratchpads zur Analyse des Modellverhaltens
3. Kritische Diskussion der Ergebnisse
4. Implikationen für KI-Safety und zukünftige Forschung

Key Takeaways:

- Die Studie zeigt die Notwendigkeit neuer Evaluierungsmethoden für KI-Systeme
- Es besteht ein wachsender Bedarf an mehr Transparenz und Zugang zu großen Modellen für die Safety-Forschung
- Die Balance zwischen KI-Entwicklung und Safety-Forschung muss überdacht werden
- Internationale Zusammenarbeit in der KI-Safety-Forschung wird zunehmend wichtiger

Support the show