Doktorand*in Embedded AI Systems: Laufzeitoptimierung für Transformer-Modelle

Die Fraunhofer-Gesellschaft ist eine der weltweit führenden Organisationen für anwendungsorientierte Forschung. 75 Institute entwickeln wegweisende Technologien für unsere Wirtschaft und Gesellschaft – genauer: 32 000 Menschen aus Technik, Wissenschaft, Verwaltung und IT. Sie wissen: Wer zu Fraunhofer kommt, will und kann etwas verändern. Für sich, für uns und die Märkte von heute und morgen.

Unsere Forschungsgruppe „Smart Embedded Systems“ entwickelt ressourceneffiziente KI-Systeme für eingebettete/Edge-Systeme und kooperiert dabei eng mit der Universität Duisburg-Essen (Lehrstuhl Elektronische Bauelemente und Schaltungen). Wir optimieren KI-Modelle und -Software für den Einsatz in eingebetteten und Edge-Systemen. In diesem Umfeld entwickeln wir innovative Laufzeitsysteme und Scheduling-Verfahren, die Large Language Models (LLMs) adaptiv und energieeffizient auf Edge-Geräten ausführen. Unsere Anwendungsfelder umfassen Smart Health, Robotik und sichere Mensch-Maschine-Interaktion: Domänen, in denen Datenschutz, niedrige Latenz und begrenzter Energieverbrauch entscheidend sind.

Ihre Mission: Im deutsch-taiwanesischen Forschungsprojekt STICAM (Secure Transformers in Cache Memory) entwickeln Sie eine neue Generation adaptiver Scheduling-Algorithmen, die entscheiden, wie begrenzte Hardware-Ressourcen zur Laufzeit optimal zwischen Inferenzphasen, Nutzersessions und Sicherheitsmechanismen aufgeteilt werden. Ihr Ziel: Große Sprachmodelle (LLMs) laufen mit minimaler Latenz und maximalem Datenschutz direkt auf dem Endgerät ohne Cloud. Die Anwendungen reichen von intelligenten Gesundheitssystemen über autonome Robotik bis zur sicheren Mensch-Maschine-Interaktion.