Comparison of State-of-the-Art Multimodal Neural Network Architectures for Object and Entity Recognition and Localization

This work investigates zero-shot, prompt-based object recognition and bounding-box localization in drone imagery across two sensor modalities: RGB and thermal infrared. The goal is to assess how well recent multimodal and open-vocabulary architectures transfer to aerial imagery without any task-specific training, and how their performance changes when moving from broad object categories to fine-grained, attribute-level concepts. The study is conducted on two datasets, each with two manually annotated variants: rgb_basic, rgb_detailed, ir_basic, and ir_detailed. The detailed variants use substantially more classes and prompts that encode clothing attributes, pose descriptions and different vehicle types.
Five state-of-the-art models are compared: MM-Grounding-DINO Large, Moondream 3 Preview, Qwen3-VL-8B, SAM 3, and YOLOE-11-L. All models are evaluated under a controlled prompting protocol in which each class is queried per image using fixed prompt templates; for models that expose confidence scores, thresholds are explored and selected based on the best dataset-level F1 Score at an IoU threshold of 0.5. To enable fair comparison across model families, the core evaluation is score-independent and relies on IoU-based matching to compute accuracy, precision, recall, and F1 Score, complemented by confusion-matrix analyses to reveal class-wise error patterns.
Results show that modern vision-language and promptable segmentation models can provide robust zero-shot localization on RGB drone images for basic categories, while performance drops substantially for fine-grained prompts and for thermal infrared imagery. Across all datasets, SAM 3 emerged as the most robust model, achieving the strongest overall identification and localization performance. In particular, it attained the highest accuracy on both RGB (0.57 on rgb_basic, 0.33 on rgb_detailed) and thermal infrared imagery (0.44 on ir_basic, 0.25 on ir_detailed). At the same time, the experiments highlight prompt design and label granularity as key determinants of practical zero-shot performance.

Studiengang Künstliche Intelligenz und Kognitive Systeme

Multivariate Zeitreihenklassifikation mit Transformer-Netzwerken zur Erkennung epileptischer Anfälle in EEG-Daten

Epileptische Anfälle werden in der klinischen Praxis bislang vorwiegend durch die visuelle Inspektion von Elektroenzephalogrammen (EEG) erkannt, was zeitaufwendig und fehleranfällig ist. Diese Arbeit untersucht, inwieweit Transformermodelle zur automatisierten Anfallserkennung auf EEG-Zeitreihen eingesetzt werden können. Hierzu werden auf dem TUH Seizure Corpus (TUSZ v2.0.3) drei reine Encoder-Architekturen miteinander verglichen: ein zeitachsenbasierter Vanilla-Transformer, eine Variante mit Channel-Attention sowie ein patchbasiertes Modell nach dem PatchTST-Prinzip. Die Modelle klassifizieren 2 s lange Segmente mit 27 EEG-Kanälen in einem patientenunabhängigen Setting und werden mit einer klassengewichteten binären Kreuzentropie trainiert.
Hyperparameter wie Modellgröße, Regularisierung und Pooling-Strategie werden in einer Ablationsstudie auf einem Validierungssplit untersucht. Die finale Bewertung erfolgt anhand von F1-Score, Balanced Accuracy und AU-ROC auf einem unabhängigen Testdatensatz. Das beste Modell, ein PatchTST mit Max-Pooling und moderater Klassengewichtung, erreicht auf dem Testdatensatz einen F1-Score von 0,410, eine Balanced Accuracy von 0,816 und einen AUROC von 0,893 und übertrifft damit die Vanilla- und Channel-Attention-Varianten deutlich. Die Analyse der Trainingsverläufe zeigt zugleich eine ausgeprägte Overfitting-Tendenz auf den überlappenden Segmenten und unterstreicht die Bedeutung von Regularisierung, Klassengewichtung und Schwellenwertwahl. Insgesamt zeigen die Ergebnisse, dass reine Transformermodelle für die segmentbasierte Anfallserkennung auf TUSZ konkurrenzfähige Leistungen erzielen, gleichzeitig aber längere Zeitkontexte notwendig sind, um die Fehlalarmrate weiter zu senken.

Studiengang Künstliche Intelligenz und Kognitive Systeme

EEG- und MEG-Quelllokalisierung mithilfe von simulationsbasierten Deep Learning Methoden

Diese Masterarbeit untersucht die Lösung des inversen Problems der EEG-Quelllokalisation
mittels eines physikbasierten Deep Learning Ansatzes. Ausgangspunkt ist ein kombinierter
EMEG-Datensatz von sieben Probanden mit individuellen Finite-Element Kopfmodellen.
Es wurde ein Trainingsdatensatz von 250000 synthetischen Samples mit EEG-Signal mit
additivem Rauschen, variabler Gaußverteilung und zugrundeliegender neuronaler Aktivität
simuliert. Ein Fully-connected-neuronales Netz mit Skip-connections wird mithilfe einer Weights
and Biases Hyperparameteroptimierung trainiert.
Innovativ ist die Verwendung der MEG-Dipol Scan Positionen als Referenz während der
Hyperparameteroptimierung und Evaluation, wodurch Modelle besser als mit bisherigen
Lösungen trainiert und optimiert werden können.
Die Arbeit widerlegt die Annahme, dass mehrere verschiedene Kopfmodelle im
Trainingsdatensatz nötig sind, um auf mehreren Probanden gute Vorhersagen zu treffen. Des
Weiteren schlägt die Arbeit einen Benchmark Datensatz vor, der zukünftige Vergleiche zwischen
Modellen erleichtert.

Studiengang Applied Research in Engineering Sciences

Deep Learning-Based Quality Inspection of Laser-Cut 3D Metal Parts Using Synthetic and Real-World Data

This thesis presents a deep learning-based quality inspection system for laser-cut 3D metal parts, designed for high-precision industrial applications such as automotive and aerospace manufacturing. The system comprises a complete pipeline, including synthetic dataset generation from STL files, model training, and real-time inference using you only look once (YOLO)v8 for object detection and segmentation.
To overcome the lack of annotated real-world data, a custom photorealistic rendering
and annotation process was developed, generating images from multiple camera perspectives. A tailored multi-view dataloader ensures balanced sampling across these
views, enhancing model generalization and reducing overfitting.
Considerable hyperparameter optimization was conducted, focusing on model size,
learning rate, input scaling, dropout, and distributed focal loss (DFL). The best configurations consistently achieved an average intersection over union (IoU) of at least
92.2% and sub-millimeter localization accuracy.
To improve anomaly detection, an Asymmetric Student-Teacher Network (AST) architecture was implemented. It combines a normalizing flow-based teacher network with
a lightweight student model to detect deviations during inference, enabling the identification of subtle defects.
Real-world validation on a TRUMPF laser tool machine demonstrated the robustness
and industrial applicability of the proposed approach, while also highlighting challenges
such as domain shifts and visual variability.

Der Rest der Arbeit ist unter Sperrvermerk.

Studiengang Künstliche Intelligenz und Kognitive Systeme

Simulation einer Predator und Prey Umgebung und Trainingsszenarien für optimiertes Verhalten durch Reinforcement Learning

Diese Arbeit untersucht modulare Trainingsstrategien zur Verbesserung des Verhaltens von Reinforcement Learning Agenten in komplexen Überlebensszenarien.
Ausgehend von instabilen Multi-Agent Experimenten wird das Gesamtproblem für
Single-Agents in einzelne Aufgaben wie navigate, explore und flee aufgeteilt.
Diese Einzelaufgaben werden separat trainiert, feinjustiert und anschließend in
das vollumfängliche Szenario survive übertragen. Die Analyse zeigt, dass sowohl
das Szenariodesign als auch die Wahl der Rewardfunktionen zentral für stabiles
Lernen sind. Curriculum Learning durch schrittweise gesteigerte Komplexität
fördert dabei robuste Strategien und ermöglicht eine effektivere Nutzung zuvor
erlernter Fähigkeiten.
Obwohl vortrainierte Modelle vergleichbare Gesamtperformance zum Training
from-scratch erreichen, behalten sie jeweils charakteristische Strategiemuster aus
ihrem szenariospezifischen Kontext bei – ein Effekt, der gezielt zur Steuerung
spezifischer Verhaltensweisen genutzt werden kann. Eine anschließende Retention-
Analyse bestätigt, dass einige Spezialfähigkeiten auch nach dem Fine-Tuning
erhalten bleiben, während andere – insbesondere bei widersprüchlichen Zielen –
verdrängt werden. Zusätzlich wird gezeigt, dass die Generalisierungsfähigkeit der
Agenten stark von der Komplexität der Einzelaufgaben abhängt: Modelle, die in
strukturell anspruchsvollen Szenarien trainiert wurden, entwickelten robustere
Taktiken und konnten diese besser auf neue Umgebungen übertragen.
Die Evaluation erfolgt dabei nicht nur über aggregierte Rewards, sondern anhand spezifischer Metriken wie Zeit bis zur Zielerreichung, Überlebensdauer und
Erfolgsrate. Die Ergebnisse legen nahe, dass modulare Trainings- und Transferansätze einen vielversprechenden Weg darstellen, um Reinforcement Learning Modelle kontrollierbar und effizient für komplexe Multi-Ziel-Umgebungen vorzubereiten – und liefern zudem konkrete Hinweise für die Gestaltung zukünftiger Multi-Agent-Systeme und adaptiver Policy-Architekturen.

Studiengang Künstliche Intelligenz und Kognitive Systeme

Optimierung von Deep Convolutional Neural Networks für Fernerkundungsanwendungen am Beispiel der Fahrzeugerkennung in Luftaufnahmen

Seit vielen Jahren werden Drohnen dazu verwendet, Areale aus der Luft zu überwachen.
Diese Art der Fernerkundung muss meist noch vollständig manuell ausgewertet werden,
da bestehende Computer-Vision-Modelle größtenteils nicht auf die Objekterkennung auf
Luftaufnahmen ausgerichtet sind.
Diese Bachelorarbeit beschäftigt sich mit dem Fine-Tuning aktueller KI-Architekturen
wie YOLOv10 und Faster R-CNN, um sie auf den Anwendungsfall der Fahrzeugerkennung
auf Luftaufnahmen zu optimieren. Der eigens dafür erstellte Datensatz bildet die Grundlage
der verwendeten Trainingsdaten. Durch die Implementierung einer umfassenden Evaluierung
mit zahlreichen Metriken kann die Modellleistung unterschiedlicher KI-Architekturen direkt
miteinander verglichen werden.
Die Ergebnisse zeigen, dass die auf gleichen Daten nachtrainierten YOLOv10-Modelle
die Leistung von Faster R-CNN-Modellen deutlich übersteigen. Die Bildgröße sollte beim
Training von YOLO möglichst groß sein, während bei Faster-RCNN eher kleinere Bildgrößen zu bevorzugen sind. Eine interessante Erkenntnis ist, dass die Verwendung des
SGD-Optimizers bei beiden Architekturen in den meisten Fällen bessere Ergebnisse bietet
als der Adam-Optimizer.

Studiengang Künstliche Intelligenz und Kognitive Systeme

Optimierung der Algorithmenwahl von Retrieval Augmented Generation Systemen und Auswertung in den Bereichen wissenschaftliche Fachliteratur sowie komplexe Regularien

Diese Arbeit gewährt Einblicke in die Leistungsfähigkeit verschiedener Varianten eines RAG-Modells unter Verwendung eines LLaMA-Sprachmodells. Ziel war es, die Auswahl von Algorithmen innerhalb von Retrieval-Augmented-Generation-Systemen zu optimieren und deren Eignung zur Informationsgenerierung aus wissenschaftliche Fachliteratur und komplexe Regularien zu bewerten. Es wurden verschiedene Chunking-Methoden und Abrufmechanismen untersucht. Die Ergebnisse zeigen, dass der Recursive Chunker für den verwendeten Datensatz besonders geeignet ist, während der Dense Retriever beim Retrieval-Prozess die beste Effizienz bietet.
Zudem gestaltet sich die implementierung eines universell optimalen RAG-Systems
als schwierig, da die Leistungsfähigkeit maßgeblich von der Zusammenstellung der
Algorithmenwahl und den verwendeten Daten in Kombination mit dem eingesetzten
Sprachmodell abhängt.

Studiengang Künstliche Intelligenz und Kognitive Systeme