Die Verwaltung einer nahegelegenen Stadt möchte für Besucher ein Infoterminal mit möglichst viel Wissen zu den Angeboten und Abläufen bereit stellen. Das kann über die Implementierung eines RAG Systems mit LLM erreicht werden. Bei einem erfolgreichen Projekt bietet sich eine Tätigkeit als Hilfswissenschaftler an, um die Implementierung vor Ort durchzuführen. Ein Folgeprojekt könnte mit einem Serviceroboter gekoppelt werden.
Beispielbild von Wikipedia, Kriesten objekt design
Beim Erkennen relevanter Ereignisse in der Umgebung (Person, Objekt, Handlung, …): Dynamisch die Drohne nachsteuern (Anderer Weg, Suchmodus, Details aufnehmen, …)
Dynamische Auswertung der Umgebung von Drohnen: z. B. Objektdetektion
Nutzbarmachen eines mit Sensorik und Rechenleistung ausgestatteten Rollstuhls, um automatisiertes Fahren zu erreichen.
Zusammen mit Nicolas Weeger:
Remote Sensing beschreibt meist Informationsgewinnung aus größerer Entfernung. Konkret geht es hier darum, die Aufnahmen von Drohnen zu analysieren. Das geschieht mittels vorhandener Modelle, z. B. https://huggingface.co/ibm-nasa-geospatial oder durch Fine-Tuning vorhandener Modelle. Das Ziel ist es, zuverlässig die Beschaffenheit der Gebiete unter oder vor einer Drohne zu unterscheiden (Straße, Feld, Wald, Siedlung, …).
Zusammen mit Nicolas Weeger:
Um kurzfristige Trends schnell zu erkennen und automatisiert zu verarbeiten, soll in diesem Projekt verschiedene Social Media Kanäle ausgelesen werden. Konkret wären geeignete Kandidaten z. B. Instagram, Facebook, Bluesky oder TikTok, aber andere Kanäle können ebenfalls in Betracht gezogen werden. Die gewonnen Daten werden mittels existierender Large Language Modelle verarbeitet.
Zusammen mit Christoph Saad:
Ein vorhandener Turtlebot https://www.turtlebot.com/ soll mittels Computer Vision eine Person erkennen und dieser folgen. Einige benötigte Funktionen sind im Robot Operating System ROS2 enthalten. Der Turtlebot wird zu Beginn mit dieser aktualisierten Software ausgerüstet. Danach können beispielsweise mittels OpenCV oder YOLO die fehlenden Elemente zur Personenverfolgung aufgebaut werden. Es gibt Vorarbeiten aus einem ähnlichen Projekt.
Zusammen mit Christoph Saad:
In diesem Projekt soll ein mit den benötigten Sensoren ausgestattetes Fahrzeug https://mdynamix.de/mx-carkit-modellfahrzeug/ so weit wie möglich autonom navigieren können.
Zusammen mit Christoph Saad:
SLAM (Simultaneous Localization and Mapping) bezeichnet die Fähigkeit eines Roboters oder Agenten, eine Karte seiner Umwelt zu erstellen und sich darin zu verorten. Dieser Vorgang wird oft mit LIDAR Sensoren durchgeführt. Ein Leo Rover ist mit einer 3D Kamera ausgestattet, die in diesem Projekt genutzt werden soll, um den Roboter im Raum zu orientieren.
Zusammen mit Christoph Saad:
Ein Leo Rover https://www.leorover.tech/ hat bereits einen funktionsfähigen Greifarm https://www.mybotshop.de/ROBOTIS-OpenManipulator_8 , der bisher noch nicht relevant genutzt wird. In dieses Projekt wird versucht, Objekte mit dem Greifarm zu erkennen und zu greifen.