Was ist der App Builder von OpenMind und wie funktioniert er?

OpenMind Das Unternehmen entwickelt Werkzeuge, die die Komplexität der Softwareentwicklung für autonome Maschinen reduzieren sollen. Im Zentrum dieser Bemühungen steht OM1, ein Open-Source-Betriebssystem für Roboter und andere intelligente Geräte. OM1 wird oft als Android-ähnliche Robotikplattform beschrieben, d. h. als gemeinsame Laufzeitumgebung, die Hardwareunterschiede abstrahiert und es Entwicklern ermöglicht, sich auf Verhalten und Logik zu konzentrieren.

Kürzlich hat OpenMind Folgendes eingeführt: OpenMind App-BuilderDas Unternehmen hat ein visuelles Konfigurationstool in sein Entwicklerportal integriert, mit dem Entwickler Roboteranwendungen erstellen, modifizieren und bereitstellen können, ohne für gängige Aufgaben Code schreiben zu müssen. Die Ankündigung erfolgte über den offiziellen X-Account des Unternehmens und wurde von einem kurzen Demovideo begleitet, das das Produkt in Aktion zeigt.

Dieser Artikel erklärt, was der OpenMind App Builder ist, wie er auf technischer Ebene funktioniert und wo er sich in das breitere OM1-Ökosystem einfügt.

Was ist die übergeordnete Mission von OpenMind?

OpenMinds Ziel ist es, autonome Maschinen durch gemeinsame Standards und modulare Software zu ermöglichen. OM1 ist unter der MIT-Lizenz lizenziert und wird offen auf GitHub entwickelt, wo es bereits Tausende von Sternen und Beiträgen aus der Community erhalten hat. Die Laufzeitumgebung unterstützt eine breite Palette von Robotern, darunter humanoide Roboter, Vierbeiner wie die Unitree Go-Serie und mobile Forschungsplattformen wie TurtleBot.

Die von Pi Network Ventures unterstütztes Unternehmen Fabric ist außerdem ein wichtiger Mitwirkender der Fabric Foundation, einer Organisation, die sich auf Standards für die autonome Maschinenkoordination und On-Chain-Identität konzentriert. Fabric fördert Spezifikationen wie ERC 7777, die definieren, wie Roboterverhalten beschrieben und ausgetauscht werden kann. Der App Builder ist als praktische Schnittstelle für diese zugrunde liegenden Systeme positioniert.

Was der OpenMind App Builder ist

Der OpenMind App Builder ist eine visuelle Oberfläche, die ohne oder mit geringem Programmieraufwand das Verhalten von Robotern auf OM1 konfiguriert. Der Zugriff erfolgt über das OpenMind-Entwicklerportal nach der Kontoerstellung. Anstatt Konfigurationsdateien manuell zu schreiben, erstellen Entwickler Anwendungen, indem sie visuelle Knoten zusammenstellen, die Robotermodi repräsentieren, und definieren, wie diese Modi miteinander verbunden sind.

Jede Anwendung wird als Flussdiagramm dargestellt. Knoten entsprechen Verhaltenszuständen wie Begrüßung, Navigation oder Kartierung. Übergänge zwischen Knoten definieren, wann und wie der Roboter von einem Verhalten zum anderen wechselt. Die resultierende Konfiguration wird gespeichert und kann über das Portal direkt auf kompatibler Hardware bereitgestellt werden.

Der App Builder ersetzt nicht die traditionelle Programmierung. Vielmehr baut er auf dem Konfigurationssystem von OM1 auf und exportiert strukturierte Konfigurationsdateien, die für fortgeschrittene Anwendungsfälle im Code erweitert oder modifiziert werden können.

Entdecken Sie vielversprechende Projekte...

Vielversprechende Projekte...

(Werbung)

Artikel wird fortgesetzt...

Kernkonzepte und Terminologie

Das Verständnis des App Builders erfordert Kenntnisse verschiedener OM1-Konzepte.

Modi

Ein Modus ist ein diskreter Verhaltenszustand. Beispielsweise könnte ein Roboter über einen Begrüßungsmodus, einen Navigationsmodus und einen Speichermodus verfügen. Jeder Modus definiert, welches Sprachmodell verwendet wird, welche Sensoren aktiv sind, welche Aktionen zulässig sind und welcher Hintergrundkontext verfügbar ist.

Knoten und Übergänge

Im visuellen Editor wird jeder Modus als Knoten dargestellt. Übergänge sind gerichtete Verbindungen zwischen Knoten. Ein Übergang enthält Bedingungen, die festlegen, wann der Roboter von einem Modus in einen anderen wechselt. Entwickler können definieren, dass ein Sprachbefehl den Wechsel vom Leerlauf zum Navigationsmodus auslöst.

Eingaben, Aktionen und Hintergründe

Eingaben repräsentieren Sensoren oder Datenquellen wie Mikrofone, Kameras oder webbasierte Feeds. Aktionen repräsentieren Ausgaben wie Bewegungsbefehle, Sprachausgabe oder Speicherzugriffe. Hintergründe liefern persistenten Kontext, beispielsweise GPS-Position oder Navigationsstatus.

Lebenszyklus-Hooks

Jeder Modus umfasst Lebenszyklus-Hooks, darunter eine Systemabfrage für das Sprachmodell. Dies ermöglicht Entwicklern, das Verhalten des Modells in einem bestimmten Modus mithilfe von in der Konfiguration gespeicherten Anweisungen in natürlicher Sprache zu steuern.

Wie funktioniert der App-Builder in der Praxis?

Das zusammen mit der Ankündigung veröffentlichte Demonstrationsvideo zeigt den kompletten Arbeitsablauf von Beginn bis zur Bereitstellung.

Auswahl eines Roboters

Wenn ein Entwickler den App Builder öffnet, wählt er zunächst eine Maschine aus der Seitenleiste aus. Dadurch wird die Konfiguration einem bestimmten Roboterprofil zugeordnet, einschließlich der unterstützten Sensoren und Aktionen. OM1 bietet Hardwareabstraktion durch eine dedizierte Schicht, sodass dieselbe übergeordnete Konfiguration für ähnliche Maschinen wiederverwendet werden kann.

Baumodi visuell

Nach der Auswahl eines Roboters wird die Arbeitsfläche mit einem ersten Ablaufdiagramm gefüllt. Entwickler können neue Modi hinzufügen, indem sie auf ein Plus-Symbol klicken. Jeder neue Modus öffnet ein Bearbeitungsfenster, in dem Parameter definiert werden.

In diesem Bereich wählt der Entwickler ein Sprachmodell aus einer Dropdown-Liste aus. Unterstützt werden verschiedene kommerzielle und Open-Source-Modelle. Anschließend werden Eingaben hinzugefügt, beispielsweise automatische Spracherkennung für die Sprachsteuerung oder Kamerabilder für die Bildverarbeitung. Danach werden Aktionen wie Navigation oder Sprachausgabe ausgewählt. Hintergründe wie GPS oder Navigationskontext können ebenfalls aktiviert werden.

Alle Änderungen werden sofort gespeichert, und die Arbeitsfläche wird aktualisiert, um die aktuelle Konfiguration widerzuspiegeln.

Übergänge definieren

Sobald Modi erstellt sind, werden Übergänge definiert, indem ein Verbindungsglied von einem Knoten zum anderen gezogen wird. Dadurch öffnet sich ein Regeleditor, in dem Bedingungen festgelegt werden. Bedingungen können sich auf Eingaben, interne Zustände oder andere Signale beziehen. Beispielsweise könnte eine Übergangsregel festlegen, dass ein erkannter Sprachbefehl den Roboter veranlasst, den Leerlaufmodus zu verlassen und in den Navigationsmodus zu wechseln.

Eine automatische Formatierungsfunktion ordnet die Arbeitsfläche neu an, um die Lesbarkeit des Flussdiagramms auch bei zunehmender Größe zu gewährleisten.

Einsatz

Nach Abschluss der Konfiguration kann der Entwickler diese direkt über die Benutzeroberfläche bereitstellen. Die Konfiguration wird über das OpenMind-Portal auf den Roboter hochgeladen und ohne manuelle Dateiübertragung angewendet. Für Teams, die OM1 lokal oder in Produktionsumgebungen einsetzen, lässt sich dieselbe Konfiguration mithilfe von Kommandozeilentools oder containerisierten Workflows bereitstellen.

Unterstützte Modelle und Komponenten

Laut OpenMind unterstützt der App Builder aktuell mehr als sechs Sprachmodelle, über vierzig Eingabefelder, dreißig Aktionen und mehr als zehn Hintergrundkontexte. Diese Zahlen spiegeln den modularen Aufbau von OM1 wider, bei dem jede Komponente als Plugin implementiert ist.

Sprachmodelle lassen sich austauschen, ohne die Anwendungslogik neu schreiben zu müssen. Eingaben und Aktionen sind ebenfalls austauschbar, sofern die zugrundeliegende Hardware dies unterstützt. Dieser Ansatz ermöglicht es Entwicklern, schnell mit verschiedenen Konfigurationen zu experimentieren und gleichzeitig eine konsistente Struktur beizubehalten.

Integration mit OM1 und codebasierten Workflows

Der App Builder legt zwar Wert auf die visuelle Konfiguration, ist aber so konzipiert, dass er sich in die Codebasis von OM1 integrieren lässt.

Entwickler können Konfigurationen als strukturierte Dateien exportieren und in der Versionskontrolle speichern. Fortgeschrittene Benutzer können benutzerdefinierte Eingaben und Aktionen erstellen, indem sie Python-Module zu den entsprechenden Verzeichnissen im OM1-Repository hinzufügen. Diese benutzerdefinierten Komponenten stehen dann in der App-Builder-Oberfläche zur Auswahl.

Für den Einsatz in großem Umfang oder auf Edge-Geräten wie Nvidia Jetson-Hardware unterstützt OM1 containerbasierte Setups. Der App Builder ergänzt diese Workflows, indem er den Zeitaufwand für die Erstkonfiguration und Iteration reduziert.

Hardwareabstraktion und Portabilität

Eines der zentralen Designziele von OM1 ist Hardware-Unabhängigkeit. Der App Builder trägt dem Rechnung, indem er nur übergeordnete Verhaltensweisen anstatt detaillierter Motorsteuerung bereitstellt. So kann ein Entwickler beispielsweise eine Navigationsaktion konfigurieren, ohne die Bewegung einzelner Gelenke festlegen zu müssen.

Diese Abstraktion wird durch eine Hardware-Abstraktionsschicht realisiert, die OM1-Aktionen mit roboterspezifischen Softwareentwicklungskits wie ROS2 oder Hersteller-APIs verbindet. Dadurch kann dieselbe Anwendungslogik oft mit minimalen Änderungen auf verschiedenen Robotern wiederverwendet werden.

Einschränkungen und Überlegungen

Der App Builder soll gängige Aufgaben vereinfachen, ersetzt aber nicht das technische Urteilsvermögen.

Einige Hardwareplattformen bieten je nach Rechenleistung nur eingeschränkte Unterstützung. Der volle Funktionsumfang ist derzeit auf neueren Nvidia-basierten Systemen verfügbar, während bei älteren Plattformen Kompromisse erforderlich sein können. Die OM1-Kernlaufzeitumgebung beschränkt aus Sicherheits- und Zuverlässigkeitsgründen zudem den direkten Internetzugriff, was sich auf die Nutzung externer APIs auswirkt.

Für komplexe autonome Funktionen wird von Entwicklern erwartet, dass sie App-Builder-Konfigurationen mit Simulationen, bestärkendem Lernen und umfangreichen Tests kombinieren. Die OpenMind-Dokumentation betont, dass man mit einfachen Verhaltensweisen beginnen und diese in simulierten Umgebungen validieren sollte, bevor man sie auf realen Maschinen einsetzt.

Fazit

Der OpenMind App Builder ist ein visuelles Konfigurationstool, das auf der OM1-Laufzeitumgebung aufsetzt und die Erstellung und Bereitstellung von Roboteranwendungen vereinfacht. Indem es das Roboterverhalten als Modi, Übergänge und modulare Komponenten darstellt, ermöglicht es Entwicklern, funktionale Anwendungen zusammenzustellen, ohne für jeden Schritt Code schreiben zu müssen.

Sein Wert liegt in der Reduzierung des Einrichtungsaufwands bei gleichzeitiger Kompatibilität mit codebasierten Arbeitsabläufen. Für Teams, die auf OM1 aufbauen, bietet der App Builder eine strukturierte Möglichkeit, Roboterverhalten auf verschiedenen Hardwareplattformen zu entwerfen, zu testen und bereitzustellen. Anstatt die traditionelle Entwicklung zu ersetzen, dient er als Schnittstelle, die das zugrundeliegende System zugänglicher und verständlicher macht.

Quellen:

• X-PostAnkündigung des OpenMind App Builders 
• Entwicklerportal: Apps auf OpenMind erstellen