Einzelkamera-Modell steuert Roboter in unbekannte Umgebungen

Mistral AI hat Robostral Navigate vorgestellt, ein 8-Milliarden-Parameter-Modell, das Roboter anhand natürlicher Sprachbefehle und eines einzelnen RGB-Kamerabildes durch zuvor ungesehene Umgebungen steuern soll. Das System lasse sich nach Angaben des Unternehmens auf Rad-, Bein- und Flugrobotern betreiben.

Mistral nennt eine Erfolgsquote von 76,6 Prozent auf dem R2R-CE-Benchmark (validation unseen). Damit liege Robostral Navigate 9,7 Punkte vor den besten bisherigen Einzelkamera-Ansätzen und 4,5 Punkte vor Systemen mit Tiefensensoren oder LiDAR. Das Modell wurde vollständig in Simulation trainiert.

Das Unternehmen bezeichnet den Schritt als Beitrag zur Entwicklung von "embodied KI". Robostral Navigate fokussiere auf Navigation, nicht auf Manipulation. Mistral hebt token-effizientes Training (prefix-caching) und nachträgliche Online-Verstärkungslernverfahren (CISPO) als technische Merkmale hervor.