Zurück zur Übersicht
Production-Benchmarks auf einem neun-Knoten-OCI-Bare-Metal-Cluster mit 72 H100-GPUs zeigen, dass WEKAs NeuralMesh mit Augmented Memory Grid gegenüber DRAM-only-Konfigurationen rund 10× mehr gleichzeitige Nutzer und 10× höheren Token-Durchsatz erreicht.
WEKA und Oracle Cloud Infrastructure veröffentlichten Production-Benchmarks, die auf einem neun-Knoten-Bare-Metal-H100-Cluster mit insgesamt 72 GPUs und Tests mit 100.000-Token-Kontextfenstern durchgeführt wurden. Im Vergleich zu DRAM-only-Konfigurationen berichten die Partner von etwa 10× mehr gleichzeitigen Nutzern, 10× höherem Token-Durchsatz und rund 7× mehr generierten Tokens pro GPU.
Laut den Angaben erreicht WEKAs NeuralMesh mit Augmented Memory Grid diese Verbesserungen, indem NVMe-gestützte Persistenz den nutzbaren Arbeitsspeicher der GPUs effektiv erweitert und damit die bisherige Speicherengstelle bei langen Kontexten entschärft. NeuralMesh mit Augmented Memory Grid ist über den Oracle Marketplace verfügbar.
Die Validierung verändert die Kosten- und Skalierungsbetrachtung für Anwendungen mit sehr langen Kontextfenstern wie multi-turn Agents und persistentem Memory. Ob sich die Benchmarkergebnisse in produktiven SLA-Umgebungen und unter unterschiedlichen Workloads reproduzieren lassen, bleibt anwendungsseitig zu prüfen.
Der Kommentarbereich wird geladen, sobald du ihn erreichst.
Weiterlesen
Marlan Space und Loft Orbital haben in Paris ein Investitionsprogramm für die Satellitenkonstellation Altair Next Gen angekündigt. Die Systeme sollen Sensordaten bereits im Orbit mit KI auswerten und innerhalb von Sekunden Warnungen ausgeben.
OpenAI wird Ankerkunde für zwei geplante KI-Rechenzentren des australischen Infrastrukturunternehmens Firmus. Dadurch steigt die vertraglich gebundene Gesamtkapazität von Firmus auf mehr als 900 Megawatt.
Die Threadripper Halo Station soll große KI-Modelle und agentische Workflows auf einer einzelnen Workstation ausführen. AMD plant die Markteinführung des Prototyps für 2027.
Der KI Cloud Anbieter Nscale und der Roboterhersteller Figure planen eine mehrjährige Partnerschaft für das Training humanoider Roboter. Dafür könnten bis zu 100.000 GPUs der Nvidia Vera Rubin Plattform eingesetzt werden.