Zurück zur Übersicht
Production-Benchmarks auf einem neun-Knoten-OCI-Bare-Metal-Cluster mit 72 H100-GPUs zeigen, dass WEKAs NeuralMesh mit Augmented Memory Grid gegenüber DRAM-only-Konfigurationen rund 10× mehr gleichzeitige Nutzer und 10× höheren Token-Durchsatz erreicht.
WEKA und Oracle Cloud Infrastructure veröffentlichten Production-Benchmarks, die auf einem neun-Knoten-Bare-Metal-H100-Cluster mit insgesamt 72 GPUs und Tests mit 100.000-Token-Kontextfenstern durchgeführt wurden. Im Vergleich zu DRAM-only-Konfigurationen berichten die Partner von etwa 10× mehr gleichzeitigen Nutzern, 10× höherem Token-Durchsatz und rund 7× mehr generierten Tokens pro GPU.
Laut den Angaben erreicht WEKAs NeuralMesh mit Augmented Memory Grid diese Verbesserungen, indem NVMe-gestützte Persistenz den nutzbaren Arbeitsspeicher der GPUs effektiv erweitert und damit die bisherige Speicherengstelle bei langen Kontexten entschärft. NeuralMesh mit Augmented Memory Grid ist über den Oracle Marketplace verfügbar.
Die Validierung verändert die Kosten- und Skalierungsbetrachtung für Anwendungen mit sehr langen Kontextfenstern wie multi-turn Agents und persistentem Memory. Ob sich die Benchmarkergebnisse in produktiven SLA-Umgebungen und unter unterschiedlichen Workloads reproduzieren lassen, bleibt anwendungsseitig zu prüfen.
Weiterlesen
Der neue Dienst wählt für Bild, Video und Audio anhand von Qualitäts-, Kosten- und Geschwindigkeitsvorgaben ein passendes Modell aus. Damit positioniert sich Runway stärker als Infrastrukturanbieter zwischen Anwendungen und generativen Modellen.
Die erste Ausbaustufe der Partnerschaft soll im ersten Halbjahr 2027 starten. AMD plant zudem eine Beteiligung an Anthropic von bis zu fünf Milliarden US Dollar.
Microsoft erweitert seine Azure-Infrastruktur um AMDs Rackscale-System Helios für die Inferenz großer KI-Modelle und weitere KI-Dienste. Zudem kommen neue virtuelle Maschinen mit AMDs EPYC-Prozessoren für agentische KI, Datenpipelines und Halbleiterdesign.
Japan plant gemeinsam mit Nvidia und Noetra eine KI-Fabrik mit 27.500 Rubin-GPUs und 13.750 Vera-CPUs. Die Infrastruktur soll offene Modelle für industrielle KI-Agenten, digitale Zwillinge und Robotik bereitstellen.
Amazon will mindestens 25 Milliarden US-Dollar durch eine in mehreren Tranchen aufgelegte US-Dollar-Anleihe aufnehmen. Die Erlöse sollen in Rechenzentren, Chips und sonstige KI-Infrastruktur fließen; Barclays, Goldman Sachs, J.P. Morgan und Morgan Stanley begleiten die Platzierung.