Rakuten baut automatisierte E-Commerce-Infrastruktur mit Proxmox VE

Um die Performance, die Kostenabschätzung und die operative Flexibilität zu verbessern, modernisierte Rakuten France seine QA- und Entwicklungsumgebung mit Proxmox VE. Was ursprünglich als Ersatz für eine cloudbasierte Lösung begann, entwickelte sich zu einem wichtigen Erfolgsfaktor für die Erweiterung der Plattform zu einem Produktionscluster mit 17 Knoten und rund 500 virtuellen Maschinen.

Als einer der führenden digitalen Marktplätze des Landes ist Rakuten France auf eine leistungsfähige technische Grundlage angewiesen. Sie trägt zentrale Bereiche des Betriebs, darunter Entwicklung und Qualitätssicherung, Datenbanken, Microservices, Dienste für DNS, Anwendungen auf Basis von Kubernetes sowie stark frequentierte Workloads im Produktivbetrieb. Für das Unternehmen ist diese Zuverlässigkeit entscheidend, damit Entwicklungsteams effizient arbeiten und kundennahe Dienste durchgehend erreichbar bleiben.

Cloud-Engpass: Hohe Kosten und Performance-Probleme

Bevor die neue Plattform entstand, liefen die QA- und Entwicklungsumgebungen des Unternehmens in einer Public Cloud, die von einem externen Anbieter gehostet wurde. Obwohl dieses Modell grundsätzlich flexibel war, entsprach die tägliche Praxis nicht mehr den betrieblichen Erwartungen.

Die Performance war durchweg langsam, was sich auf die QA- und Entwicklungsabläufe negativ auswirkte und die Tests ineffizient machte. Der technische Support war ein weiterer Schwachpunkt, da die Reaktionszeiten und die Problemlösungen den Anforderungen des Teams nicht gerecht wurden. Auch die Kosten ließen sich immer schwieriger rechtfertigen: Im Vergleich zu einer gleichwertigen, selbst gehosteten Lösung war die bisherige Cloud-basierte Konfiguration schätzungsweise etwa dreimal so teuer.

Das Ziel war klar: eine Plattform mit besserer Performance, besser kalkulierbaren Kosten, einem reaktionsschnellen Support und ausreichender Flexibilität zum bedarfsgerechten Einrichten und Entfernen von QA-Umgebungen aufzubauen.

Aufbau einer automatisierten Plattform mit Proxmox VE

Enix, der Partner für Hosting und Managed Services der neuen QA- und Entwicklungsplattform, empfahl Proxmox VE als Virtualisierungsgrundlage. Mit seiner Proxmox VE-Expertise und seinem 24/7-Managed-Services-Modell unterstützte Enix Rakuten France bei der Konzeption, Implementierung und dem Betrieb der neuen Umgebung.

Proxmox VE bot dem Team die nötige Flexibilität, um die QA-Umgebungen mithilfe von „Infrastructure-as-Code“ zu automatisieren. Mithilfe von Terraform können Umgebungen je nach Bedarf erstellt und entfernt werden. Die offene Architektur trug zudem dazu bei, restriktive Lizenzmodelle zu vermeiden, indem Hypervisoren mit einer hohen Anzahl an Kernen betrieben werden konnten, ohne dass die bei einigen traditionellen Virtualisierungsplattformen üblichen Lizenzkosten pro Kern anfielen.

Die Performance war ein weiterer Schlüsselfaktor. Bei mehreren Workloads handelt es sich um ältere monolithische Java-Anwendungen, die stark auf eine hohe Single-Thread-Leistung angewiesen sind. Die Plattform wurde daher unter Berücksichtigung des tatsächlichen Anwendungsprofils und nicht anhand generischer Hardware-Benchmarks konzipiert.

Von der QA-Plattform zum Produktionscluster

Die Implementierung begann mit einer QA-Plattform mit vier Knoten und wurde später zu einem QA- und Entwicklungscluster mit sieben Knoten erweitert. Enix unterstützte die Hardware-Definition, die Installation, das Netzwerk-Engineering sowie die „Infrastructure-as-Code“-Tools. Das endgültige Design sah eine verteilte Redundanz über den gesamten Cluster vor und hielt genügend Reservekapazität vor, um den Ausfall eines gesamten Hypervisors tolerieren zu können.

Der QA- und Entwicklungscluster wurde von Anfang an als Proxmox-native Plattform konzipiert. Jeder Dell-Server ist mit zwei AMD EPYC 7443-Prozessoren, 1 TB RAM und zwei 15-TB-NVMe-Laufwerken für Ceph ausgestattet. Die auf Terraform basierende Automatisierung wurde so konzipiert, dass sie mit der automatisierten VM-Neuverteilung über ProxLB, einem Open-Source-Load-Balancer für Proxmox VE, zusammenarbeitet, sodass die Verlagerung von Workloads innerhalb des Clusters stets mit dem „Infrastructure-as-Code“-Zustand synchron gehalten wird.

Heute betreibt Rakuten France zwei Proxmox VE Cluster:

• QA und Entwicklung: Ein Proxmox VE Cluster mit 7 Knoten und Ceph-Storage, ausgelegt für Infrastructure-as-Code und On-Demand-Provisioning.
• Produktion: Ein Proxmox VE Cluster mit 17 Knoten und rund 500 VMs.
• Größenordnung: Rund 900 virtuelle Maschinen über beide Cluster hinweg, davon etwa 500 in der Produktion und 400 in QA und Pre-Production.
• Storage: Ceph im QA- und Entwicklungscluster; übernommener iSCSI-SAN-Storage im Produktionscluster.
• Verfügbarkeitsmodell: High Availability wird in erster Linie auf Anwendungsebene umgesetzt, während die Proxmox VE Ebene als stateless Compute-Plattform konzipiert ist.

Weitere Produktionskomponenten befinden sich außerhalb dieser spezifischen Umgebung und fallen nicht in den Rahmen dieses Berichtes. Die hier beschriebene Proxmox VE-Plattform unterstützt die E-Commerce-Website und wichtige Dienste wie MariaDB, Couchbase, Redis, RabbitMQ, PostgreSQL mit Patroni, Kubernetes, Docker-basierte Microservices und PowerDNS.

Persistente Anwendungs- und Datenbankdaten werden auf separaten physischen Systemen mit eigenen Backup- und Recovery Mechanismen verwaltet. Aus diesem Grund ist der Proxmox Backup Server nicht Teil dieser spezifischen Architektur.

Niedrigere Kosten und mehr Performance

Die Umstellung von der bisherigen cloudbasierten QA- und Entwicklungsumgebung zu Proxmox VE brachte deutliche betriebliche und wirtschaftliche Vorteile mit sich. Das sichtbarste Ergebnis war die Kostenreduktion. Verglichen mit dem zuvor lokal verwalteten Cloud-Anbieter senkte die neue Proxmox VE-basierte Plattform die Infrastrukturkosten für QA und Entwicklung auf ungefähr ein Drittel. Gleichzeitig profitierte das Team von einem besser vorhersehbaren Kostenmodell und umging die mit herkömmlichen Virtualisierungsplattformen üblichen Lizenzbeschränkungen.

Auch die Performance verbesserte sich. Die neue Infrastruktur bietet ein schnelleres und besser vorhersehbares Verhalten für QA- und Entwicklungsworkloads, wodurch die Teams effizienter arbeiten können. Mit Terraform-basierter Automatisierung lassen sich Umgebungen bei Bedarf erstellen und wieder entfernen. Das unterstützt einen flüssigeren Entwicklungsprozess und hält den Betrieb zugleich konsistent und überschaubar.

Vor allem aber wurde die QA- und Entwicklungsumgebung zu einem erfolgreichen Proof-of-Concept. Ihre Zuverlässigkeit, Performance und operative Flexibilität gaben dem Team das Vertrauen, Proxmox VE auf einen Produktionscluster mit 17 Knoten auszuweiten.

Eine skalierbare Grundlage für zukünftiges Wachstum

Was als Plattform für Qualitätssicherung und Entwicklung begann, hat sich zu einer umfassenden Virtualisierungsumgebung entwickelt, die sowohl nicht produktive als auch produktive Workloads unterstützt. Mit „Infrastructure-as-Code“, Ceph-basiertem Speicher für Qualitätssicherung und Entwicklung sowie Redundanz auf Anwendungsebene bietet Proxmox VE Rakuten France eine flexible Plattform für den Betrieb und den Ausbau seiner E-Commerce-Infrastruktur.

Thibaud Simond
Leiter Abteilung Infrastruktur bei Rakuten France

Über Rakuten France
Rakuten France ist ein E-Commerce-Unternehmen mit Hauptsitz in Paris. Das im Jahr 2000 gegründete Unternehmen betreibt eine große Online-Shopping-Plattform und beschäftigt rund 200 Mitarbeitende. Als Teil der globalen Rakuten Group bietet Rakuten France digitale Marktplatzdienste für den Online-Handel an. Unterstützt wird dies durch eine IT-Umgebung, die Entwicklung, Qualitätssicherung, Datenbanken, Microservices und Produktions-Workloads umfasst.

Über Enix
Enix ist ein Hosting- und Managed-Services-Anbieter mit Spezialisierung auf Open-Source-Infrastruktur und Proxmox VE. Das Unternehmen unterstützte Rakuten France beim Design, bei der Implementierung und beim Betrieb der QA- und Entwicklungsplattform.