Acteur majeur du e-commerce en France, Rakuten France s’appuie sur une infrastructure critique pour assurer le fonctionnement de sa marketplace et accompagner les cycles de développement de ses équipes. Celle-ci héberge des environnements de QA, de préproduction et de production, ainsi que de nombreux services applicatifs, bases de données, microservices et clusters Kubernetes.
Pour améliorer les performances de ses environnements, maîtriser durablement ses coûts et gagner en autonomie opérationnelle, Rakuten France nous a confié la conception, le déploiement, l’hébergement et l’infogérance d’une nouvelle plateforme de virtualisation basée sur Proxmox VE.
Initialement destiné aux environnements de QA et de développement, le projet a démontré sa fiabilité et sa pertinence à une échelle suffisante pour devenir le socle d’un cluster de production de 17 nœuds. Rakuten France exploite aujourd’hui près de 1000 machines virtuelles sur ses deux clusters Proxmox VE.
Remplacer un cloud coûteux et peu performant
Les environnements de QA et de développement de Rakuten France reposaient auparavant sur un cloud public opéré par un autre prestataire. Cette infrastructure ne répondait plus aux besoins des équipes. Les performances ralentissaient les tests et les cycles de développement, tandis que le support manquait de réactivité. À capacité équivalente, son coût était également estimé près de trois fois supérieur à celui d’une infrastructure dédiée et infogérée. Rakuten France souhaitait donc construire une nouvelle plateforme répondant à quatre principaux objectifs :
- Améliorer les performances des environnements de QA et de développement ;
- Rendre les coûts d’infrastructure plus prévisibles ;
- Automatiser la création des environnements ;
- Bénéficier d’un support technique réactif et expérimenté.
Une plateforme Proxmox VE conçue sur mesure
Après analyse des besoins de Rakuten France, nous avons retenu Proxmox VE comme socle de virtualisation. Cette solution open source répondait aux besoins d’automatisation et de flexibilité, sans les coûts de licences par cœur imposés par certains acteurs historiques. L’architecture et le matériel ont été dimensionnés selon les contraintes réelles des applications. Plusieurs workloads Java monolithiques nécessitent notamment de fortes performances single-thread.
Notre intervention a couvert l’ensemble du projet :
- Définition de l’architecture, choix et dimensionnement du matériel ;
- Configuration des serveurs et conception du réseau ;
- Déploiement des clusters Proxmox VE ;
- Mise en place du stockage distribué Ceph ;
- Développement des outils d’Infrastructure as Code ;
- Mise en supervision et gestion des accès ;
- Hébergement et infogérance de la plateforme.
Des environnements créés à la demande avec Terraform
La plateforme a été conçue pour automatiser la création et la suppression des environnements de QA et de développement. Grâce à Terraform, les équipes peuvent déployer des environnements à la demande tout en garantissant la cohérence et la reproductibilité des configurations. La plateforme intègre également ProxLB, un outil open source qui répartit automatiquement les machines virtuelles entre les hyperviseurs Proxmox VE. Les plans Terraform peuvent ainsi cohabiter avec les déplacements de VM sans créer de conflit entre l’infrastructure déclarée et son état réel.
D’un premier cluster de quatre nœuds à près de 1000 machines virtuelles
Le projet a commencé par une première plateforme de QA composée de quatre nœuds. Après avoir validé son fonctionnement et ses performances, Rakuten France l’a progressivement étendue pour constituer un cluster de sept nœuds dédié à la QA, au développement et à la préproduction.
Chaque serveur Dell de ce cluster est équipé de :
- Deux processeurs AMD EPYC 7443 ;
- 1 To de mémoire vive ;
- Deux disques NVMe de 15 To utilisés par Ceph.
L’architecture mutualise la redondance à l’échelle du cluster et conserve suffisamment de capacité disponible pour supporter la perte complète d’un hyperviseur.
Le succès de cette première plateforme a ensuite donné à Rakuten France la confiance nécessaire pour étendre Proxmox VE à ses workloads de production. L’entreprise exploite désormais :
- Un cluster Proxmox VE de sept nœuds pour la QA, le développement et la préproduction, avec un stockage distribué Ceph et un provisioning automatisé par Terraform ;
- Un cluster Proxmox VE de 17 nœuds pour la production, hébergeant environ 500 machines virtuelles.
Au total, les deux clusters hébergent près de 1000 machines virtuelles.
Un socle pour les services critiques de la marketplace
Les clusters Proxmox VE hébergent une grande variété de composants indispensables au fonctionnement de la marketplace Rakuten France : Des services de données reposant sur PostgreSQL avec Patroni, MariaDB, Couchbase, Redis et du messaging RabbitMQ ; Des microservices conteneurisés avec Docker et des clusters Kubernetes ; Des services DNS basés sur PowerDNS.
La haute disponibilité est principalement gérée au niveau des applications. Le socle Proxmox VE est pour sa part conçu comme une couche de calcul conçue pour être aussi stateless que possible.
Les données persistantes des applications et des bases de données sont hébergées sur des systèmes physiques distincts, disposant de leurs propres mécanismes de sauvegarde et de restauration.
Le stockage du cluster de QA et de développement repose sur Ceph, tandis que le cluster de production utilise une infrastructure SAN iSCSI héritée de l’environnement précédent.
Des coûts divisés par trois
Le remplacement de l’ancien cloud par une plateforme Proxmox VE dédiée a produit des bénéfices immédiats, tant sur le plan technique qu’économique.
Le coût des infrastructures de QA et de développement a été réduit d’un facteur proche de trois par rapport à la solution précédente. Rakuten France bénéficie désormais aussi d’un modèle économique plus prévisible, sans tarification variable difficile à anticiper ni contrainte de licences par cœur. L’entreprise conserve également davantage de liberté pour adapter la capacité de ses hyperviseurs à ses besoins.
Les performances se sont nettement améliorées. Les équipes disposent d’environnements plus rapides et au comportement plus régulier, ce qui facilite les tests et accélère les cycles de développement.
Un accompagnement de proximité, de la conception à l’exploitation en 24/7
Au-delà du choix technologique, Rakuten France recherchait un partenaire capable de comprendre ses contraintes applicatives, de concevoir une architecture sur mesure et de l’accompagner dans la durée. Grâce à notre expertise Proxmox VE et à notre modèle d’infogérance 24/7, nous accompagnons Rakuten France sur l’ensemble du cycle de vie de la plateforme, de sa conception à son exploitation. Rakuten France bénéficie d’un accès direct à nos ingénieurs, qui interviennent aussi bien sur la couche de virtualisation Proxmox VE que sur le matériel, le réseau et le stockage distribué.
Cette proximité a permis de construire progressivement une plateforme adaptée aux usages réels de l’entreprise, plutôt que de transposer un modèle d’infrastructure standardisé.
Une plateforme éprouvée, désormais utilisée en production
Le cluster de QA et de développement constituait initialement une première étape destinée à valider la pertinence de Proxmox VE pour les besoins de Rakuten France.
Sa fiabilité, ses performances et sa flexibilité opérationnelle ont transformé cette première plateforme en preuve de concept à grande échelle. Rakuten France a ainsi choisi d’étendre Proxmox VE à un cluster de production de 17 nœuds hébergeant les principaux services de sa marketplace.
Ce qui avait commencé comme le remplacement ciblé d’un environnement cloud de QA est ainsi devenu un socle de virtualisation stratégique, capable d’accompagner les besoins actuels et futurs de l’entreprise.
