L'entrée de DoubleVerify dans le futur : de F5 à HAProxy Enterprise

La situation

En 2016, sa croissance rapide a amené la société à s'interroger sur le renchérissement du coût de son infrastructure de répartition de charge. Tous les deux ans, l'équipe devait immanquablement acheter des équipements plus grands et plus chers. Elle était passée de Citrix à F5 et dépensait des millions de dollars pour s'adapter au succès grandissant de la plateforme DoubleVerify. Cette année-là, on atteignait d'ores et déjà 500 000 requêtes à la seconde. Il fallait trouver une solution qui offrait l'évolutivité sans les coûts astronomiques.

D'autres motifs d'inquiétude sont apparus, à commencer par le manque de souplesse des répartiteurs de charge existants. Pas de prise en charge des installations sur du matériel standard, ce qui ôtait tout contrôle sur le système d'exploitation ou les caractéristiques techniques. Avec leur conception standardisée, les serveurs n'étaient pas adaptés au type de trafic de DoubleVerify (échange rapide de nombreux messages de petite taille). Il était impossible d'apporter des modifications à la volée à la configuration des serveurs physiques.

En outre, les répartiteurs de charge Citrix et F5 étaient dépourvus des indicateurs opérationnels dont l'équipe avait besoin. Elle avait donc peu de visibilité du volume de requêtes et s'avérait incapable de déterminer des tendances. Elle ne pouvait qu'émettre des hypothèses à propos de son infrastructure. Il lui fallait des données précises et opportunes.

Les objectifs

Lorsqu'il s'agissait de remplacer les serveurs, le maître-mot était évolutivité. Toute nouvelle technologie devrait s'adapter à la croissance de la société de façon économique. L'équipe savait d'ores et déjà qu'elle voulait prendre en charge un milliard de requêtes par jour. Au rythme où allaient les choses, elle allait attendre ce niveau dans l'année qui suivait. Le système devrait permettre des changements de configuration fréquents et être compatible avec son processus CI/CD.

La collecte de données en temps réel joue aussi un rôle crucial dans le succès de la plateforme DoubleVerify. La fenêtre de temps disponible dépend du temps d'affichage d'une annonce publicitaire. Par conséquent, le flux de données provenant du client et passant par les répartiteurs de charge pour se diriger vers les serveurs de traitement ne doit pas ralentir la page web.

L'observabilité était aussi un élément de poids. L'équipe avait besoin de consulter des indicateurs et des journaux pour prendre les meilleures décisions à propos de l'infrastructure grâce à des données opportunes et précises. Avec une implémentation réussie, elle pourrait renforcer les capacités à l'avance, réduire le temps consacré à la résolution des problèmes et optimiser ses applications. Dans l'idéal, elle disposerait d'un répartiteur de charge permettant une reconfiguration à la volée sans entraver la disponibilité.

La solution

DoubleVerify a choisi HAProxy Enterprise pour remplacer les répartiteurs de charge F5 VIPRION. Plus besoin de quelques serveurs très coûteux, comme dans le passé. L'équipe a opté pour une extension horizontale, qui consistait à utiliser des serveurs standard bon marché et à répartir de façon égale la charge entre eux. Ce procédé est plus économique à terme et permet la prise en charge de volumes de trafic bien plus importants, car des nœuds peuvent être ajoutés en fonction des besoins.

HAProxy Enterprise a été ajusté grâce à ses fonctions de traitement multiprocessus et d'affinité du processeur. La première permet d'exécuter plusieurs processus HAProxy dans un processus parent. Grâce à la deuxième, il est possible d'attribuer une tâche spécifique à chacun de ces processus, de les associer au traitement HTTP, au traitement HTTPS, au traitement frontal et au traitement backend. On optimise ainsi ces tâches et il devient plus facile de repérer les domaines qui posent problème. D'autres fonctions telles que Keep-Alive (réutilisation de connexions existantes) et Runtime API (activation et désactivation des serveurs à la volée) optimisent encore plus la couche de répartition de charge.

L'équipe peut désormais mieux analyser le trafic. HAProxy Enterprise propose des journaux et des indicateurs détaillés, que l'équipe DoubleVerify consulte pour la prise de décision. “Avec F5, nous ne disposions d'aucune information", affirme Wally Barnes, technicien réseau principal. “C'est extraordinaire d'être en mesure de tout voir.”

Les résultats

DoubleVerify est parvenu à son objectif de traiter un milliard de requêtes par jour et l'a multiplié par cinq en 2019. Avec HAProxy Enterprise, l'équipe sait qu'elle peut aller encore plus loin. En passant à HAProxy Enterprise, DoubleVerify a aussi réduit ses coûts de 90 %.

La nouvelle couche de répartition de charge apporte également la redondance. Les ingénieurs peuvent donc ajouter ou retirer des serveurs de traitement sans répercussion pour les clients. Les mises à niveau et les opérations de maintenance des répartiteurs de charge n'altèrent en rien le temps de disponibilité. Les fichiers de configuration sont gérés sur le réseau mondial de DoubleVerify grâce à des outils d'automatisation tels qu'Ansible. La transition entre les anciens équipements de répartition de charge et le répartiteur de charge logiciel de HAProxy Enterprise a accompagné l'ascension fulgurante de sa plateforme de gestion de marque.

Pour en savoir plus sur les cas d'utilisation de HAProxy, consultez la page Exemples de réussite.