Success story

Der Weg von Legacy zur Zukunft – DoubleVerifys Übergang von F5 zu HAProxy Enterprise

Kosteneinsparung
Horizontale Skalierbarkeit
Bessere Leistungsfähigkeit
Netzwerkweite Observability

Über DoubleVerify

DoubleVerify überwacht die Qualität von Ad-Impressions und gibt seinen Kunden sofortiges Feedback, damit sie sicherstellen können, dass sie das bestmögliche aus ihren Werbekampagnen ziehen. Die Plattform bietet Dashboards, die zeigen, wie viele Impressions authentisch waren, von echten Personen gesehen und in einer markensicheren Umgebung, neben geeigneten Content, angezeigt worden. Außerdem werden Websites auf Betrug überprüft, wodurch die Kunden vor Praktiken wie gestapelten und versteckten Ads, URL-Maskierung und Impression-Laundering geschützt werden.

Resultatsüberblick

Kosteneinsparung
Horizontale Skalierbarkeit
Bessere Leistungsfähigkeit
Netzwerkweite Observability

Die Challenge

Mit schnellen Wachstum in 2016, begann DoubleVerify Bedenken hinsichtlich des steigenden Preises seiner Load Balancing-Infrastruktur zu haben. Um die Popularität der DoubleVerify-Plattform zu unterstützen, war das Team gezwungen alle zwei Jahre größere und teurere Hardware zu kaufen, von Citrix auf F5 umzusteigen und Millionen Dollar auszugeben. Bis 2016 hatte DoubleVerify mehr als 500.000 Anfragen pro Sekunde. Sie mussten eine Lösung finden, die ihnen weitere Skalierung ermöglicht, jedoch ohne die astronomischen Kosten.

Wir haben einen ganz besonderen Rabatt erhalten und die Endkosten betrugen nur 5,2 Millionen US-Dollar. Zu diesem Zeitpunkt sagten wir: „In Ordnung, das ist genug. Wir müssen eine bessere Lösung finden.“

Aber da waren auch andere Probleme. Erstens, die vorhandenen Load Balancers waren inflexible. Sie konnten nicht auf Standardhardware installiert werden, was auch bedeutete, dass das Team keine Kontrolle über das Betriebssystem oder die Specs hatte. DoubleVerifys Datenverkehr besteht aus vielen kleinen Messages, die schnell ausgetauscht werden. Die als One-Size-Fits-All konzipierten Server waren für so ein Setup nicht geeignet. Spontane Konfigurationsänderungen an den Hardwareservern waren nicht möglich.

Ein weiteres Problem war der Mangel an operativen Metriken die das Team brauchte, die aber mit F5 und Citrix Load Balancers nicht verfügbar waren. Dies bedeutete einen begrenzten Einblick in den Anfragen-Traffic und keine Möglichkeiten, Trends zu erkennen. Mit so einem System blieben viele Fragen über die Infrastruktur unbeantwortet. Und DoubleVerify brauchte präzise und aktuelle Daten.

talk-main-image-dv

Wally Barnes III und Oren Alexandroni, während ihres HAProxyConf 2019-Vortrags

Die Ziele

DoubleVerifys wichtigster Ziel, sollte sich das Team für den Ersatz ihrer alten Load Balancer entscheiden, war – Skalierbarkeit. Die neue Lösung sollte in der Lage sein zusammen mit dem Unternehmen zu wachsen – und zwar kostenwirksam. Ihre Einschätzungen zeigten, dass DoubleVerify schon bis zum Ende des Jahres eine Milliarde Anfragen pro Tag bearbeiten wurde. Das neue System sollte für häufige Konfigurationsänderungen angepasst sein und sich gut in den CI/CD-Prozess integrieren lassen.

Geschwindigkeit. Echtzeit Datenerhebung ist äußerst wichtig für DoubleVerifys Plattform – sie muss während des Ad-Renderings erfolgen. Der Datenfluss vom Client über die Load Balancers zu den Backend-Servern muss erfolgen, ohne die Webseite zu verlangsamen.

Observability. Zugriff zu Metriken, Logging und präzisen und aktuellen Daten waren wichtig um bessere Entscheidungen im Bezug zu ihrer Infrastruktur zu treffen. Sollte das Team erfolgreich sein, bedeutete dies, dass sie proaktiv Kapazitäten aufbauen, die Zeit für Fehlerbehebung verkürzen und ihre Apps optimieren könnten. Zuletzt wäre es ideal einen Load Balancer zu finden, der sich ohne Downtime, im laufenden Betrieb, rekonfigurieren kann.

Der Zugriff auf Metriken ist ebenfalls wichtig. Wenn Sie bei Black-Box-Lösungen diese Inisights haben wollen, und die Frage ist auch ob Sie diese sogar erhalten können, müssen Sie ein Third-Party-Produkt, das sehr teuer ist und möglicherweise nicht einmal bietet Sie, was Sie brauchen, kaufen.

Die Lösung

DoubleVerify hat sich für HAProxy Enterprise entschlossen, um ihre vorhandenen F5 VIPRION Load Balancer zu ersetzen. Früher musste das Team leistungsstarke, aber sehr teure Server kaufen. Stattdessen, entschieden sie sich für horizontale Skalierung mit billigeren Standardserver, durch welche dann der Load gleichmäßig verteilt werden wird. Horizontale Skalierung ist auf lange Sicht kostenwirksamer und unterstützt größere Datenverkehrslevel, da bei Bedarf neue Nodes hinzugefügt werden können.

Sie nutzten HAProxy Enterprises Hochleistungsfähigkeit mit den Multi-Prozess- und CPU-Mapping-Features. Mit Ersterem können Sie mehrere HAProxy-Prozesse unter einem Parent-Prozess ausführen. Mit Letzterem können Sie jedem dieser Prozesse einen bestimmten Task zuordnen – HTTP- oder HTTPS-Processing, Frontend- oder Backend-Tasks, usw. Somit können diese Tasks optimiert werden. Problembereiche werden einfacher identifiziert. Weitere Optimierungen wurden durch andere Features, wie Keep-Alive (die Wiederverwendung vorhandener Verbindungen) oder der Runtime API (Serververwaltung im laufenden Betrieb) erreicht.

doubleverify-image-1

DoubleVerify entschied sich für horizontale Skalierung mit billigeren Standardserver, durch welche dann der Load gleichmäßig verteilt werden wird

Weitere Leistungssteigerung erreichten sie durch verbesserte Observability über ihren Datenverkehr. HAProxy Enterprise bietet ausführliche Logging-Reports und Metriken, die das DoubleVerify Team nutzt um bessere Geschäftsentscheidungen zu machen. „Mit F5 hatten wir gar keine Einsichten,“ sagte Wally Barnes, Senior Systemingenieur. „Es ist einfach großartig in der Lage sein zu sehen was hinter den Kulissen passiert.“

Was hat uns das alles gebracht? Wir haben das Ziel erreicht, täglich Milliarden von Anfragen zu bearbeiten, und in den Spitzenzeiten sind es seit einigen Wochen mehr als 5.000.000.000 täglich / 595.000 pro Sekunde.

Die Resultate

DoubleVerify hat sein Ziel erreicht, eine Milliarde Anfragen pro Tag zu bearbeiten. 2019 wurden diese Zahlen verfünffacht. Mit HAProxy Enterprise sind sie zuversichtlich, dass sie für noch viel mehr Anfragen bereit sind. HAProxy Enterprise reduzierte DoubleVerifys Kosten auf ein Zehntel des zuvor gezahlten Preises.

Das neue Setup, mit den HAProxy Enterprise Load Balancern, bietet ihnen Redundancy, sodass ihre Ingenieure Backend-Server, ohne Auswirkung auf die Kunden, hinzufügen oder entfernen können. Die Load Balancer können ohne Downtime aktualisiert und verwaltet werden. Die Konfigurationsdateien werden mithilfe von Automatisierungstools wie Ansible im gesamten globalen Netzwerk von DoubleVerify verwaltet. Der Wechsel von ihren alten Hardware Load Balancern zu HAProxy Enterprise Software Load Balancern, ermöglichte DoubleVerify eine rasante Expansion ihrer Brand Management-Plattform.

Wollen Sie mehr HAProxy Use-Cases entdecken? Besuchen Sie unseren Success Story Page?

Wenden Sie sich an die maßgeblichen Experten bei HAProxy. Diese helfen Ihnen dabei, die Lösung zu finden, die Ihre Anforderungen in puncto Bereitstellung, Skalierung und Sicherheit am besten erfüllt.

Kontaktieren Sie unsere Experten