Cloud-Monitoring-Plattform
Architektur einer Echtzeit-Infrastrukturüberwachungsplattform, die 2M+ Metriken pro Minute verarbeitet mit automatisierter Incident-Response und Alerting.
Ein FinTech-Scale-up flog zwischen Deployments blind — Incidents von Kunden entdeckt, Post-Mortems auf Vermutungen gebaut, Infrastrukturausgaben schneller als der Traffic. Wir bauten eine Echtzeit-Observability-Plattform, die Log-Wühlen in Timeline-Lesen verwandelte und Kosten zu einer Zahl machte, die jedes Team sehen konnte.
Ein FinTech-Scale-up flog zwischen Deployments blind: Incidents wurden von Kunden entdeckt, Post-Mortems beruhten auf Vermutungen, und die Infrastrukturkosten wuchsen schneller als der Traffic.
Eine Echtzeit-Monitoring-Plattform, die Metriken aus jedem Service aufnimmt — mit automatischen Anomalie-Alerts, Incident-Timelines und Kostenzuordnung pro Service. On-Call-Engineers lesen eine Timeline statt Logs zu durchsuchen.
Eine Hochdurchsatz-Ingestion-Pipeline auf AWS für 2M+ Metriken pro Minute, mit heruntergesampelter Langzeitspeicherung und einer TypeScript-Query-Schicht für die Dashboards. Alert-Regeln werden im Repo versioniert — direkt neben den Services, die sie überwachen.
Kernfunktionen
Echtzeit-Metrik-Ingestion
Über zwei Millionen Metriken pro Minute von jedem Service, abfragbar Sekunden nach der Emission.
Automatisierte Anomalie-Alerts
Alert-Regeln im Repo neben den überwachten Services versioniert — keine Dashboards mehr, die sich von der Realität entfernen.
Incident-Timelines
On-Call-Engineers lesen eine rekonstruierte Timeline, statt um 3 Uhr Logs über ein Dutzend Services zu durchsuchen.
Kostenzuordnung pro Service
Infrastrukturausgaben nach Service aufgeschlüsselt, sodass Kostengespräche von Daten statt Schuldzuweisung ausgehen.
Technische Entscheidungen
Ingestion zuerst für Durchsatz gebaut
Die Pipeline wurde um eine harte Zahl entworfen — 2M Metriken/Minute — mit Backpressure und Downsampling geklärt, bevor ein Dashboard gezeichnet wurde.
Alert-Regeln als Code
Monitoring lebt im selben Repo wie die überwachten Services, geprüft in denselben Pull Requests — so entwickelt sich Observability mit dem System, nicht dahinter.
Heruntergesampelte Langzeitspeicherung
Aktuelle Daten in voller Auflösung, Historie heruntergesampelt. Engineers bekommen jetzt das Detail und später die Trends ohne unbegrenzte Speicherrechnung.
80%
kürzere Mean Time to Recovery
45%
geringere Infrastrukturkosten
2M+
Metriken pro Minute
Incidents wurden zu minutenkurzen, intern erkannten Ereignissen statt kundengemeldeter Ausfälle — und die Kostenzuordnung amortisierte das Projekt im ersten Quartal.
Entwicklungsprozess
Discovery
Beim On-Call-Rotationsteam sitzen, um zu lernen, wie Incidents wirklich abliefen — und wo das bestehende Tooling verstummte.
Ingestion-Fundament
Die Hochdurchsatz-Pipeline gebaut und auf ihr Ziel lastgetestet, bevor UI-Arbeit begann.
Dashboards als Produkt
Interne Dashboards mit Produkt-Sorgfalt entworfen, denn ein Tool, das Engineers meiden, ist gescheitert.
Kosten-Schicht
Attribution hinzugefügt, sobald das Metrik-Fundament vertraut war — von reaktiv zu strategisch.
Zukünftige Roadmap
- Prädiktive Incident-Erkennung
- SLO-Budget-Dashboards
- Automatisierte Kosten-Anomalie-Alerts
- Self-Service-Service-Onboarding