Bulut İzleme Platformu
Dakikada 2M+ metrik işleyen, otomatik olay müdahalesi ve uyarı sistemine sahip gerçek zamanlı bir altyapı izleme platformu tasarlandı.
Bir FinTech scale-up'ı deploylar arasında kör uçuyordu — olaylar müşterilerce bulunuyor, post-mortem'ler tahmine dayanıyor, altyapı harcaması trafiği geçiyordu. Log kazmayı zaman çizelgesi okumaya dönüştüren ve maliyeti her ekibin görebileceği bir sayı hâline getiren gerçek zamanlı bir gözlemlenebilirlik platformu kurduk.
Bir FinTech scale-up'ı deploylar arasında kör uçuyordu: olayları müşteriler fark ediyor, post-mortem'ler tahmine dayanıyor ve altyapı harcaması trafikten hızlı büyüyordu.
Her servisten metrik toplayan gerçek zamanlı bir izleme platformu: otomatik anomali uyarıları, olay zaman çizelgeleri ve servis başına maliyet ataması. Nöbetçi mühendisler log aramaktan zaman çizelgesi okumaya geçti.
AWS üzerinde dakikada 2M+ metrik işleyen yüksek verimli bir toplama hattı; uzun vadeli saklama için örneklem azaltma ve panelleri besleyen TypeScript sorgu katmanı. Uyarı kuralları, izledikleri servislerin yanında repoda versiyonlanır.
Öne Çıkan Özellikler
Gerçek zamanlı metrik toplama
Her servisten dakikada iki milyondan fazla metrik, üretildikten saniyeler sonra sorgulanabilir.
Otomatik anomali uyarıları
Uyarı kuralları, izledikleri servislerin yanında repoda versiyonlanır — gerçeklikle senkronu kaçan panellere son.
Olay zaman çizelgeleri
Nöbetçi mühendisler gece 3'te bir düzine servis arasında log taramak yerine yeniden kurulmuş bir zaman çizelgesi okur.
Servis başına maliyet ataması
Altyapı harcaması servise göre ayrıştırılır; maliyet konuşmaları suçlamadan değil veriden başlar.
Teknik Kararlar
Önce verim için kurulan toplama
Hat sert bir sayı etrafında tasarlandı — dakikada 2M metrik — geri basınç ve örneklem azaltma tek bir panel çizilmeden çözüldü.
Kod olarak uyarı kuralları
İzleme, izlediği servislerle aynı repoda yaşar, aynı pull request'lerde incelenir — böylece gözlemlenebilirlik sistemin gerisinde değil, onunla evrilir.
Örneklem azaltılmış uzun vadeli saklama
Tam çözünürlüklü güncel veri, örneklem azaltılmış geçmiş. Mühendisler şimdi detayı, sonra trendleri sınırsız bir saklama faturası olmadan alır.
%80
ortalama kurtarma süresinde azalma
%45
altyapı maliyeti düşüşü
2M+
dakikada işlenen metrik
Olaylar, müşterilerin bildirdiği kesintiler olmaktan çıkıp dakikalar süren ve içeride yakalanan vakalara dönüştü; maliyet ataması görünümü projeyi ilk çeyrekte amorti etti.
Geliştirme Süreci
Keşif
Nöbet ekibiyle oturup olayların gerçekte nasıl geliştiğini — ve mevcut araçların nerede sustuğunu — öğrenmek.
Toplama temeli
Yüksek verimli hat, herhangi bir arayüz çalışması başlamadan hedefine kadar kurulup yük testinden geçirildi.
Ürün olarak paneller
İç paneller ürün düzeyinde özenle tasarlandı; çünkü mühendislerin kaçındığı araç, başarısız olmuş araçtır.
Maliyet katmanı
Metrik temeli güvenilir olunca atama eklendi; platformu tepkiselden stratejiğe taşıdı.
Yol Haritası
- Öngörücü olay tespiti
- SLO bütçe panelleri
- Otomatik maliyet anomali uyarıları
- Self-servis servis kurulumu