Apache Airflow is a job orchestration framework that allows developers to programmatically author, schedule, and monitor data pipelines. Apache Airflow itself and all the workflows are written in Python. So workflows become easy to code, more maintainable, versionable, testable, and collaborative.
Merhaba, bu yazımda sizlere Apache Kafka ‘da bulunan Günlük Sıkıştırma (Log Compaction) özelliğinin ne olduğunu, nasıl çalıştığını ve kullanım alanlarını kısaca anlatmaya çalışacağım.
Apache Kafka, dağınık mimariyle çalışan yüksek performanslı veri akış platformudur. Temel amacı gerçek zamanlı verilerin yüksek hacim ve düşük geçikme ile üreticiden tüketiciye anahtar-değer (key-value message) ikilisiyle
Merhaba, Elasticsearch (ES) genel olarak metin arama, log analizi ve analitik işler gibi farklı amaçlar ile kullanabildiğimiz ve sorgular gönderebildiğimiz doküman odaklı bir araçtır. Bu yazımda dokümanlara sorguların atıldığı genel yaklaşımdan farklı olarak. Sorguları indeksleyerek dokümanları sorgu olarak kullanabildiğimiz Percolate yapısını anlatacağım.
Percolate sorgu yapısı Elasticsearch üzerinde bir doküman ararken
Merhabalar. Flume ve Kafka akan veri işlemenin önde gelen araçlarından. Her ne kadar Flume eskimeye yüz tutsa da hala aktif olarak kullanılıyor ve iyi işler çıkarıyor. Bir akan veri uygulaması mimarisinde eğer Flume ve Kafka birlikte kullanılıyorsa genelde veri kaynağından Flume ile Kafka’ya doğru bir akış tasarlanır. Kafka’ya giden mesaj iki bölümden oluşur:
Selamlar herkese bu yazımda ELK stack yapısında bulunan Logstash’e giriş yapıp, teori ve uygulamalar ile uçtan uca Logstash pipelinelarını göstereceğim.
Logstash, çok sayıda kaynaktan veri alabilen, dönüştüren ve daha sonra başka kaynaklara gönderebilen açık kaynaklı bir veri işleme hattıdır.
Airflow’da veri akışlarımızı tasarlarken, çoğu zaman dış kaynaktan aldığımız verilere ihtiyaç duyarız. Bu veriler veritabanındaki bir tablo veya dosya sistemindeki bir dosya gibi çeşitli kaynaklar olabilir. Task’larımızın hata almadan ve düzgün çalışabilmesi için akışa başlamadan önce bu verileri sensörler sayesinde kontrol edebilir ve hazır olduğu anda akışın başlamasını sağlayabiliriz.
