Merhaba, Elasticsearch (ES) genel olarak metin arama, log analizi ve analitik işler gibi farklı amaçlar ile kullanabildiğimiz ve sorgular gönderebildiğimiz doküman odaklı bir araçtır. Bu yazımda dokümanlara sorguların atıldığı genel yaklaşımdan farklı olarak. Sorguları indeksleyerek dokümanları sorgu olarak kullanabildiğimiz Percolate yapısını anlatacağım.
Percolate sorgu yapısı Elasticsearch üzerinde bir doküman ararken
Merhabalar. Flume ve Kafka akan veri işlemenin önde gelen araçlarından. Her ne kadar Flume eskimeye yüz tutsa da hala aktif olarak kullanılıyor ve iyi işler çıkarıyor. Bir akan veri uygulaması mimarisinde eğer Flume ve Kafka birlikte kullanılıyorsa genelde veri kaynağından Flume ile Kafka’ya doğru bir akış tasarlanır. Kafka’ya giden mesaj iki bölümden oluşur:
Selamlar herkese bu yazımda ELK stack yapısında bulunan Logstash’e giriş yapıp, teori ve uygulamalar ile uçtan uca Logstash pipelinelarını göstereceğim.
Logstash, çok sayıda kaynaktan veri alabilen, dönüştüren ve daha sonra başka kaynaklara gönderebilen açık kaynaklı bir veri işleme hattıdır.
Airflow’da veri akışlarımızı tasarlarken, çoğu zaman dış kaynaktan aldığımız verilere ihtiyaç duyarız. Bu veriler veritabanındaki bir tablo veya dosya sistemindeki bir dosya gibi çeşitli kaynaklar olabilir. Task’larımızın hata almadan ve düzgün çalışabilmesi için akışa başlamadan önce bu verileri sensörler sayesinde kontrol edebilir ve hazır olduğu anda akışın başlamasını sağlayabiliriz.
