31 08, 2020

Elasticsearch Percolate Sorgu Yapısı Nedir ve Nasıl Kullanılır?

By |2021-07-27T15:25:13+03:00August 31st, 2020|BIG DATA|0 Comments

Merhaba, Elasticsearch (ES) genel olarak metin arama, log analizi ve analitik işler gibi farklı amaçlar ile kullanabildiğimiz ve sorgular gönderebildiğimiz doküman odaklı bir araçtır. Bu yazımda dokümanlara sorguların atıldığı genel yaklaşımdan farklı olarak. Sorguları indeksleyerek dokümanları sorgu olarak kullanabildiğimiz Percolate yapısını anlatacağım.

Percolate sorgu yapısı Elasticsearch üzerinde bir doküman ararken

16 08, 2020

Flume ile Kafka’ya Key Göndermek

By |2021-07-14T17:19:42+03:00August 16th, 2020|BIG DATA|0 Comments

Merhabalar. Flume ve Kafka akan veri işlemenin önde gelen araçlarından. Her ne kadar Flume eskimeye yüz tutsa da hala aktif olarak kullanılıyor ve iyi işler çıkarıyor. Bir akan veri uygulaması mimarisinde eğer Flume ve Kafka birlikte kullanılıyorsa genelde veri kaynağından Flume ile Kafka’ya doğru bir akış tasarlanır. Kafka’ya giden mesaj iki bölümden oluşur:

24 07, 2020

Logstash ile ELK Uygulamaları Tasarlamak

By |2021-07-27T15:25:25+03:00July 24th, 2020|BIG DATA|0 Comments

Selamlar herkese bu yazımda ELK stack yapısında bulunan Logstash’e giriş yapıp, teori ve uygulamalar ile uçtan uca Logstash pipelinelarını göstereceğim.

1. Logstash

Logstash, çok sayıda kaynaktan veri alabilen, dönüştüren ve daha sonra başka kaynaklara gönderebilen açık kaynaklı bir veri işleme hattıdır.

10 07, 2020

APACHE AIRFLOW SENSOR

By |2021-07-27T15:25:29+03:00July 10th, 2020|BIG DATA|0 Comments

Airflow’da veri akışlarımızı tasarlarken, çoğu zaman dış kaynaktan aldığımız verilere ihtiyaç duyarız. Bu veriler veritabanındaki bir tablo veya dosya sistemindeki bir dosya gibi çeşitli kaynaklar olabilir. Task’larımızın hata almadan ve düzgün çalışabilmesi için akışa başlamadan önce bu verileri sensörler sayesinde kontrol edebilir ve hazır olduğu anda akışın başlamasını sağlayabiliriz.

Örnek

Go to Top