Python ile Veri Setine İlk Bakış
Python ile Veri Setine İlk Bakış Python günümüzde kullanımı son derecede yüksek olan dillerden biridir. Yapay zekanın yükselişi ile birlikte python da […]
Debezium Nedir?
Debezium (CDC) nedir? Debezium, Apache Kafka üzerine inşa edilmiştir ve bir dizi Kafka Connect uyumlu source connector’dur. Debezium, belirli bir veritabanı yönetim sistemi […]
Yarn, Airflow Dag Loglarının, Hadoop Dosya İşlemlerinin Hive Tablosuna Yazılması
Veri mühendisliği bir çok farklı domainde ki veriyi; kontrol etme, depolama, manipüle etme gibi bir çok işlevselliğe sahip olmayı gerektiren bir meslek […]
PySpark Window Functions
Merhabalar bugünkü yazımda size PySpark Window Functions’ın işlevinden ve PySpark Sql ve PySpark DataFrame API ile kullanımından bahsedeceğim. Pyspark: Apache Spark, Scala […]
Spark – MongoDB entegrasyonu ile tabloları MongoDB’den HDFS ortamına aktarmak
Merhabalar bu yazımda size başka bir clusterde bulunan mongo databasesinde yer alan bir collectionu spark-mongo connector yardımıyla HDFS’e bir tablo olarak yazmayı […]
Spark Streaming ile Kafka + Delta Lake Upsert İşlemi
Merhabalar bugünkü yazımda size pyspark ile kafkadan topicleri okuyup json formatına göre şemaya uygun düzenleyip delta lake tablosuna upsert işleminden bahsedeceğim. Pyspark […]
ODI ile Oracle ve Hive Veri Tabanları Data Migration
Büyük veri ortamlarında operasyonel işlerden biri olan rdbms veri tabanları ile büyük veri ortamları arasında verinin taşınmasıdır. Çalışma ortamı olarak oracle’ın ücretsiz […]
Apache Iceberg
Apache iceberg, petabyte boyutundaki tablolar için tasarlanmış açık kaynak kodlu bir tablo formatıdır. Tablo formatını, bir tabloyu oluşturan tüm dosyaların düzenlenmesini, yönetilmesini […]
Pega Predictive Models
Predictive analytics uses past data to find patterns and uses those patterns to predict what will likely happen in the future. A […]
Oracle Data Integrator’a Giriş
Oracle Data Integrator ya da yaygın olarak duyduğumuz kısaltması ile ODI, Oracle’ın geliştirdiği bir ELT aracıdır. Oracle Data Integrator; Spark, Spark Streaming, […]
Pega Adaptive Model
Basically, Pega adaptive model is a self-learning AI technic which doesn`t need any historical data. In a Pega strategy, business rules can […]
