Java Spring Boot ile REST Servisi Oluşturmak
Yazının içeriği SOAP ile REST servisler arasındaki farkları, Spring framework ile SpringBoot arasındaki farkları, annotation örnekleri, Hibernate ve Lombok framework kullanımından oluşmaktadır […]
Kafka Connect ile HDFS’e Veri Gönderme İşlemi
Kafka Connect ile HDFS’e Veri Gönderme İşlemi Merhabalar bu yazımda sizlere Kafka’da bulunan verilerimizi nasıl Kafka Connector yardımı ile HDFS’e taşıyabileceğimizi göstereceğim. İlk önce gerekli Connector’umuzu indirelim […]
Azure üzerinde Data Pipeline Oluşturma
Merhabalar bu yazımda sizlere Bulut Servis Sağlayıcılarından olan Azure üzerinde bir Data Pipeline oluşturma sürecini anlatacağım. Gelin isterseniz ilk önce projemizin mimarisine bakalım. Mimarimiz yukarıda görmüş […]
Hadoop Nedir?
Hadoop Nedir? RDBMS(Relational Database Management System) yani ilişkisel veri tabanı yönetim sistemlerinden farklı olarak verileri tek bir bilgisayarda tutmayıp gelen verileri -her […]
Apache Spark Structured Streaming Via Docker Compose
Building a data pipeline could be challenging especially when you have to take into account portability, flexibility, scalability etc. To overcome these […]
Neden Script Yazmalıyız?
Merhabalar bu yazıda sizlere aktif operasyonların yapıldığı linux sunucularında müdahale gerektiren bazı durumlarda, linux işletim sisteminin bize sağladığı kolaylıktan, bu müdahaleyi bir […]
Pega – Declare Index, Report Definition Rule, Index Tablosu ve PZPVSTREAM Kolonu
Pega Platform’unda Declare Index, Report Definition Rule, Index Tablosu ve PZPVSTREAM Kolonu Hakkında Pega platformunda örneğin bir Work Class’ı altında yeni bir […]
Python ile Veri Setine İlk Bakış
Python ile Veri Setine İlk Bakış Python günümüzde kullanımı son derecede yüksek olan dillerden biridir. Yapay zekanın yükselişi ile birlikte python da […]
Debezium Nedir?
Debezium (CDC) nedir? Debezium, Apache Kafka üzerine inşa edilmiştir ve bir dizi Kafka Connect uyumlu source connector’dur. Debezium, belirli bir veritabanı yönetim sistemi […]
Yarn, Airflow Dag Loglarının, Hadoop Dosya İşlemlerinin Hive Tablosuna Yazılması
Veri mühendisliği bir çok farklı domainde ki veriyi; kontrol etme, depolama, manipüle etme gibi bir çok işlevselliğe sahip olmayı gerektiren bir meslek […]
PySpark Window Functions
Merhabalar bugünkü yazımda size PySpark Window Functions’ın işlevinden ve PySpark Sql ve PySpark DataFrame API ile kullanımından bahsedeceğim. Pyspark: Apache Spark, Scala […]
