Apache Spark Structured Streaming Via Docker Compose
Building a data pipeline could be challenging especially when you have to take into account portability, flexibility, scalability etc. To overcome these […]
Spark – MongoDB entegrasyonu ile tabloları MongoDB’den HDFS ortamına aktarmak
Merhabalar bu yazımda size başka bir clusterde bulunan mongo databasesinde yer alan bir collectionu spark-mongo connector yardımıyla HDFS’e bir tablo olarak yazmayı […]
Spark Streaming ile Kafka + Delta Lake Upsert İşlemi
Merhabalar bugünkü yazımda size pyspark ile kafkadan topicleri okuyup json formatına göre şemaya uygun düzenleyip delta lake tablosuna upsert işleminden bahsedeceğim. Pyspark […]