15 06, 2021

ODI ile Oracle ve Hive Veri Tabanları Data Migration

By |2021-07-27T15:20:49+03:00June 15th, 2021|BIG DATA|0 Comments

Büyük veri ortamlarında operasyonel işlerden biri olan rdbms veri tabanları ile büyük veri ortamları arasında verinin taşınmasıdır. Çalışma ortamı olarak oracle’ın ücretsiz olarak sanallaştırılmış büyük veri ortamını kullanabilirsiniz.

Bu yazıda oracle data integrator ürününün knowlodge modüllerini kullanarak oracle veri tabanı ile hive ortamına datanın aktarılmasını inceleyeceğiz.

ODI

26 05, 2021

Apache Iceberg

By |2021-07-27T15:21:39+03:00May 26th, 2021|BIG DATA|0 Comments

Apache iceberg, petabyte boyutundaki tablolar için tasarlanmış açık kaynak kodlu bir tablo formatıdır. Tablo formatını, bir tabloyu oluşturan tüm dosyaların düzenlenmesini, yönetilmesini ve izlenmesini en iyi şekilde gerçekleştirtiren bir katman olarak düşünebiliriz. 2017 yılında Netflix tarafından ortaya çıkarılan

6 05, 2021

Oracle Data Integrator’a Giriş

By |2021-07-29T15:19:33+03:00May 6th, 2021|BIG DATA|0 Comments

 Oracle Data Integrator ya da yaygın olarak duyduğumuz kısaltması ile ODI, Oracle’ın geliştirdiği bir ELT aracıdır.

Oracle Data Integrator; Spark, Spark Streaming, Hive ve Kafka gibi birçok Big Data teknolojisini ve Oracle, Exadata, Teradata, IBM DB2, Netezza gibi birçok DWH platformunu destekler. ODI bu ortamlar arasında veri entegrasyonunu da mümkün

9 11, 2020

APACHE ATLAS

By |2021-07-27T15:24:11+03:00November 9th, 2020|BIG DATA|0 Comments

Apache Atlas, Hadoop clusterleri üzerinde data governance(veri yönetişimi) ve metadata yönetimi için araçtır. Metadataları toplamak, işlemek ve sürdürmek için tek başına bir çözümdür.

Ölçeklendirilebilir ve genişletilebilir bir hizmet setidir. Kullanıcıların, veri ekosistemindeki servislere ait metadataların tek bir yerden yönetmesini sağlar.

Atlas nasıl çalışır?

Apache

12 10, 2020

What is Apache Airflow?

By |2021-07-27T15:24:42+03:00October 12th, 2020|BIG DATA|0 Comments

Apache Airflow is a job orchestration framework that allows developers to programmatically author, schedule, and monitor data pipelines. Apache Airflow itself and all the workflows are written in Python. So workflows become easy to code, more maintainable, versionable, testable, and collaborative. 

Concepts of Apache Airflow

Dag

28 09, 2020

Apache Kafka Günlük Sıkıştırma (Log Compaction) Nedir?

By |2021-07-27T15:24:57+03:00September 28th, 2020|BIG DATA|0 Comments

Merhaba, bu yazımda sizlere Apache Kafka ‘da bulunan Günlük Sıkıştırma (Log Compaction) özelliğinin ne olduğunu, nasıl çalıştığını ve kullanım alanlarını kısaca anlatmaya çalışacağım.

Apache Kafka, dağınık mimariyle çalışan yüksek performanslı veri akış platformudur.  Temel amacı gerçek zamanlı verilerin yüksek hacim ve düşük geçikme ile üreticiden tüketiciye anahtar-değer (key-value message) ikilisiyle

Go to Top