Hai Pembaca, Kali ini kita akan berkenalan dengan Apache KAFKA Konsep dan Terminologi, sebuat Platform untuk Distribution Event Streaming data Pipeline. Solusi integrasi data antar database keluaran Apache.
Sebelum memulai, Terimakasih sudah berkunjung di blog ilmuprogram.com dimana blog ini membahas seputar teknologi programming ERP (SAP), cloud computing dan programming lainnya, jika Anda tertarik jangan lupa bookmark blog ini dan subscribed channel kami di ILMUPROGRAM CHANNEL.
Jadi, berikut informasi mengenai Apache KAFKA.
Daftar isi
Apa Itu Apache KAFKA ?
Apache Kafka adalah platform streaming untuk event terdistribusi dimana apache KAFKA ini merupakan sumber terbuka / Open Source yang digunakan oleh ribuan perusahaan untuk data pipeline berkinerja tinggi, analitik streaming, integrasi data, dan aplikasi mission-critical.
Apa Itu Data Pipeline ?
Menurut kami, Pipeline data mencerminkan langkah-langkah pemrosesan data dari A sampai Z, misalkan ketika kita memasak mie instan, proses yang terjadi pada tiap pipeline mulai dari “Air” sampai “Mie Instan” jadi.
Saat ini, Bisni makin berkembang dan persaingan semakin ketat, keputusan bisnis harus diambil lewat pertimbangan data. Lewat pipeline, beragam informasi tersedia kapan pun perusahaan membutuhkannya.
Dengan pipeline, keputusan bisnis lebih mudah diambil. Ini tentu memudahkan pekerjaan business analyst dan business intelligence.
Apa Itu Event Streaming ?
Secara teknis, streaming acara adalah praktik menangkap data secara real-time dari sumber peristiwa seperti database, sensor, perangkat seluler, layanan cloud, dan aplikasi perangkat lunak dalam bentuk aliran peristiwa; menyimpan aliran acara ini secara tahan lama untuk pengambilan nanti; memanipulasi, memproses, dan bereaksi terhadap aliran peristiwa secara real-time maupun retrospektif; dan merutekan aliran peristiwa ke teknologi tujuan yang berbeda sesuai kebutuhan. Streaming acara dengan demikian memastikan aliran dan interpretasi data yang berkelanjutan sehingga informasi yang tepat berada di tempat yang tepat, pada waktu yang tepat.
5 API Inti Apache KAFKA
Dari sumber website resmi Apache KAFKA, Apache KAFKA memiliki 5 API inti diantaranya:
- Producer API memungkinkan aplikasi mengirim aliran data ke topik di kluster Kafka.
- Consumer API memungkinkan aplikasi membaca aliran data dari topik di klaster Kafka.
- Streams API memungkinkan transformasi aliran data dari topik masukan menjadi topik keluaran.
- Connect API memungkinkan penerapan konektor yang secara terus-menerus menarik dari beberapa sistem sumber atau aplikasi ke Kafka atau mendorong dari Kafka ke beberapa sistem atau aplikasi .
- Admin API memungkinkan pengelolaan dan pemeriksaan topik, broker, dan objek Kafka lainnya.
Apa itu API ?
API atau Application Programming Interface adalah sebuah interface yang dapat menghubungkan aplikasi satu dengan aplikasi lainnya. Jadi, API berperan sebagai perantara antar berbagai aplikasi berbeda, baik dalam satu platform yang sama atau lintas platform.
Apache KAFKA – Producer API
Producer API memungkinkan aplikasi mengirim aliran data ke topik di kluster Kafka.
Untuk menggunakan Producer API Apache KAFKA, Anda dapat menggunakan maven dependency berikut:
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.8.0</version>
</dependency>Apache KAFKA – Consumer API
Consumer API mendukung aplikasi membaca data pipeline dari topik di klaster Kafka.
Anda dapat menggunakan maven dependency berikut ini untuk menggunakan Cunsomer API Apache KAFKA
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.8.0</version>
</dependency>Apache KAFKA – Streams API
Streams API memungkinkan transformasi aliran data dari topik masukan menjadi topik keluaran.
Untuk menggunakan Kafka Streams, Anda dapat menggunakan maven dependency berikut:
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-streams</artifactId>
<version>2.8.0</version>
</dependency>Apache KAFKA – Connect API
Connect API memungkinkan penerapan konektor yang terus-menerus menarik dari beberapa sistem data sumber ke Kafka atau mendorong dari Kafka ke beberapa sistem data.
Konektor API Apache KAFKA lebih lengkap dapat dibaca di situs resminya pada https://kafka.apache.org/documentation.html#connect
Apache KAFKA – Admin API
Admin API mendukung pengelolaan dan pemeriksaan topik, broker, acls, dan objek Kafka lainnya.
Untuk menggunakan API Admin, tambahkan Maven Devendency berikut:
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.8.0</version>
</dependency>Sekian artikel mengenai pengenalan Apache KAFKA, semoga bermanfaat.
