Giới thiệu
Apache Kafka là nền tảng streaming phân tán được thiết kế cho khả năng chịu lỗi cao và throughput lớn. Trong bài này chúng ta sẽ xây dựng một pipeline hoàn chỉnh.
Kiến trúc tổng quan
Một pipeline Kafka điển hình bao gồm: Producers ghi dữ liệu vào topics, Brokers lưu trữ và sao chép log, Consumers đọc dữ liệu và xử lý.
Cấu hình Producer
Để đảm bảo độ bền dữ liệu, cấu hình acks=all và retries=3.
Kết luận
Kafka cung cấp nền tảng vững chắc để xây dựng data pipeline có khả năng scale cực cao.