Kafka Connect : intégrer vos données sans code — chapitre 10
Intégrer Kafka avec bases de données, systèmes de fichiers, moteurs de recherche et services externes grâce à Kafka Connect, Debezium et les SMT avancées.
Contexte
Kafka Connect est un framework d’intégration distribué permettant de connecter Kafka à des systèmes externes sans écrire de code personnalisé. Il est un composant clé pour les architectures data modernes, en particulier les pipelines CDC (Change Data Capture), l’ingestion massive, l’alimentation de data lakes ou la synchronisation entre services.
Connect peut fonctionner en deux modes :
- Standalone : pour les environnements locaux ou tests.
- Distributed : en production, scalable et tolérant aux pannes.
Il supporte deux types de connecteurs :
- Source : lit une source externe → pousse vers Kafka.
- Sink : lit Kafka → pousse vers un système externe.
Lexique
Source Connector
Importe des données vers Kafka (MySQL, PostgreSQL, MongoDB, etc.).
Sink Connector
Envoie les données de Kafka vers un système externe (Elasticsearch, S3, ClickHouse…).
SMT (Single Message Transform)
Transformation légère appliquée à chaque message (filtrage, enrichissement, renommage…).
Tasks
Unités d’exécution parallèle d’un connecteur pour augmenter le débit.
Offset Storage
Stocke la position de lecture du connecteur (Kafka interne ou fichier local).
Diagramme
La suite de cette leçon est réservée aux abonnés
Les 3 premières leçons de chaque formation sont gratuites. Débloquez la suite pour continuer.
Déjà abonné ? Se connecter
