Apache Kafka est un système open source de gestion des flux de données, qui permet aux entreprises de créer des flux de données de manière fiable et efficace  à grande échelle pour l’analyse et le traitement des données. Il fournit des intégrations faciles avec les systèmes existants et des capacités de streaming pour traiter les données en temps réel.  C’est un système de messages pub-sub distribué, qui peut être utilisé pour diffuser des messages à travers des systèmes répartis, et offre une grande disponibilité, une tolérance aux pannes et une scalabilité linéaire. Kafka est un outil flexible et puissant qui peut être utilisé pour la mise à l’échelle de l’analyse de données, le traitement des transactions et le traitement des événements en temps réel. Il peut également être utilisé pour construire des pipelines de traitement des données, qui peuvent être utilisés pour transformer des données brutes en informations qualifiées.

Un système de messages pub-sub distribué est un type de communication entre les ordinateurs où les messages sont publiés par un certain nombre de sources et sont ensuite diffusés à un certain nombre de destinataires. Les messages sont envoyés à un serveur de messages qui les distribue aux abonnés. Les abonnés peuvent alors recevoir et réagir aux messages reçus. Ce type de système est souvent utilisé pour le partage de données entre les applications et est très efficace pour la mise en œuvre des applications distribuées.