QUID d’Apache Kafka et le BUS à Messages ?
Apache Kafka est un système open source de gestion des flux de données, qui permet aux entreprises de créer des flux de données de manière fiable et efficace à grande échelle pour l’analyse et le traitement des données. Il fournit des intégrations faciles avec les systèmes existants et des capacités de streaming pour traiter les données en temps réel. C’est un système de messages pub-sub distribué, qui peut être utilisé pour diffuser des messages à travers des systèmes répartis, et offre une grande disponibilité, une tolérance aux pannes et une scalabilité linéaire. Kafka est un outil flexible et puissant qui peut être utilisé pour la mise à l’échelle de l’analyse de données, le traitement des transactions et le traitement des événements en temps réel. Il peut également être utilisé pour construire des pipelines de traitement des données, qui peuvent être utilisés pour transformer des données brutes en informations qualifiées.
Un système de messages pub-sub distribué est un type de communication entre les ordinateurs où les messages sont publiés par un certain nombre de sources et sont ensuite diffusés à un certain nombre de destinataires. Les messages sont envoyés à un serveur de messages qui les distribue aux abonnés. Les abonnés peuvent alors recevoir et réagir aux messages reçus. Ce type de système est souvent utilisé pour le partage de données entre les applications et est très efficace pour la mise en œuvre des applications distribuées.
Dans la LOI2S chaque Type de Message numérique inter-Composants correspond à un Topic déclaré dans le Composant BUS à Messages Kafka.
Plusieurs Composants Producteurs peuvent envoyer des Messages de même Type qui s’empilent dans un même Topic.
Chaque Composant Consommateur peut s’abonner aux Topics et donc aux Messages auxquels il est susceptible de pouvoir les faire traiter par ses Processus.
Chaque Composant Consommateur a son curseur et son rythme de lecture de chacun des Topics auxquels il est abonné.
Comme tous Messages DDE de demande de service nécessite au minimum un Message AR Accusé réception et un Message CRF Compte-rendu d’exécution final. Tous les Composants sont Fournisseurs et Consommateurs de Topics.
Kafka permet d’avoir plusieurs Composants Consommateurs pour un même Topic ou Type de Message.
Kafka permet d’avoir plusieurs instances de Composants Consommateurs, ajouter et supprimer à chaud, dans un Consumer Group pour paralléliser la prise en charge des instances d’un même Type de Message et ainsi augmenter le débit du flux de traitement des instances d’un même Type de Message ou libérer des ressources latentes.
Kafka offre également de multiples possibilités en termes de composants fournisseurs et consommateurs de données, et permet d’avoir plusieurs instances de composants avec une scalabilité dynamique, ajouter et supprimer à chaud, dans un Consumer Group pour paralléliser la prise en charge des instances d’un même type de message et ainsi augmenter le débit du flux de traitement des instances d’un même Type de Message ou libérer des ressources latentes.
Les propriétés de Kafka répondent aux Facteurs qualité attendus par la LOI2S :
- Évolutivité
- Rétention
- Durabilité
- Réplication
- Sécurité
- Élasticité
- Débit
- Commande
- Unicité sémantique
- Transaction
- Idempotence
- Immutabilité
- Traçabilité
Nota : L’objectif ici n’est pas de décrire le fonctionnement interne d’un Composant Kafka mais de montrer son intégration fonctionnelle dans la LOI2S.
