Archives des Apache Kafka - LOI2S https://loi2s-sasu.fr/category/blog_loi2s_progiciel/blog_loi2s_kafka Object Information Service System Architecte d'Entreprise Fri, 27 Jan 2023 08:47:23 +0000 fr-FR hourly 1 https://loi2s-sasu.fr/wp-content/uploads/2022/04/cropped-LOI2S_logo_V21_a-150x150.gif Archives des Apache Kafka - LOI2S https://loi2s-sasu.fr/category/blog_loi2s_progiciel/blog_loi2s_kafka 32 32 QUID de la persistance et de l’accès aux informations ? https://loi2s-sasu.fr/blog_loi2s_persistance https://loi2s-sasu.fr/blog_loi2s_persistance#respond Tue, 20 Sep 2022 11:50:46 +0000 https://loi2s-sasu.fr/?p=2027 Object Information Service System QUID de la persistance et de l’accès aux informations ? La LOI2S propose différents Composants ou Fonctions génériques qui imposent nécessairement une persistance d’Informations : Catalogue pour coder des Informations et transcrire leur sémantique Annuaire pour référencer et identifier des Objets et leurs Données Profil de compétences pour habiliter le déclenchement des […]

L’article QUID de la persistance et de l’accès aux informations ? est apparu en premier sur LOI2S.

]]>
LOI2S : Logic Object Information Service System

Object Information Service System

QUID de la persistance et de l’accès aux informations ?

Persistance SGBD

La LOI2S propose différents Composants ou Fonctions génériques qui imposent nécessairement une persistance d’Informations :

  • Catalogue pour coder des Informations et transcrire leur sémantique
  • Annuaire pour référencer et identifier des Objets et leurs Données
  • Profil de compétences pour habiliter le déclenchement des Processus
  • Planificateur pour planifier les Processus à instancier ou instanciés
  • Processus pour coder
    – les règles de changement d’Etat des Informations et,
    – l’émission de Messages
  • Base Index pour faciliter les recherches et les agrégations analytiques d’informations
  • Base de Données pour mémoriser les structures d’informations persistantes altérées

Il existe différents types de systèmes de mémorisation et de consultation des Informations plus ou moins adaptés aux usages (volumétrie, concurrence et performance d’accès, contexte de recherche, agrégation statistique ou association, taux d’activité, archivage, trace historique, etc.).

Les principaux systèmes de gestion de la persistance d’informations :

Nota : Les Informations clés et les structures d’informations, etc. sont en redondance avec les Informations en Base de Données mais avec une organisation de mémorisation ou d’indexation spécifique optimisée pour la recherche et le calcul d’agrégats analytiques.
Une Base Index peut servir de Cache Index pour les Bases de Données ayant des structures d’indexation moins performante.

Rappel : Les différents SGBD Systèmes de Gestion de Bases de Données

Système hiérarchique où chaque structure d’informations compose des structures d’informations (enfants) et chaque structure d’informations dépend d’une seule structure d’informations (parent)

Système réseau où chaque structure d’informations a des liens multiples entre c.

Système relationnelle où certaines informations de chaque structure d’informations (sous forme de Tableaux en 2 dimensions : Tables) identifie d’autres structures d’informations (Tables) en relation.  Système le plus rependu et qui a donné lieu à un langage de requête adapté de manipulation de ces Tables SQL Structured Query Language.  

Système orientée objet où les structures d’informations dispose de pointeur vers d’autres Structures d’informations adoptant les concepts de la programmation Objet.

Système orientée texte où les structures d’informations sont des documents textes ou binaires

Système distribuée où les structures d’informations sont mémorisées en sous-ensembles distribuées physiquement.

Système cloud où les structures d’informations sont mémorisées dans des environnements virtualisés privé, public ou hybride.

Système NoSQL où les structures d’informations sont des documents de structures variables est adaptables documents pas documents par oppositions structures des Tableaux structures des systèmes relationnel SQL.

Système orientée graphes où les structures d’informations profilent des graphes relationnels et facilitent la navigation dans ces graphes.

Se réinventer en temps de crise et profiter des nouvelles opportunités
Se réinventer en activant les leviers d’innovation
Concevoir l’entreprise de demain
Agir pour maîtriser la complexité du système d'information
Economiser du temps et de l'argent avec l'orienté objet
Travailler ensemble pour répondre aux besoins exprimés, de manière cohérente et réfléchie
Gagner en agilité, en réactivité et en performance
Architecturer et bâtir les bonnes stratégies et piloter en temps de crise
Unifier le language et le formalisme
Intégrer de nouveaux impératifs ou des opportunités, en concevant des solutions dans un délai imparti et pour un budget déterminé
Etablir un trait d’union entre les domaines métier, Le métier et l'informatique, l’entreprise et ses partenaires
Construire plus vite et plus intelligemment.
Concevoir une entreprise capable de s’adapter au changement
Le SGBDR open source la plus avancée au monde
Gagner en agilité, en réactivité et en performance
Développer les synergies
La recherche dans tous ses états
Continuer à être compétitif nécessite d’investir et s’investir pour devenir efficient
Base de données autonome
DOnnées et Actions pour agir avec certitude
Réaliser des simulations basées sur les coûts, le temps et les ressources
Développer plus rapidement & Exécuter n'importe où
Déléguer les micro-services métier dans le Cloud en toute sécurité
Définir des capacités composables pour améliorer l’agilité, la performance et l’innovation
Apporter une version allégée du Système d’information, inspirée par ses utilisateurs expérimentés et conçue pour tout le monde
Accompagner dans le pilotage des projets de refonte ou de modernisation du système d’information
Analyser la performance des processus pour mettre en place les leviers d’optimisation par la valeur
Faciliter la collaboration entre les métiers et l’informatique
Instruire les dossiers de décisions
Activer les bons leviers de transformation digitale
Traiter les données comme la principale ressource pour prendre des décisions unifiées dans chaque département de l’organisation
Placer les valeurs humaines au cœur des préoccupations de chacun
Sécuriser l’activité et se réinventer à l'aide de modèles prédictifs
Définir les indicateurs à mettre en place
Donner à tous les employés les moyens d’utiliser les données en présence pour améliorer le travail quotidien
S’assurer, à travers des outils structurels, que la stratégie définie par l’entreprise est bien prise en compte
Construire votre stratégie de pérennisation en temps de crise en réajustant votre proposition de valeur
Optimiser et transformer les processus métier

L’article QUID de la persistance et de l’accès aux informations ? est apparu en premier sur LOI2S.

]]> https://loi2s-sasu.fr/blog_loi2s_persistance/feed 0 QUID d’Apache Kafka et le BUS à Messages ? https://loi2s-sasu.fr/blog_loi2s_kafka https://loi2s-sasu.fr/blog_loi2s_kafka#respond Mon, 05 Sep 2022 09:14:00 +0000 https://loi2s-sasu.fr/?p=1960 Object Information Service System QUID d’Apache Kafka et le BUS à Messages ? Apache Kafka est un système open source de gestion des flux de données, qui permet aux entreprises de créer des flux de données de manière fiable et efficace  à grande échelle pour l’analyse et le traitement des données. Il fournit des intégrations […]

L’article QUID d’Apache Kafka et le BUS à Messages ? est apparu en premier sur LOI2S.

]]>
LOI2S : Logic Object Information Service System

Object Information Service System

QUID d’Apache Kafka et le BUS à Messages ?

Apache Kafka est un système open source de gestion des flux de données, qui permet aux entreprises de créer des flux de données de manière fiable et efficace  à grande échelle pour l’analyse et le traitement des données. Il fournit des intégrations faciles avec les systèmes existants et des capacités de streaming pour traiter les données en temps réel.  C’est un système de messages pub-sub distribué, qui peut être utilisé pour diffuser des messages à travers des systèmes répartis, et offre une grande disponibilité, une tolérance aux pannes et une scalabilité linéaire. Kafka est un outil flexible et puissant qui peut être utilisé pour la mise à l’échelle de l’analyse de données, le traitement des transactions et le traitement des événements en temps réel. Il peut également être utilisé pour construire des pipelines de traitement des données, qui peuvent être utilisés pour transformer des données brutes en informations qualifiées.

Un système de messages pub-sub distribué est un type de communication entre les ordinateurs où les messages sont publiés par un certain nombre de sources et sont ensuite diffusés à un certain nombre de destinataires. Les messages sont envoyés à un serveur de messages qui les distribue aux abonnés. Les abonnés peuvent alors recevoir et réagir aux messages reçus. Ce type de système est souvent utilisé pour le partage de données entre les applications et est très efficace pour la mise en œuvre des applications distribuées.

LOI2S Kafka Composant BUS à Messages

Dans la LOI2S chaque Type de Message numérique inter-Composants correspond à un Topic déclaré dans le Composant BUS à Messages Kafka.

Plusieurs Composants Producteurs peuvent envoyer des Messages de même Type qui s’empilent dans un même Topic.

Chaque Composant Consommateur peut s’abonner aux Topics et donc aux Messages auxquels il est susceptible de pouvoir les faire traiter par ses Processus.
Chaque Composant Consommateur a son curseur et son rythme de lecture de chacun des Topics auxquels il est abonné.

Comme tous Messages DDE de demande de service nécessite au minimum un Message AR Accusé réception et un Message CRF Compte-rendu d’exécution final. Tous les Composants sont Fournisseurs et Consommateurs de Topics.

Kafka permet d’avoir plusieurs Composants Consommateurs pour un même Topic ou Type de Message.
Kafka permet d’avoir plusieurs instances de Composants Consommateurs, ajouter et supprimer à chaud, dans un Consumer Group pour paralléliser la prise en charge des instances d’un même Type de Message et ainsi augmenter le débit du flux de traitement des instances d’un même Type de Message ou libérer des ressources latentes.

Kafka offre également de multiples possibilités en termes de composants fournisseurs et consommateurs de données, et permet d’avoir plusieurs instances de composants avec une scalabilité dynamique, ajouter et supprimer à chaud, dans un Consumer Group pour paralléliser la prise en charge des instances d’un même type de message et ainsi augmenter le débit du flux de traitement des instances d’un même Type de Message ou libérer des ressources latentes.

Les propriétés de Kafka répondent aux Facteurs qualité attendus par la LOI2S :

  • Évolutivité
  • Rétention
  • Durabilité
  • Réplication
  • Sécurité
  • Élasticité
  • Débit
  • Commande
  • Unicité sémantique
  • Transaction
  • Idempotence
  • Immutabilité
  • Traçabilité

Nota : L’objectif ici n’est pas de décrire le fonctionnement interne d’un Composant Kafka mais de montrer son intégration fonctionnelle dans la LOI2S.

Faciliter le compréhension du métier
Le SGBDR open source la plus avancée au monde
Identifier les inefficacités et les goulots d’étranglements
La recherche dans tous ses états
Base de données autonome
Garantir la conformé aux politiques et aux règlements
DOnnées et Actions pour agir avec certitude
Déléguer les micro-services métier dans le Cloud en toute sécurité
Construire plus vite et plus intelligemment.
Concevoir l’entreprise de demain
Développer plus rapidement & Exécuter n'importe où
Accélérer la conformité de vos données
Identifier les bons leviers pour optimiser les processus cœur de métiers et activer les leviers de réduction des coûts en temps de crise
Être vigilant pour éviter qu’un programme ne devienne un gouffre financier
Adopter une approche centrée sur les clients
Inscrire ses travaux dans une dynamique globale
Alimenter une culture des données
Encourager la démocratisation des données
Concevoir une entreprise capable de s’adapter au changement
Arrêter la duplication des activités
Fixer le cap, les stratégies de transformation & d'innovations de l’entreprise
Evaluer (étude d’opportunité, de faisabilité, prototypage / preuves de concept) en prise directe avec la réalisation
Economiser du temps et de l'argent avec l'orienté objet
Repenser l’avenir de son système d'information
Favoriser la collaboration
Accélérer la transformation des activités
Réduire les cycles de développements
Faciliter la coordination des initiatives
Gagner en agilité, en réactivité et en performance
Encourager la démocratisation des données
Unifier le language et le formalisme
Comprendre le paysage métier du client et adapter une stratégie sur-mesure - car chaque contexte a ses spécificités
Fédérer les activités pour améliorer la résilience opérationnelle
Piloter les investissements et le portefeuille des projets de transformation
Mesurer la progression globale de l’entreprise
Aborder le changement avec une vision d’ensemble cadrée par expérimentation partant du terrain
Coconstruire les nouveaux modèles d’affaire et la stratégies numériques
Arrêter la duplication des activités

L’article QUID d’Apache Kafka et le BUS à Messages ? est apparu en premier sur LOI2S.

]]> https://loi2s-sasu.fr/blog_loi2s_kafka/feed 0