vendredi 8 avril 2016


lambda architecture définition et exemples 

 l'architecture Lambda est une architecture de traitement de données conçu pour traiter des quantités massives de données en tirant parti des deux méthodes de documents et de traitement de flux. Cette approche de l'architecture tente d'équilibrer la latence, le débit et la tolérance aux pannes en utilisant le traitement par lots pour fournir des vues complètes et précises de données par lots, tout en utilisant simultanément le traitement des flux en temps réel pour fournir des vues de données en ligne. Les deux sorties de vue peuvent être joints avant la présentation. La montée de l'architecture lambda est en corrélation avec la croissance des grandes données, analyses en temps réel, et la volonté de réduire les latences de MapReduce.
l'architecture Lambda décrit un système composé de trois couches: le traitement par lots, la vitesse (ou en temps réel) de traitement, et une couche de service pour répondre aux questions:.  Les couches de traitement ingèrent à partir d'une copie maître immuable de l'ensemble des données .

  • Batch Layer
  • Speed Layer
  • Serving Layer

dimanche 27 mars 2016

Résultat de recherche d'images pour "Cassandra (base de données)"

Apache Cassandra ?
C'est un SGBD NoSQL ,un système de gestion de base de données NoSQL évolutive utiliser pour gérer des grandes quantités des données (scalability ) en assurant une grande disponibilité .C'est une base de données orienté clé/valeur .La base de données Apache Cassandra est le bon choix lorsque vous avez besoin d'évolutivité et de haute disponibilité, sans compromettre les performances.
exemple :



Résultat de recherche d'images pour "hadoop"
C'est quoi Hadoop? 
Hadoop c'est un framework open source développer par Apache Software Foundation ,écrit en Java ,qui permet de stocker ,traiter et manipuler des grandes quantités de données avec un stockages distribué(HDFS Hadoop Distributed File System ) et un traitement en parallèle (Map Reduce).
Les composants du hadoop sont:

  • Hadoop Common (les bibliothèques) :
  • Hadoop Distributed File System (HDFS) : c'est un système de fichier pour le stockage
  • Hadoop MapReduce pour le traitement
  • Hadoop YARN