
Avec YARN en tant que centre d'architecture d'ApacheTM Hadoop, plusieurs moteurs d'accès aux données comme Apache Pig interagissent avec les données stockées dans le cluster. Apache Pig permet aux utilisateurs d'Apache Hadoop d'écrire des transformations MapReduce complexes en utilisant un langage de script simple appelé Pig Latin. Pig traduit le script Pig Latin en MapReduce afin qu'il puisse être exécuté dans YARN pour accéder à un ensemble de données stocké dans le système de fichiers distribué Hadoop (HDFS).
QU'EST-CE QUE LE Pig FAIT
Pig a été conçu pour effectuer une longue série d'opérations de données, ce qui le rend idéal pour trois catégories de travaux Big Data:
Les pipelines de données extrait-transformer-charger (ETL)
Recherche sur les données brutes, et
Traitement itératif des données.
0 commentaires: