Apache Sqoop

Sqoop est une interface en ligne de commande de l'application pour transférer des données entre des bases de données relationnelles et Hadoop. Il prend en charge le chargement différentiels d'une seule table ou d'une requête SQL ainsi que des tâches enregistrées qui peuvent être exécutées plusieurs fois pour importer les mises à jour effectuées dans une base de données depuis la dernière importation. Les imports peuvent également être utilisés pour remplir les tables dans Hive ou HBase. les Exportations peuvent être utilisés pour mettre les données de Hadoop dans une base de données relationnelle. Le nom Sqoop est un mot valise constitué de sql et de hadoop.En mars 2012Sqoop est devenu un projet haut niveau d'Apache. Informatica fournit un connecteur pour Sqoop à partir de la version 10.1. Informatica prend en charge à la fois les actions d'Importation et celles d'Exportation, qui sont souvent utilisées pour l'Intégration de Données dans d'Hadoop. Pentaho fournit également des connecteurs open source basé sur Sqoop ' Sqoop Importat et Sqoop à Export ) dans leur ETL depuis la version 4.5 du logiciel. Microsoft utilise un connecteur basé sur Sqoop pour aider le transfert des données à partir de Microsoft SQL Server vers les bases de données de Hadoop.Couchbase, Inc. fournit également un connecteur Couchbase Server-Hadoop par le biais de Sqoop. En 2015, Ralph Kimball décrit Sqoop comme suit, sous le titre The Future of ETL : « Several big changes must take place in the ETL environment. First, the data feeds from original sources must support huge bandwidths, at least gigabytes per second. Learn about Sqoop loading data into Hadoop. If these words mean nothing to you, you have some reading to do! Start with Wikipedia. » (« Plusieurs changements importants doivent avoir lieu dans l'environnement ETL. Premièrement, les flux de données provenant de sources originales doivent prendre en charge d'énormes bandes passantes, au moins plusieurs gigaoctets par seconde. Renseignez-vous sur les données de chargement Sqoop dans Hadoop. Si ces mots ne vous disent rien, vous avez quelques lectures à faire ! Commencez avec Wikipedia. »).