Dans ce guide, nous allons illustrer comment installer Apache Airflow sur Ubuntu 20.04
Flux d'air Apache est une plate-forme de gestion de flux de travail open source pour les pipelines d'ingénierie de données. Tout a commencé chez Airbnb en octobre 2014 en tant que solution pour gérer l'augmentation de l'entrepriseApache Airflow est une plate-forme de gestion de flux de travail open source pour les pipelines d'ingénierie de données.
Apache Airflow est une plateforme open source d'orchestration de flux de travail automatisée utilisée pour gérer la planification et la hiérarchisation des tâches. L'interface utilise un système basé sur Python pour permettre aux utilisateurs de saisir des tâches et des dépendances. Airflow peut ensuite être utilisé pour surveiller la distribution et l'exécution de la charge de travail.
Cela a donc commencé chez Airbnb en octobre 2014 en tant que solution pour gérer les flux de travail de plus en plus complexes de l'entreprise. La création d'Airflow a permis à Airbnb de créer et de programmer ses flux de travail par programmation et de les surveiller via l'interface utilisateur intégrée d'Airflow. La création d'Airflow a permis à Airbnb de créer et de programmer ses flux de travail par programmation et de les surveiller via l'interface utilisateur intégrée d'Airflow.
Installer Apache Airflow
Suivez simplement les étapes ci-dessous pour démarrer avec Apache Airflow
- Assurez-vous que tous vos packages système sont à jour en exécutant la commande suivante :
sudo apt update -y && sudo apt upgrade -y- Le serveur MySQL est requis pour Apache Airflow, n'utilisez pas SQLite en tant que base de données de métadonnées en production - elle ne doit être utilisée que pour dev/testing. Nous vous recommandons d'utiliser Postgresql ou MySQL. Cliquez ici pour plus d'informations.
- La prochaine étape consiste à installer pip avec les commandes suivantes :
sudo apt-get install software-properties-common -y
sudo apt-add-repository universe
sudo apt-get update -y
sudo apt-get install python3-pip python-setuptools -y
- Assurez-vous que les dépendances nécessaires pour Apache Airflow sont installées en exécutant la commande ci-dessous :
sudo apt-get install -y libmysqlclient-dev libssl-dev libkrb5-dev python3-virtualenv python-jinja2- Airflow a besoin d'un répertoire d'accueil dans lequel il stocke tous ses paramètres et configurations. Pour ce faire, exécutez la commande ci-dessous :
export AIRFLOW_HOME=~/airflow- Installer Apache Flux d'air en exécutant les commandes suivantes :
virtualenv airflow_unixcop
cd airflow_unixcop/
pip3 install apache-airflow
pip3 install typing_extensions
- Puis redémarrez votre système.
reboot- Vérifiez qu'Apache Airflow a bien été installé en vérifiant sa version
airflow version
- L'étape suivante consiste à initialiser la base de données Apache Airflow et à la mettre à niveau.
airflow initdb
airflow db upgrade
- Démarre le serveur apache airflow en exécutant la commande ci-dessous
airflow webserver -p 8080
- Vous pouvez également créer un utilisateur apache airflow,
REMARQUE :Il n'y a pas de nom d'utilisateur et de mot de passe par défaut créés si vous utilisez simplement la roue python.
Exécutez la commande suivante pour créer un utilisateur :
airflow users create --role Admin --username admin --email admin --firstname admin 
- Pour vérifier qu'Apache Airflow est maintenant en cours d'exécution, ouvrez un navigateur Web et accédez à localhost :8080 . connectez-vous avec l'utilisateur que vous venez de créer, vous serez redirigé vers la fenêtre ci-dessous
Conclusion
C'est ça,
ce guide d'installation d'Apache Airflow dans Ubuntu 20.04
Merci