Skip to content

trendy-automation/spark-course

 
 

Repository files navigation

Скачать данные в папку data

mkdir -p ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)" > .env
sudo chmod 777 ./dags
sudo chmod 777 ./logs
sudo chmod 777 ./plugins
sudo chmod 777 ../data

Сбилдить и запустить airflow

sudo docker-compose down
sudo docker-compose build
sudo docker-compose up

Перейти в веб - интерфейс Airflow

В строке браузера localhost:8080,
в окне авторизации user: airflow  password:airflow

Искомый DAG с dag_id 'download_and_write_to_db'

Результаты работы:

в файлах parquet в папке data и в таблицах public.views_count, public.purchases_count базы данных postgres

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 67.6%
  • Dockerfile 23.3%
  • PowerShell 9.1%