Data Lineage with Apache Airflow | Datakin

2 Просмотры

Успейте купить XRumer+XEvil выгодно! При покупке по этой ссылке скидка - 10$ c Лайт, - 20$ с Стандарт, - 30$ с Бизнес лицензии!

Издатель

Понравился видеоролик "Data Lineage with Apache Airflow | Datakin"? Если да, то напиши свой комментарий и поделись им в соцсетях. Тем самым ты поддержишь наш проект. Спасибо!

Описание видео: ABOUT THE SPEAKER Willy Lulciuc is a Software Engineer at Datakin. ABOUT THE TALK (datacouncil.ai/talks/data-lineage-with-apache-airflow) With Airflow now ubiquitous for DAG orchestration, organizations increasingly depend on Airflow to manage complex inter-DAG dependencies and provide up-to-date runtime visibility into DAG execution. When he\'s not reviewing code and creating indirections, he can be found experimenting with analog synthesizers.... But what effects (if any) would upstream DAGs have on downstream DAGs if dataset consumption was delayed? In this talk, we introduce Marquez: an open source metadata service for the collection, aggregation, and visualization of a data ecosystem’s metadata. Previously, he worked on the Project Marquez team at WeWork. We will demonstrate how metadata management with Marquez helps maintain inter-DAG dependencies, catalog historical runs of DAGs, and minimize data quality issues. He makes datasets discoverable and meaningful with metadata.

Официальный источник видео youtube.com/watch?v=dfRetdg9444 именно от туда подгружается разрешенный автором к встраиванию контент и картинки. Авторские права полностью соблюдены!

Категория
A-Parser



Яндекс.Метрика