Introduction#

Tại sao phải build hệ thống data phục vụ visualization ?#

Vào đầu năm 2019, khi mà anh em bắt đầu mệt mỏi với backlogs dài hơn cầu Sài Gòn chỉ để viết SQL & làm report Google Sheet thần thánh và Google Data Studio (để build dashboard …

TLDR;

Sau khi gặp khá nhiều vấn đề với lượng lớn python DAG khi upgrade, viết giúp dag & sau một thời gian thành con rơi, không ai maintain nữa.

Mình tin rằng nhất định có một cách viết dags khác:

• Đơn giản & hiệu quả hơn thế
• 500 anh em BA, …

Airflow in the nut shell:

• Một phiên bảo cron tab (chạy mỗi ngày, mỗi tuần, mỗi giờ mỗi tháng) với UI xịn xò.
• Các tín đồ data hay sử dụng để viết ETL (Extract Transform Load) job
  • Ví dụ như là select vào rows từ MySQL
  • Thêm ít gia vị (Cooking)
  • Load vào …