AIRFLOW LÀ GÌ

  -  

Airflow, một căn cơ nguồn mlàm việc, được sử dụng nhằm thu xếp các luồng các bước dưới dạng biểu đồ gia dụng chu kỳ luân hồi theo phía (DAG) của các tác vụ Theo phong cách xây dựng. Một kế hoạch trình luồng không gian được sử dụng ném lên kế hoạch các tiến trình công việc và con đường ống giải pháp xử lý dữ liệu. Giao diện người dùng Airflow cho phép dễ dàng hình dung các con đường ống chạy trong môi trường chế tạo, tính toán quy trình của quá trình quá trình và cách xử lý sự cố Khi nên. Các ứng dụng mẫu lệnh nhiều mẫu mã được sử dụng nhằm triển khai những ca phẫu thuật phức hợp trên DAG.quý khách hàng sẽ xem: Airflow là gì

Trong blog này, hãy luận bàn về lập lịch và tiến hành những các bước Talkết thúc cùng với Airflow.

Bạn đang xem: Airflow là gì

Điều kiện tiên quyết

Luồng khí 1.7 trngơi nghỉ lên Pyhẹp 2.7 Studio mlàm việc Talover (Tích hợp tài liệu mập hoặc dữ liệu)

Ca sử dụng

Lập định kỳ với triển khai các quá trình Talkết thúc ETL cùng với Airflow.

Tóm tắc

Tác trả Talover câu hỏi làm cho Lịch trình công việc Talkết thúc Gisát hại quá trình quá trình trong Web UI

Mô tả công việc

Việc có tác dụng Talend ETL được tạo bởi:

Tmê say gia application_id từ applicant_loan_info cùng loan_info như biểu lộ trong sơ đồ dùng dưới đây:


*

*

Đang cài đặt tài liệu trùng khớp vào loan_application_analysis bảng. Áp dụng một bộ lọc bên trên LoanDecisionType nghành nghề trong  những loan_application_analysis bảng để cô lập những quý hiếm nlỗi Approved , bị từ chối , và bị thu hồi . Áp dụng một bộ lọc không giống trên các quý giá được bóc tách riêng biệt ngơi nghỉ bên trên nhằm tách bóc riêng biệt LoanType thành Cá nhân , Tự động , Tín dụng với Nhà .

Công câu hỏi Talend đã tạo được xây cất với dịch rời đến địa chỉ máy chủ. Một DAG có tên Loan_Application_Analysis.py được chế tác cùng với băng thông tương xứng của những tập lệnh để thực thi luồng theo kinh nghiệm.

Tạo thỏng mục DAG và khởi động lại sever web luồng không khí

Sau lúc thiết lập Airflow, hãy tiến hành nlỗi sau:

Tạo thư mục DAG ( / trang chủ / ubfox / airflow / dags ) trong đường dẫn Airflow. Di chuyển tất cả các .py tập tin vào tlỗi mục DAG. Khởi cồn lại máy chủ web Airflow bởi mã tiếp sau đây giúp xem DAG này trong danh sách UI: Loginto lớn the AIRFLOW_HOME path-- eg.(/home/ubuntu/airflow) To restart webserver ---> airflow webhệ thống To restart scheduler ---> airflow scheduler

Sau lúc khởi động lại sever web, toàn bộ .py các tệp hoặc DAG vào thỏng mục sẽ tiến hành tđê mê chiếu cùng thiết lập vào danh sách DAG UI website.

Lập kế hoạch công việc

Các các bước Talend đang tạo thành có thể được lên định kỳ bằng cách sử dụng bộ lập định kỳ Airflow. Để biết mã, coi phần Tài liệu tđam mê khảo .

Xem thêm: Từ: Merely Là Gì - Nghĩa Của Từ Merely

Lưu ý : Công bài toán rất có thể được kích hoạt thủ công bằng cách nhấp vào nút Run dưới cột Liên kết nlỗi hình bên dưới đây:

*

Cả hai công việc được lên kế hoạch tự động với được kích hoạt thủ công bằng tay rất có thể được xem trong giao diện người dùng nlỗi sau:

*

Gigiết hại công việc

Xem biểu đồ

Các trạng thái của những các bước được miêu tả bên dưới dạng giao diện như dưới đây:

*

Chế độ xem cây

Các trạng thái của những quá trình cùng rất ngày triển khai của các quá trình được biểu thị dưới dạng câhệt như dưới đây:


Xem Gannt

Các tâm lý của những công việc cùng rất ngày tiến hành của các công việc được biểu hiện theo định hình Gannt nhỏng bên dưới đây:

Xem thời lượng tác vụ

Lúc nhấp vào tab Thời lượng tác vụ , bạn cũng có thể xem thời lượng tác vụ của cục bộ quá trình hoặc DAG theo format bối cảnh như bên dưới đây:

Xem trường hợp nhiệm vụ

Bằng phương pháp nhấp vào Duyệt > Trường hợp tác ký kết vụ , chúng ta cũng có thể coi các ngôi trường phù hợp cơ mà những tác vụ đang chạy, như được hiển thị mặt dưới:

Xem công việc

Bằng biện pháp nhấp vào Duyệt > Công việc , bạn có thể xem chi tiết nlỗi thời gian ban đầu, thời hạn kết thúc và fan tiến hành quá trình, nlỗi được hiển thị vào sơ vật mặt dưới:

Xem nhật ký

Bằng phương pháp nhấp vào Duyệt > ViewLog , chúng ta có thể coi cụ thể của nhật ký kết, nlỗi được hiển thị vào sơ đồ dùng mặt dưới:

Hồ sơ dữ liệu

Airflow cung ứng đồ họa truy vấn vấn SQL dễ dàng và đơn giản nhằm tróc nã vấn tài liệu cùng bối cảnh người dùng biểu đồ gia dụng để trực quan hóa những tác vụ.

Để cấu hình dữ liệu của chúng ta, nhấp vào Quản trị viên > Kết nối để lựa chọn các loại kết nối đại lý tài liệu, như được hiển thị vào sơ thứ mặt dưới:

Biểu đồ

Các nhiều loại trực quan tiền hóa không giống nhau hoàn toàn có thể được khiến cho thời gian tác vụ với tâm trạng nhiệm vụ bằng biểu đồ.

Để chế tạo ra những biểu thứ nlỗi tkhô hanh, đường, khu vực, v.v. cho một DAG ví dụ bằng tróc nã vấn Squốc lộ, nhấp vào Cấu hình dữ liệu > Biểu đồ > DAG_id , nlỗi được hiển thị vào sơ đồ dùng bên dưới:

thông báo có email

Thông báo qua email nhỏng email_on_failure, email_on_successvới email_on_retries có thể được đặt để hiểu trạng thái công việc.

Để nhảy thông tin, hãy thực hiện nhỏng sau:

Định cấu hình thiết lập trong airflow.cfg tệp trong airflow_home đường truyền, nhỏng hiển thị bên dưới:


Đặt lại thiết lập email của người tiêu dùng thành setup Gmail >  allow_less safe_apps > ON để thừa nhận thông tin qua gmail tự Airflow.

Lưu ý : quý khách rất có thể nhận được authentication_error giả dụ thiết lập email ko được cấu hình đúng. Để khắc chế sự gắng này, hãy đồng ý thứ singin làm trang bị của Cửa Hàng chúng tôi trong vật dụng Gmail coi xétCó Đó là Tôi .

Xem thêm: (Net Promoter Score) Là Gì? Vì Sao Chỉ Số Nps Là Gì (Net Promoter Score) Là Gì

Một gmail không thắng cuộc công việc được hiển thị dưới đây:

Phần kết luận

Trong blog này, Shop chúng tôi đang thảo luận về người sáng tác, lập kế hoạch với đo lường và tính toán tiến trình các bước tự bối cảnh người tiêu dùng web, cũng như kích hoạt những các bước Talover trực tiếp trường đoản cú hình ảnh người dùng web theo trải nghiệm bằng phương pháp sử dụng bash toán tử. quý khách hàng cũng rất có thể gửi tài liệu trường đoản cú đại lý dữ liệu này sang cửa hàng tài liệu khác bởi generic_transfer toán tử.