Airflowはクラスターをオーケストレーションする。 Cronableはあなたのマシンをオーケストレーションする。
どちらも作業をスケジュールし、DAGに連鎖させ、すべての実行を記録します。ただし、想定している問題の規模が違います——そして選択を誤ると、どちらの方向にも高くつきます。
結論から言うと
Airflowは分散データパイプラインの定番で、その代償は複雑さです。スケジューラー、メタデータデータベース、Webサーバー、ワーカー、そしてPythonで書くパイプライン。大規模にデータウェアハウス間でデータを動かすなら、妥当なトレードオフです。
しかし、業務の自動化の大半はそういうものではありません。Cronableは1台のマシン上の単一のデーモンで、キャンバスやYAMLで編集するか普通の言葉で説明し、数分で動き出します——ビジネスを回し続けているのに、クラスターを立てるほどではなかった仕事にまっすぐ狙いを定めています。
Cronable vs Apache Airflow
CronableとApache Airflowが実際にどこで違うのかを、機能ごとに。
| 機能 | Cronable | Apache Airflow |
|---|---|---|
| 想定用途 | 1台のマシンでの業務自動化 | 大規模な分散データパイプライン |
| 作業の定義方法 | ビジュアルキャンバス、YAML、またはアシスタントに普通の言葉で | PythonのDAGファイル |
| 普通の言葉で説明してジョブを作成 | アシスタントがジョブ全体を構築 | 不可——パイプラインはあなたが書くPython |
| ネットワーク外からインストール先にアクセス | 組み込み——マシンから外へ接続、ポートは開けない | Webサーバーを公開するか、VPN経由でアクセス |
| 必要なインフラ | デーモン1つ。同じマシン上のSQLite | スケジューラー、DAGプロセッサー、メタデータDB、APIサーバー——大規模ならワーカーも |
| 水平スケールアウト | 不可——設計上1台のマシン | 可能——Celery、Kubernetesなどのエグゼキューター |
| ライセンス | 商用、オンプレミス | Apache 2.0、オープンソース |
| バックフィルと複雑なリトライ制御 | バックオフ付きリトライ。バックフィルエンジンなし | 成熟したバックフィルとキャッチアップ。Airflow 3ではSLAに代わりデッドラインアラート |
| プロバイダーとオペレーターのエコシステム | 97個のコネクタ | 非常に大きなプロバイダーエコシステム |
| デスクトップのファイル、鍵、CLIに届く | はい——あなたのマシンで、あなたとして動く | ワーカーイメージに含まれているものだけ |
| 最初のジョブが動くまでの時間 | 数分——インストールして、ジョブを説明するだけ | 1つの導入プロジェクト |
想定用途
Cronable
1台のマシンでの業務自動化Apache Airflow
大規模な分散データパイプライン作業の定義方法
Cronable
ビジュアルキャンバス、YAML、またはアシスタントに普通の言葉でApache Airflow
PythonのDAGファイル普通の言葉で説明してジョブを作成
Cronable
アシスタントがジョブ全体を構築Apache Airflow
不可——パイプラインはあなたが書くPythonネットワーク外からインストール先にアクセス
Cronable
組み込み——マシンから外へ接続、ポートは開けないApache Airflow
Webサーバーを公開するか、VPN経由でアクセス必要なインフラ
Cronable
デーモン1つ。同じマシン上のSQLiteApache Airflow
スケジューラー、DAGプロセッサー、メタデータDB、APIサーバー——大規模ならワーカーも水平スケールアウト
Cronable
不可——設計上1台のマシンApache Airflow
可能——Celery、Kubernetesなどのエグゼキューターライセンス
Cronable
商用、オンプレミスApache Airflow
Apache 2.0、オープンソースバックフィルと複雑なリトライ制御
Cronable
バックオフ付きリトライ。バックフィルエンジンなしApache Airflow
成熟したバックフィルとキャッチアップ。Airflow 3ではSLAに代わりデッドラインアラートプロバイダーとオペレーターのエコシステム
Cronable
97個のコネクタApache Airflow
非常に大きなプロバイダーエコシステムデスクトップのファイル、鍵、CLIに届く
Cronable
はい——あなたのマシンで、あなたとして動くApache Airflow
ワーカーイメージに含まれているものだけ最初のジョブが動くまでの時間
Cronable
数分——インストールして、ジョブを説明するだけApache Airflow
1つの導入プロジェクト自分のマシンで動かすことで得られるもの
やりたいことを言えば、パイプラインを組み立てます
「毎朝、前日のStripeの返金を確認して合計をSlackに投稿して」と入力すれば、組み込みのアシスタントがジョブ全体を構築します——ステップ、スケジュール、必要な認証情報、そして失敗したときの動作まで、すべてつないで実行できる状態に。キャンバスで確認し、何でも変更できます。Freeを含むすべてのプランで利用できます。
すべての実行を記録、ライブログ付き
各実行はステータス、所要時間、出力、シークレットをマスクしたログを保持し、実行中はライブでストリーミングされます。親が成功したときだけ起動するようにジョブを連鎖させ、バックオフ付きでリトライし、失敗はパイプラインの先へ流す代わりにハンドラージョブへ回せます。
あなたの仕事がある場所で動く
Cronableは、あなたが実際に使っているマシンにインストールします——MacやWindowsのアプリとして、あるいはあなたが所有するサーバーに。ジョブはあなたのファイルを開き、すでにサインイン済みのCLIを使い、ネットワーク上のあらゆるものに届きます。あなたのマシンで、あなたとして動いているからです。
どこからでもアクセス——ポートを開ける必要なし
リモートコントロールを使えば、どこにいてもブラウザからインストール先を操作できます。マシンのほうからホスト型リレーへ接続するため、ポートを公開することも、ルーターでポート転送することも、自前のトンネルを運用することもありません。オプトイン方式で、オンにするまではオフ。Basic以上のプランに含まれます。
SaaSのWebhookがあなたのマシンに届く
Stripe、GitHub、フォームツールにURLを渡せば、ホスト型リレーがイベントをあなたのインストール先へ転送します——ここでもポートは開けず、インターネットに何も公開しません。インストールごとに専用のパーティションが割り当てられ、イベントが届いた瞬間にジョブが起動します。Basic以上。
数分でインストールして稼働
MacやWindowsのアプリならワンクリックでインストール、サーバーなら1行を貼り付けるだけ——Dockerも、用意すべきデータベースも、設定すべきリバースプロキシも不要です。初回起動のウィザードがセットアップを案内し、足りないツールを見つけてインストールを提案します。アップデートは署名付き:sudoでインストールしたLinuxサーバーではバックグラウンドで適用され、新しいバージョンへ毎回ワンステップで切り替わります。Macではワンライナーのインストーラーを再実行します。
CronableとApache Airflow
CronableはAirflowの代わりになりますか?
大規模なデータエンジニアリングには向きません。置き換えるのはその下の層——ビジネスを回し続けているのに、クラスターを用意するほどではなかったcrontabのエントリー、場当たり的なスクリプト、スケジュールタスクです。両方を使い分けているチームも数多くあります。
CronableはDAGと依存関係に対応していますか?
はい。ジョブは親の実行後に起動する形で連鎖するため、依存関係はDAGになり、キャンバス上でエッジをドラッグして編集できます。実行は次のステップにデータを渡せ、失敗したときはチェーンを進む代わりにハンドラージョブへ回せます。
パイプラインをPythonで書けますか?
Pythonは実行できます——ジョブはあなたのマシンでスクリプトやシェルコマンドを実行でき、専用のコードとターミナルのジョブタイプもあります。ただし、オーケストレーション自体はPythonではなく、YAMLまたはキャンバスで定義します。
業務を自動化しましょう。
Cronableはまもなく公開されます。ウェイトリストに登録すれば、セルフサーブアカウント——そしてMac、Windows、Linux向けのアプリ——が公開され次第、メールでお知らせします。