dockerとsupervisordでcronを追加で動かす

docker上で動くdjangoアプリのバッチ処理をsupervisordcronで行う。

背景

今までにもバッチ処理に関する記事は書いていましたが、今回はdocker+supervisord+cronの組み合わせでdjangomanage.pyから使える自作コマンドの実行を行います。

djangoが動くコンテナを利用してcronを動かすので、supervisordを使うことにしました。

ちなみに、Docker コンテナ内のコマンドをホスト側から定期実行する | ikapblogで書いた、dockerのホストのcronを用いたバッチ処理の方法を改めたものになります。やはりコンテナの独立性というか、ホストありきな仕組みはよくないと思うので、今回の方式に変更しました。

そのため、今までgunicornを実行していたdockerコンテナはsupervisordを実行するように変更して、さらにcron用の定義も追加する、という流れで作業していきます。

supervisordの導入

まずは、バッチ処理の導入前に、gunicornをフォアグラウンドで使っていたところをsupervisordの下で動作するようにします。

そのためにsupervisordをインストールします。DockerfileRUNコマンドの途中で、pip install --no-cache-dir supervisor && \を挿入する形でインストールしました。

pythonイメージを使っていない場合は、pipを導入する必要があると思います。yumにはsupervisorのパッケージは無いようでした。dockerイメージではあまり無いとは思いますが、ディストリビューションによってはsupervisordが同梱されている場合があるようです。(公式インストールページに記載あり: Installing — Supervisor 4.2.2 documentation

インストールが終わったら、CMDgunicornを起動していたところを、supervisordを起動させます。

# ./Dockerfile

# Dockerfileの最後の行にて
CMD ["supervisord", "-c", "./supervisord.conf"]

今回、configファイルは-cオプションで作業用ディレクトリのsupervisord.confを使用するようにします。その内容は:

; ./supervisord.conf

[supervisord]
nodaemon=true

[program:webapp]
command=gunicorn --chdir <app_dir> --bind :8000 <app_module>.wsgi:application
directory=/opt/service/app/src  ; <app_dir>があるディレクトリ
stdout_logfile=/dev/fd/1
stdout_logfile_maxbytes=0
stderr_logfile=/dev/fd/2
stderr_logfile_maxbytes=0

--chdirで指定している<app_dir>manage.pyがあるディレクトリです。作業用ディレクトリは1階層上なのでこのような指定をしています。<app_module>--chdirで指定したディレクトリからみて、wsgi.pyのあるディレクトリ(モジュール)を指定します。(基本的に、django-admin startprojectで指定した名称のはずです。そのため、<app_dir>と同じ場合がほとんどです。)

directory=のところで<app_dir>のパスを指定すれば、command=--chdir <app_dir><app_module>.は不要になると思います。

また、ログはdocker利用の視点的には標準出力してほしいので、最後の4行でプロセスのstdoutstderrをOSのstdoutstderrに出力させています。これを指定しないと、cronで標準出力してもdockerコンテナのログとして出力されません。

gunicornの置き換え作業の場合は一旦ここでチェックしてみるといいと思います。

cronの導入

cronの導入はcrontabの設定と、crondの起動に大別できます。cron自体はdockerイメージに組み込まれている場合がほとんどなので、インストール作業は不要です。

Dockerfileへの追加

Dockerfileへの追加は、上述のRUNコマンドでsupervisordをインストールするより前に行っておきます。もちろん後でもいいです。

# ./Dockerfile

# CMDより前に
COPY ./crontab /etc/crontabs/mycrontab
RUN crontab -c /etc/crontabs/ /etc/crontabs/mycrontab

#...

定期実行するコマンドを記述したテーブルを持ったcrontabファイルをコンテナにコピーして、crontabコマンドでテーブルをインストールしています。ファイルとコマンドともにcrontabである点に注意しましょう。ファイルの./crontabの方は違うファイル名でも問題ありません。

こうすることで、定義した定期実行用コマンドがcronデーモンで実行されるようにしています。

./crontabファイルの定義はこうなっています:

# ./crontab
15 1 * * * cd /opt/service/app/src && python <app_dir>/manage.py <custom_command> 2>&1

毎日01:15にcdして自作コマンドを実行します。cronでのエラーは標準出力にやって、mailしないようにしているつもりです。この辺りはもう少し改善したいです。 標準出力されれば、dockerのログとして収集できます。

supervisordへの追加

supervisordへの追加は、上の方で述べたprogramの例とほぼ同じことを./supervisord.confへ追記します:

; ./supervisord.conf
; ...

[program:crond]
command=crond -f
stdout_logfile=/dev/fd/1
stdout_logfile_maxbytes=0
stderr_logfile=/dev/fd/2
stderr_logfile_maxbytes=0

注意点としては、crondはフォアグラウンドで起動することと、dockerでのログのためにstdoutstderrをいじることがあるくらいです。

ここまでくれば、コンテナをリビルドして作業完了となります。お疲れさまでした。

おわり

supervisordではデフォルトでリスタートはしてくれますが、細かい調整は必要だと思います。

cronの扱いについては一度整理してみたいと思っています。

以上です。


Amazon.co.jp: 本気で学ぶ Linux実践入門 サーバ運用のための業務レベル管理術 eBook : 大竹 龍史, 山本 道子: 本
Amazon.co.jp: 本気で学ぶ Linux実践入門 サーバ運用のための業務レベル管理術 eBook : 大竹 龍史, 山本 道子: 本
タイトルとURLをコピーしました