AWS Fargate のすヽめ

Created

Aug 7, 2023 5:47 AM

今までの ECS の辛いところ

これまでは ECS cluster に紐づくEC2 インスタンスが必要でした。

EC2 上で動くタスクを定義するため、コスト面を考えて EC2 インスタンスのリソースを使い切るようなタスク定義にするという要件をいただくことがありました。

ECS Cluster

インスタンスタイプ

instance type	vCPU	Memory(*1)
c5.large	2	4GB

タスク定義

task	cpu (*2)	memory
ECS task1	1024	2.5GB
ECS task2	1024	1GB

(*1) ECS_RESERVED_MEMORY=512 として、メモリの 512MB は Amazon ECS コンテナエージェントが利用する想定です

(*2) cpu の項目は unit 数になります。vCPU 2 であれば 2048 まで指定が可能になります。

タスクのサイズを変えたい

すでに EC2 インスタンスのリソースをフルに使っていますので、

例えば ECS task1 にmemory を 3.5GB 割り当てたい、という場合は、 EC2 インスタンスをスケールアップ、あるいはスケールアウトして余剰リソースを出すような形になります。

また、 4GB など EC2 インスタンスのリソースを超えるタスクを起動したい場合もスケールアップが必要です。

スケールアップ

スケールアウト

deploy したい

deploy 時は、既存タスクと同じ数のタスクが起動して、 ELB に組み込まれ正常にヘルスチェックを返したら旧タスクがスケールインされる、というのが理想形です。

deploy前

deploy中

deploy完了

この方法を取るためには以下の方法が考えられますが、それぞれに課題があります。

deploy に備えて常時2倍のリソースを確保しておく

リソースを使いきる運用が達成できない

deploy 時のみ2倍のリソースを確保する

deploy 時に Lambda で Autoscaling group を変更することで実現できる

スケールイン対象の EC2 インスタンスに別のタスクが起動しているとスケールインされないため、その掃除を考慮する必要もある

オートスケールしたい

EC2 を利用した ECS でのオートスケールには、2種類のオートスケールを構成する必要があります。

EC2 インスタンスのオートスケール設定
タスク ( ECS Service ) のオートスケール設定

この際、タスクのオートスケールが発動しても、 EC2 のリソースが無ければオートスケールは失敗します。設定によっては、タスクだけ、 EC2 だけのオートスケールによるスケールアウトが発動するということもあり、 EC2 だけスケールアウト -> タスクは増えないので負荷が変わらず -> 再度 EC2 のスケールアウトが発動...

という無限ループに陥ってしまうこともありえます。

完全に連動させるには、 Cloudwatch alarm の閾値を超えたら Lambda で、というようなやり方になります。

参考: Amazon ECSのDockerコンテナをLambdaでAuto Scalingに連携させる