← Tất cả bài viết

Lab 1 DOP-C02, canary Lambda tự rollback

@horashidev · 19/11/2026 · 8 phút đọc

DevOps · Cơ bản · Bài viết · DOP-C02 #11

#dop-c02 #cicd #lambda #codedeploy #sam

Lab 1 DOP-C02, canary Lambda tự rollback

Ảnh bìa: Lab 1 DOP-C02, canary Lambda tự rollback

Đây là lab đầu tiên của chuỗi DOP-C02, ứng với Domain 1 (SDLC Automation), task 1.4: triển khai cho môi trường serverless. Mục tiêu là tự tay thấy một điều mà đề thi rất hay hỏi: phát hành bản mới cho một phần nhỏ người dùng, và nếu lỗi tăng thì hệ thống tự quay về bản cũ, không cần ai bấm tay.

Bạn sẽ làm ba lần phát hành liên tiếp: bản đầu tiên, một bản mới khoẻ mạnh, và một bản cố tình có lỗi. Lần cuối là lúc bạn thấy rollback tự động diễn ra.

Những mảnh ghép

Sơ đồ: sam deploy tạo hoặc cập nhật stack CloudFormation, CodeDeploy chuyển lưu lượng của alias live giữa hai phiên bản, CloudWatch alarm báo lỗi của phiên bản mới

Bước 0: chuẩn bị

Kiểm tra công cụ đã sẵn sàng:

aws sts get-caller-identity
sam --version

Lệnh đầu in ra ID tài khoản của bạn. Lệnh sau in phiên bản SAM CLI. Nếu thiếu, cài theo hướng dẫn chính thức của AWS rồi chạy lại. Trong bài mình dùng Region ap-southeast-1; bạn có thể dùng Region khác, miễn là nhất quán ở mọi lệnh.

Bước 1: tạo dự án

Tạo thư mục và hai tệp:

mkdir lab-canary && cd lab-canary && mkdir src

Tệp template.yaml:

AWSTemplateFormatVersion: '2010-09-09'
Transform: AWS::Serverless-2016-10-31
Description: Lab DOP-C02 - canary Lambda tu rollback

Resources:
  HelloFunction:
    Type: AWS::Serverless::Function
    Properties:
      FunctionName: lab-canary-hello
      Runtime: python3.12
      Handler: app.handler
      CodeUri: src/
      AutoPublishAlias: live
      DeploymentPreference:
        Type: Canary10Percent5Minutes
        Alarms:
          - !Ref CanaryErrorsAlarm

  CanaryErrorsAlarm:
    Type: AWS::CloudWatch::Alarm
    Properties:
      AlarmName: lab-canary-errors
      AlarmDescription: Loi cua phien ban Lambda moi trong luc canary
      Namespace: AWS/Lambda
      MetricName: Errors
      Statistic: Sum
      Period: 60
      EvaluationPeriods: 2
      Threshold: 0
      ComparisonOperator: GreaterThanThreshold
      TreatMissingData: notBreaching
      Dimensions:
        - Name: Resource
          Value: !Sub "${HelloFunction}:live"
        - Name: FunctionName
          Value: !Ref HelloFunction
        - Name: ExecutedVersion
          Value: !GetAtt HelloFunction.Version.Version

Tệp src/app.py (đây là bản v1):

def handler(event, context):
    return {"statusCode": 200, "body": "v1"}

Ba chi tiết đáng nhớ trong template:

Bước 2: phát hành bản v1

sam build
sam deploy --guided --region ap-southeast-1

Khi SAM hỏi, nhập: tên stack lab-canary, Region của bạn, đồng ý Allow SAM CLI IAM role creation, và chọn lưu cấu hình vào samconfig.toml. Các câu còn lại cứ Enter để lấy mặc định. Chờ vài phút cho tới khi thấy stack tạo xong.

Lần phát hành đầu không có canary, vì chưa có bản cũ để so sánh. Kiểm tra bản v1 đang chạy:

aws lambda invoke --function-name lab-canary-hello:live --cli-binary-format raw-in-base64-out out.json
cat out.json

Kết quả mong đợi: {"statusCode": 200, "body": "v1"}.

Bước 3: phát hành v2 khoẻ mạnh

Sửa src/app.py thành:

def handler(event, context):
    return {"statusCode": 200, "body": "v2"}

Mở hai cửa sổ terminal. Ở cửa sổ thứ nhất chạy phát hành:

sam build && sam deploy

Lệnh này sẽ chờ khoảng 5 đến 6 phút, vì CloudFormation đợi CodeDeploy hoàn tất canary. Trong lúc đó, ở cửa sổ thứ hai, bắn lưu lượng liên tục vào alias để thấy việc chia tỉ lệ:

for i in $(seq 1 120); do
  aws lambda invoke --function-name lab-canary-hello:live --cli-binary-format raw-in-base64-out out.json >/dev/null
  cat out.json; echo
  sleep 2
done

Trên Windows PowerShell:

1..120 | ForEach-Object {
  aws lambda invoke --function-name lab-canary-hello:live --cli-binary-format raw-in-base64-out out.json | Out-Null
  Get-Content out.json
  Start-Sleep 2
}

Bạn sẽ thấy phần lớn dòng ra v1, thỉnh thoảng (khoảng 1 trên 10) ra v2. Đó là canary 10% đang chạy.

Đồng thời mở console AWS, CodeDeploy, Deployments, chọn lần triển khai đang chạy. Bạn sẽ thấy trạng thái *In progress* và tiến độ chuyển lưu lượng. Sau 5 phút, lưu lượng chuyển hết sang v2 và triển khai chuyển thành *Succeeded*. Chạy lại vòng lặp: giờ mọi dòng đều là v2.

Bước 4: phát hành v3 cố tình có lỗi

Dòng thời gian: v2 khoẻ chuyển hết sau 5 phút canary, v3 có lỗi bị alarm chặn và quay về v2

Sửa src/app.py thành bản lỗi:

def handler(event, context):
    raise RuntimeError("loi co y cua lab")

Ở cửa sổ thứ nhất, chạy phát hành như trước:

sam build && sam deploy

Ngay khi lệnh bắt đầu chờ, ở cửa sổ thứ hai chạy lại vòng lặp bắn lưu lượng (nhớ tăng lên 200 lần để kéo dài hơn 3 phút). Quan sát:

Kiểm chứng bằng lệnh:

aws cloudformation describe-stacks --stack-name lab-canary --query "Stacks[0].StackStatus"
aws lambda get-alias --function-name lab-canary-hello --name live

Lệnh thứ hai cho thấy FunctionVersion là phiên bản của v2 và không còn RoutingConfig (không còn chia lưu lượng). Chạy lại vòng lặp: mọi dòng đều lại là v2. Hệ thống đã tự cứu mình.

Chuyện gì vừa xảy ra, nhìn theo đề thi

Thử thêm (không bắt buộc)

Dọn dẹp (đừng bỏ qua)

Xoá toàn bộ stack và bucket artifact của SAM:

sam delete --stack-name lab-canary --region ap-southeast-1

Lambda không xoá nhóm log của hàm, nên xoá nốt:

aws logs delete-log-group --log-group-name /aws/lambda/lab-canary-hello --region ap-southeast-1

Kiểm tra đã sạch: lệnh aws cloudformation describe-stacks --stack-name lab-canary phải báo stack không tồn tại, và alarm lab-canary-errors không còn trong CloudWatch.

Gỡ rối thường gặp

Tiếp theo

Nguồn