Lab 1 DOP-C02, canary Lambda tự rollback
@horashidev · 19/11/2026 · 8 phút đọc
DevOps · Cơ bản · Bài viết · DOP-C02 #11
#dop-c02 #cicd #lambda #codedeploy #sam


Đây là lab đầu tiên của chuỗi DOP-C02, ứng với Domain 1 (SDLC Automation), task 1.4: triển khai cho môi trường serverless. Mục tiêu là tự tay thấy một điều mà đề thi rất hay hỏi: phát hành bản mới cho một phần nhỏ người dùng, và nếu lỗi tăng thì hệ thống tự quay về bản cũ, không cần ai bấm tay.
Bạn sẽ làm ba lần phát hành liên tiếp: bản đầu tiên, một bản mới khoẻ mạnh, và một bản cố tình có lỗi. Lần cuối là lúc bạn thấy rollback tự động diễn ra.
- Thời gian: khoảng 45 phút, trong đó phần lớn là chờ canary chạy.
- Chi phí: gần như 0 đồng. Lambda, CloudWatch alarm đều nằm trong mức miễn phí, CodeDeploy không tính phí thêm cho Lambda. Bucket S3 chứa mã chỉ vài KB. Cuối bài có bước dọn dẹp để không còn gì chạy ngầm.
- Cần có: một tài khoản AWS dùng để học (nên đặt AWS Budgets cảnh báo sớm), AWS CLI v2 đã cấu hình (
aws configure), và AWS SAM CLI.
Những mảnh ghép

- Lambda version và alias: mỗi lần mã đổi, Lambda tạo một *phiên bản* bất biến. *Alias*
livelà một con trỏ tới phiên bản, và có thể chia lưu lượng theo trọng số giữa hai phiên bản. Người gọi luôn gọi alias, không gọi phiên bản. - CodeDeploy: điều khiển việc đổi trọng số của alias theo cấu hình canary hoặc linear.
- CloudWatch alarm: là tín hiệu sức khoẻ. Nếu alarm chuyển sang
ALARMtrong lúc triển khai, CodeDeploy dừng lại và đưa alias về phiên bản cũ. - AWS SAM: viết một tệp
template.yaml, SAM tự dựng ứng dụng CodeDeploy, nhóm triển khai và alias. Đây chính là thuộc tínhDeploymentPreferencemà đề thi hay nhắc.
Bước 0: chuẩn bị
Kiểm tra công cụ đã sẵn sàng:
aws sts get-caller-identity
sam --version
Lệnh đầu in ra ID tài khoản của bạn. Lệnh sau in phiên bản SAM CLI. Nếu thiếu, cài theo hướng dẫn chính thức của AWS rồi chạy lại. Trong bài mình dùng Region ap-southeast-1; bạn có thể dùng Region khác, miễn là nhất quán ở mọi lệnh.
Bước 1: tạo dự án
Tạo thư mục và hai tệp:
mkdir lab-canary && cd lab-canary && mkdir src
Tệp template.yaml:
AWSTemplateFormatVersion: '2010-09-09'
Transform: AWS::Serverless-2016-10-31
Description: Lab DOP-C02 - canary Lambda tu rollback
Resources:
HelloFunction:
Type: AWS::Serverless::Function
Properties:
FunctionName: lab-canary-hello
Runtime: python3.12
Handler: app.handler
CodeUri: src/
AutoPublishAlias: live
DeploymentPreference:
Type: Canary10Percent5Minutes
Alarms:
- !Ref CanaryErrorsAlarm
CanaryErrorsAlarm:
Type: AWS::CloudWatch::Alarm
Properties:
AlarmName: lab-canary-errors
AlarmDescription: Loi cua phien ban Lambda moi trong luc canary
Namespace: AWS/Lambda
MetricName: Errors
Statistic: Sum
Period: 60
EvaluationPeriods: 2
Threshold: 0
ComparisonOperator: GreaterThanThreshold
TreatMissingData: notBreaching
Dimensions:
- Name: Resource
Value: !Sub "${HelloFunction}:live"
- Name: FunctionName
Value: !Ref HelloFunction
- Name: ExecutedVersion
Value: !GetAtt HelloFunction.Version.Version
Tệp src/app.py (đây là bản v1):
def handler(event, context):
return {"statusCode": 200, "body": "v1"}
Ba chi tiết đáng nhớ trong template:
AutoPublishAlias: livelàm SAM tự tạo phiên bản mới mỗi khi mã thay đổi và trỏ aliaslivetới nó.Type: Canary10Percent5Minutesnghĩa là 10% lưu lượng sang phiên bản mới trong 5 phút, nếu ổn thì chuyển hết.- Chiều
ExecutedVersioncủa alarm làm alarm chỉ nhìn vào lỗi của phiên bản mới, không bị lẫn lỗi của bản cũ. Nhờ vậy canary phát hiện đúng bản mới gây lỗi.
Bước 2: phát hành bản v1
sam build
sam deploy --guided --region ap-southeast-1
Khi SAM hỏi, nhập: tên stack lab-canary, Region của bạn, đồng ý Allow SAM CLI IAM role creation, và chọn lưu cấu hình vào samconfig.toml. Các câu còn lại cứ Enter để lấy mặc định. Chờ vài phút cho tới khi thấy stack tạo xong.
Lần phát hành đầu không có canary, vì chưa có bản cũ để so sánh. Kiểm tra bản v1 đang chạy:
aws lambda invoke --function-name lab-canary-hello:live --cli-binary-format raw-in-base64-out out.json
cat out.json
Kết quả mong đợi: {"statusCode": 200, "body": "v1"}.
Bước 3: phát hành v2 khoẻ mạnh
Sửa src/app.py thành:
def handler(event, context):
return {"statusCode": 200, "body": "v2"}
Mở hai cửa sổ terminal. Ở cửa sổ thứ nhất chạy phát hành:
sam build && sam deploy
Lệnh này sẽ chờ khoảng 5 đến 6 phút, vì CloudFormation đợi CodeDeploy hoàn tất canary. Trong lúc đó, ở cửa sổ thứ hai, bắn lưu lượng liên tục vào alias để thấy việc chia tỉ lệ:
for i in $(seq 1 120); do
aws lambda invoke --function-name lab-canary-hello:live --cli-binary-format raw-in-base64-out out.json >/dev/null
cat out.json; echo
sleep 2
done
Trên Windows PowerShell:
1..120 | ForEach-Object {
aws lambda invoke --function-name lab-canary-hello:live --cli-binary-format raw-in-base64-out out.json | Out-Null
Get-Content out.json
Start-Sleep 2
}
Bạn sẽ thấy phần lớn dòng ra v1, thỉnh thoảng (khoảng 1 trên 10) ra v2. Đó là canary 10% đang chạy.
Đồng thời mở console AWS, CodeDeploy, Deployments, chọn lần triển khai đang chạy. Bạn sẽ thấy trạng thái *In progress* và tiến độ chuyển lưu lượng. Sau 5 phút, lưu lượng chuyển hết sang v2 và triển khai chuyển thành *Succeeded*. Chạy lại vòng lặp: giờ mọi dòng đều là v2.
Bước 4: phát hành v3 cố tình có lỗi

Sửa src/app.py thành bản lỗi:
def handler(event, context):
raise RuntimeError("loi co y cua lab")
Ở cửa sổ thứ nhất, chạy phát hành như trước:
sam build && sam deploy
Ngay khi lệnh bắt đầu chờ, ở cửa sổ thứ hai chạy lại vòng lặp bắn lưu lượng (nhớ tăng lên 200 lần để kéo dài hơn 3 phút). Quan sát:
- Khoảng 1 trên 10 request trả về lỗi
Unhandled, đó là phần canary đi vào v3. 9 request còn lại vẫn làv2, nghĩa là người dùng chỉ bị ảnh hưởng ở một phần nhỏ. - Vì alarm cần 2 khoảng 1 phút liên tiếp có lỗi, sau chừng 2 đến 3 phút alarm
lab-canary-errorschuyển sangALARM. - Trên CodeDeploy, triển khai chuyển thành *Stopped* (đã bị rollback), và alias được đưa về phiên bản cũ.
- Lệnh
sam deployở cửa sổ đầu báo lỗi, và CloudFormation đưa stack vềUPDATE_ROLLBACK_COMPLETE.
Kiểm chứng bằng lệnh:
aws cloudformation describe-stacks --stack-name lab-canary --query "Stacks[0].StackStatus"
aws lambda get-alias --function-name lab-canary-hello --name live
Lệnh thứ hai cho thấy FunctionVersion là phiên bản của v2 và không còn RoutingConfig (không còn chia lưu lượng). Chạy lại vòng lặp: mọi dòng đều lại là v2. Hệ thống đã tự cứu mình.
Chuyện gì vừa xảy ra, nhìn theo đề thi
- Phiên bản mới nhận lưu lượng theo trọng số của alias, nên rủi ro bị giới hạn ở 10% trong lúc kiểm chứng.
- CloudWatch alarm gắn vào deployment group là điều kiện để rollback tự động theo tín hiệu sức khoẻ thật. Thiếu alarm thì canary chỉ là chia lưu lượng, không có ai quyết định quay lại.
- Rollback của CodeDeploy là một lần triển khai mới về phiên bản cũ, và vì SAM chạy dưới CloudFormation nên stack cũng quay lại.
- Câu hỏi hay gặp: "triển khai Lambda cho 10% người dùng trong vài phút và tự quay lại khi tỉ lệ lỗi tăng, ít công nhất". Đáp án là CodeDeploy (hoặc
DeploymentPreferencecủa SAM) với canary và alarm, không phải Lambda tự viết hay Beanstalk.
Thử thêm (không bắt buộc)
- Đổi
TypethànhLinear10PercentEvery1Minutevà quan sát lưu lượng tăng đều mỗi phút. So sánh với canary: canary chuyển một lần rồi chờ, linear tăng đều từng bước. - Thêm
Hooks: PreTraffictrỏ tới một hàm Lambda kiểm tra, để chặn triển khai trước khi bất kỳ lưu lượng thật nào tới bản mới. - Đổi ngưỡng alarm thành
Threshold: 5và xem rollback chậm hơn ra sao.
Dọn dẹp (đừng bỏ qua)
Xoá toàn bộ stack và bucket artifact của SAM:
sam delete --stack-name lab-canary --region ap-southeast-1
Lambda không xoá nhóm log của hàm, nên xoá nốt:
aws logs delete-log-group --log-group-name /aws/lambda/lab-canary-hello --region ap-southeast-1
Kiểm tra đã sạch: lệnh aws cloudformation describe-stacks --stack-name lab-canary phải báo stack không tồn tại, và alarm lab-canary-errors không còn trong CloudWatch.
Gỡ rối thường gặp
- Alarm không kêu dù có lỗi: vòng lặp bắn lưu lượng phải chạy liên tục trong hơn 2 phút, vì alarm cần 2 khoảng 1 phút liên tiếp. Chỉ bắn vài request rồi dừng thì không đủ.
- Triển khai thành công dù v3 lỗi: kiểm tra
ExecutedVersiontrong alarm đúng là!GetAtt HelloFunction.Version.VersionvàAlarmscủaDeploymentPreferencecó tham chiếu alarm. sam deploybáo thiếu quyền: tài khoản dùng cho lab cần quyền tạo CloudFormation, IAM role, Lambda, CodeDeploy và CloudWatch alarm.- Stack kẹt ở
UPDATE_ROLLBACK_FAILED: hiếm gặp, dùngContinueUpdateRollbacktrong CloudFormation.
Tiếp theo
- Làm câu hỏi ôn thi Domain 1 ở mục
/questionđể củng cố các điểm trong lab này, nhất là các câu về canary, hook và rollback. - Lab tiếp theo trong chuỗi: tự sửa cấu hình sai bằng EventBridge và Systems Manager Automation (Domain 5).
Nguồn
- Triển khai dần dần với AWS SAM và CodeDeploy: https://docs.aws.amazon.com/serverless-application-model/latest/developerguide/automate-deployments.html
- Triển khai ứng dụng Lambda với CodeDeploy: https://docs.aws.amazon.com/codedeploy/latest/userguide/deployment-steps-lambda.html