Giám sát website chạy trên điện thoại bằng Datadog
@horashidev · 17/11/2026 · 7 phút đọc
#datadog #monitoring #devops #termux #cloudflare
Mình chạy blog live4dev trên một chiếc điện thoại Redmi cũ: backend Rust nằm trong Termux, đưa ra internet bằng Cloudflare Tunnel. Rẻ và vui, nhưng có một vấn đề: điện thoại tắt, hết pin hoặc mất mạng thì API chết, và mình không biết. Bài này kể cách mình dùng Datadog để biết ngay khi có chuyện, chỉ với curl, một Cloudflare Worker và 7 monitor, không cài agent nặng nề nào.
Bài toán
Một hệ thống chạy trên thiết bị tự quản có những kiểu chết rất khác nhau:
| Sự cố | Điện thoại | Tunnel | Người dùng thấy | |---|---|---|---| | Hết pin, mất mạng | chết | chết | lỗi | | Server Rust bị dừng | sống | sống | lỗi | | Tiến trình cloudflared chết | sống | chết | lỗi | | Bộ nhớ đầy, sao lưu hỏng | sống | sống | vẫn chạy, nhưng sắp hỏng |
Chỉ nhìn từ một phía sẽ bỏ sót. Nếu chỉ điện thoại tự báo "tôi còn sống", bạn không biết người ngoài có vào được không. Nếu chỉ kiểm tra từ ngoài, bạn không biết vì sao nó chết. Vì vậy mình dùng hai nguồn số liệu.
Kiến trúc
Điện thoại: datadog-agent.sh (mỗi 60 giây) ──► Datadog ◄── Cloudflare Worker (mỗi 3 phút)
nhịp tim, server, bộ nhớ, pin gọi /api/health từ bên ngoài
│
└─ 7 monitor ──► email / ứng dụng Datadog
- Từ trong: một script shell trên điện thoại gửi số liệu mỗi phút.
- Từ ngoài: một Cloudflare Worker chạy theo lịch cron, gọi
https://api.live4dev.tech/api/healthnhư một người dùng thật và đẩy kết quả lên Datadog.
Các số liệu (metric)
| Metric | Nguồn | Ý nghĩa | |---|---|---| | live4dev.heartbeat | điện thoại | còn sống và còn mạng | | live4dev.api.up | điện thoại | server trả lời /api/health cục bộ | | live4dev.public.up | Worker | API vào được từ ngoài qua tunnel | | live4dev.public.latency_ms | Worker | độ trễ nhìn từ ngoài | | live4dev.backup.age_seconds | điện thoại | tuổi của bản sao lưu lên R2 gần nhất | | live4dev.disk.free_percent | điện thoại | bộ nhớ còn trống | | live4dev.battery.percent | điện thoại | pin (cần ứng dụng Termux:API) |
Tất cả gắn thẻ service:live4dev, env:prod và source:phone hoặc source:worker-probe, để monitor lọc dễ dàng.
Gửi metric chỉ bằng curl
Datadog nhận số liệu qua HTTP, nên không cần cài agent. Một lệnh là đủ:
curl -sS -X POST "https://api.datadoghq.com/api/v2/series" \
-H "Content-Type: application/json" \
-H "DD-API-KEY: $DD_API_KEY" \
-d '{"series":[{
"metric":"live4dev.heartbeat",
"type":3,
"points":[{"timestamp":'"$(date +%s)"',"value":1}],
"tags":["service:live4dev","env:prod"]
}]}'
Vài điểm cần nhớ:
type: 3là gauge (giá trị tức thời, hợp với "còn sống = 1").- Thành công trả về HTTP 202.
- Địa chỉ
api.datadoghq.comphụ thuộc site tài khoản của bạn:datadoghq.eu,us3.datadoghq.com,us5.datadoghq.com... Xem site ở địa chỉ trình duyệt khi đăng nhập Datadog. - Mình dùng
curl -K -để truyền header chứa khóa qua stdin, tránh khóa hiện trong danh sách tiến trình.
Đầu dò từ bên ngoài bằng Worker
Worker chạy mỗi 3 phút, gọi API công khai, đo thời gian và gửi kết quả:
async function probe(env) {
const t0 = Date.now();
try {
const r = await fetch(env.API_URL + '/api/health');
const j = await r.json();
return j.ok ? { ok: true, ms: Date.now() - t0 } : { ok: false };
} catch {
return { ok: false };
}
}
async function pushDatadog(env, p, now) {
const ts = Math.floor(now / 1000);
const series = [{ metric: 'live4dev.public.up', type: 3,
points: [{ timestamp: ts, value: p.ok ? 1 : 0 }],
tags: ['service:live4dev', 'source:worker-probe'] }];
await fetch(`https://api.${env.DD_SITE}/api/v2/series`, {
method: 'POST',
headers: { 'content-type': 'application/json', 'DD-API-KEY': env.DD_API_KEY },
body: JSON.stringify({ series }),
});
}
Khóa API nằm trong secret của Worker (wrangler secret put DD_API_KEY), không nằm trong mã.
Monitor: mẹo "No data"
Monitor kiểu *metric alert* so sánh giá trị với ngưỡng. Với nhịp tim, có một mẹo quan trọng: khi điện thoại chết, nó không gửi giá trị 0, nó ngừng gửi hẳn. Nên bạn phải bật cảnh báo khi *không có dữ liệu*:
{
"name": "live4dev: điện thoại ngừng gửi nhịp tim",
"type": "metric alert",
"query": "avg(last_5m):avg:live4dev.heartbeat{service:live4dev} < 0.5",
"options": {
"thresholds": { "critical": 0.5 },
"notify_no_data": true,
"no_data_timeframe": 10,
"renotify_interval": 60
}
}
Hai quy tắc dễ vấp:
no_data_timeframephải lớn hơn hoặc bằng 2 lần cửa sổ truy vấn (ở đây cửa sổ 5 phút, nên tối thiểu 10).- Ngưỡng
criticalphải khớp với con số trong câu truy vấn (< 0.5).
Bảy monitor mình đang dùng:
| Monitor | Điều kiện | |---|---| | Ngừng gửi nhịp tim | không có heartbeat trong 10 phút | | API công khai không vào được | public.up trung bình dưới 0,5 trong 6 phút | | Server không trả lời cục bộ | api.up dưới 0,5 trong 5 phút | | Sao lưu quá 14 giờ | backup.age_seconds trên 50400 | | Bộ nhớ sắp đầy | disk.free_percent dưới 10 (cảnh báo vàng ở 20) | | Pin yếu | battery.percent dưới 15 (vàng ở 30) | | API chậm | public.latency_ms trung bình trên 3000 (vàng ở 1500) |
Nhờ có cả hai nguồn, mình phân biệt được "cả điện thoại chết" (mất cả heartbeat lẫn public.up) với "chỉ tunnel chết" (heartbeat vẫn ổn nhưng public.up về 0).
Hai loại khóa: API key và Application key
Đây là chỗ mình mất nhiều thời gian nhất, vì Datadog có hai khóa khác nhau:
- API key (tạo ở *Organization Settings → API Keys*): dùng để gửi số liệu lên Datadog.
- Application key (tạo ở *Personal Settings → Application Keys*): dùng để quản lý monitor, dashboard qua API.
Gửi metric chỉ cần API key. Tạo monitor bằng mã cần cả hai. Ngoài ra Datadog hiện cấp key có tiền tố, ví dụ ddapp_..., chứa dấu gạch dưới: nếu script của bạn kiểm tra khóa chỉ gồm chữ và số thì sẽ từ chối nhầm khóa hợp lệ.
Quản lý monitor bằng mã
Mình lưu 7 monitor trong một file JSON và dùng một script tạo hoặc cập nhật qua API (POST /api/v1/monitor, PUT /api/v1/monitor/{id}). Hai bẫy khi viết script bằng PowerShell 5.1:
- Nhận diện monitor bằng thẻ ASCII, không bằng tên. Phản hồi JSON không khai báo
charsetnên PowerShell 5.1 đọc sai dấu tiếng Việt trong tên, so sánh tên thất bại và script tạo trùng monitor mỗi lần chạy. Giải pháp: gắn mỗi monitor một thẻ nhưl4d_key:heartbeatvà tìm theo thẻ đó. - Mảng JSON bị gộp thành một đối tượng. Danh sách monitor trả về như một đối tượng duy nhất, nên cần duyệt thêm một lớp để lấy từng phần tử.
Kết quả: chạy script bao nhiêu lần cũng chỉ ra đúng 7 monitor.
Giữ khóa an toàn
- Khóa lưu bằng DPAPI của Windows (
Export-ClixmlvớiSecureString), ở thư mục ngoài dự án: chỉ đúng tài khoản Windows đó giải mã được. - Trên điện thoại, file cấu hình có quyền
600. - Trong Worker, khóa là secret.
- Không khóa nào nằm trong repo hay trong chat.
Kết quả và bài học
- Chi phí gần như bằng không: một script shell, một Worker, một vài API call.
- Hệ thống tự phân biệt được các kiểu sự cố ở bảng đầu bài, nhờ hai nguồn số liệu.
- Mình test toàn bộ bằng một Datadog giả (một máy chủ Node nhỏ ghi lại yêu cầu) trước khi dùng khóa thật. Cách này bắt được cả hai lỗi PowerShell ở trên mà không cần chạm vào tài khoản thật.
Danh sách kiểm tra nếu bạn muốn làm tương tự:
- Tạo API key và Application key (nhớ site của bạn).
- Gửi một metric
heartbeatmỗi phút từ thiết bị. - Thêm một đầu dò từ bên ngoài, đừng chỉ tin vào thiết bị tự báo.
- Tạo monitor có
notify_no_datacho các số liệu "còn sống". - Đặt ngưỡng cảnh báo vàng trước ngưỡng đỏ cho tài nguyên (bộ nhớ, pin, độ trễ).
- Cài ứng dụng Datadog trên điện thoại để nhận thông báo đẩy.