← Tất cả bài viết

Giám sát website chạy trên điện thoại bằng Datadog

@horashidev · 17/11/2026 · 7 phút đọc

#datadog #monitoring #devops #termux #cloudflare

Mình chạy blog live4dev trên một chiếc điện thoại Redmi cũ: backend Rust nằm trong Termux, đưa ra internet bằng Cloudflare Tunnel. Rẻ và vui, nhưng có một vấn đề: điện thoại tắt, hết pin hoặc mất mạng thì API chết, và mình không biết. Bài này kể cách mình dùng Datadog để biết ngay khi có chuyện, chỉ với curl, một Cloudflare Worker và 7 monitor, không cài agent nặng nề nào.

Bài toán

Một hệ thống chạy trên thiết bị tự quản có những kiểu chết rất khác nhau:

| Sự cố | Điện thoại | Tunnel | Người dùng thấy | |---|---|---|---| | Hết pin, mất mạng | chết | chết | lỗi | | Server Rust bị dừng | sống | sống | lỗi | | Tiến trình cloudflared chết | sống | chết | lỗi | | Bộ nhớ đầy, sao lưu hỏng | sống | sống | vẫn chạy, nhưng sắp hỏng |

Chỉ nhìn từ một phía sẽ bỏ sót. Nếu chỉ điện thoại tự báo "tôi còn sống", bạn không biết người ngoài có vào được không. Nếu chỉ kiểm tra từ ngoài, bạn không biết vì sao nó chết. Vì vậy mình dùng hai nguồn số liệu.

Kiến trúc

Điện thoại: datadog-agent.sh (mỗi 60 giây) ──► Datadog ◄── Cloudflare Worker (mỗi 3 phút)
   nhịp tim, server, bộ nhớ, pin                          gọi /api/health từ bên ngoài
                                    │
                                    └─ 7 monitor ──► email / ứng dụng Datadog

Các số liệu (metric)

| Metric | Nguồn | Ý nghĩa | |---|---|---| | live4dev.heartbeat | điện thoại | còn sống và còn mạng | | live4dev.api.up | điện thoại | server trả lời /api/health cục bộ | | live4dev.public.up | Worker | API vào được từ ngoài qua tunnel | | live4dev.public.latency_ms | Worker | độ trễ nhìn từ ngoài | | live4dev.backup.age_seconds | điện thoại | tuổi của bản sao lưu lên R2 gần nhất | | live4dev.disk.free_percent | điện thoại | bộ nhớ còn trống | | live4dev.battery.percent | điện thoại | pin (cần ứng dụng Termux:API) |

Tất cả gắn thẻ service:live4dev, env:prod và source:phone hoặc source:worker-probe, để monitor lọc dễ dàng.

Gửi metric chỉ bằng curl

Datadog nhận số liệu qua HTTP, nên không cần cài agent. Một lệnh là đủ:

curl -sS -X POST "https://api.datadoghq.com/api/v2/series" \
  -H "Content-Type: application/json" \
  -H "DD-API-KEY: $DD_API_KEY" \
  -d '{"series":[{
        "metric":"live4dev.heartbeat",
        "type":3,
        "points":[{"timestamp":'"$(date +%s)"',"value":1}],
        "tags":["service:live4dev","env:prod"]
      }]}'

Vài điểm cần nhớ:

Đầu dò từ bên ngoài bằng Worker

Worker chạy mỗi 3 phút, gọi API công khai, đo thời gian và gửi kết quả:

async function probe(env) {
  const t0 = Date.now();
  try {
    const r = await fetch(env.API_URL + '/api/health');
    const j = await r.json();
    return j.ok ? { ok: true, ms: Date.now() - t0 } : { ok: false };
  } catch {
    return { ok: false };
  }
}

async function pushDatadog(env, p, now) {
  const ts = Math.floor(now / 1000);
  const series = [{ metric: 'live4dev.public.up', type: 3,
    points: [{ timestamp: ts, value: p.ok ? 1 : 0 }],
    tags: ['service:live4dev', 'source:worker-probe'] }];
  await fetch(`https://api.${env.DD_SITE}/api/v2/series`, {
    method: 'POST',
    headers: { 'content-type': 'application/json', 'DD-API-KEY': env.DD_API_KEY },
    body: JSON.stringify({ series }),
  });
}

Khóa API nằm trong secret của Worker (wrangler secret put DD_API_KEY), không nằm trong mã.

Monitor: mẹo "No data"

Monitor kiểu *metric alert* so sánh giá trị với ngưỡng. Với nhịp tim, có một mẹo quan trọng: khi điện thoại chết, nó không gửi giá trị 0, nó ngừng gửi hẳn. Nên bạn phải bật cảnh báo khi *không có dữ liệu*:

{
  "name": "live4dev: điện thoại ngừng gửi nhịp tim",
  "type": "metric alert",
  "query": "avg(last_5m):avg:live4dev.heartbeat{service:live4dev} < 0.5",
  "options": {
    "thresholds": { "critical": 0.5 },
    "notify_no_data": true,
    "no_data_timeframe": 10,
    "renotify_interval": 60
  }
}

Hai quy tắc dễ vấp:

Bảy monitor mình đang dùng:

| Monitor | Điều kiện | |---|---| | Ngừng gửi nhịp tim | không có heartbeat trong 10 phút | | API công khai không vào được | public.up trung bình dưới 0,5 trong 6 phút | | Server không trả lời cục bộ | api.up dưới 0,5 trong 5 phút | | Sao lưu quá 14 giờ | backup.age_seconds trên 50400 | | Bộ nhớ sắp đầy | disk.free_percent dưới 10 (cảnh báo vàng ở 20) | | Pin yếu | battery.percent dưới 15 (vàng ở 30) | | API chậm | public.latency_ms trung bình trên 3000 (vàng ở 1500) |

Nhờ có cả hai nguồn, mình phân biệt được "cả điện thoại chết" (mất cả heartbeat lẫn public.up) với "chỉ tunnel chết" (heartbeat vẫn ổn nhưng public.up về 0).

Hai loại khóa: API key và Application key

Đây là chỗ mình mất nhiều thời gian nhất, vì Datadog có hai khóa khác nhau:

Gửi metric chỉ cần API key. Tạo monitor bằng mã cần cả hai. Ngoài ra Datadog hiện cấp key có tiền tố, ví dụ ddapp_..., chứa dấu gạch dưới: nếu script của bạn kiểm tra khóa chỉ gồm chữ và số thì sẽ từ chối nhầm khóa hợp lệ.

Quản lý monitor bằng mã

Mình lưu 7 monitor trong một file JSON và dùng một script tạo hoặc cập nhật qua API (POST /api/v1/monitor, PUT /api/v1/monitor/{id}). Hai bẫy khi viết script bằng PowerShell 5.1:

Kết quả: chạy script bao nhiêu lần cũng chỉ ra đúng 7 monitor.

Giữ khóa an toàn

Kết quả và bài học

Danh sách kiểm tra nếu bạn muốn làm tương tự: