Máy chủ cửa hàng chạy k3s: backend tự thay khi treo trên mini PC 8 GB

# ===== kustomization.yaml
# Base của BanHang.CuaHang cho k3s v1.36.5+k3s1 (Kubernetes 1.36.5).
# Overlay của từng cửa hàng thường chỉ đổi:
#   - ConfigMap cuahang-cauhinh: configMapGenerator với behavior: merge, khóa CuaHang__Ma và CuaHang__Ten;
#   - tag image registry.banhang.local/banhang/cuahang (mặc định 2.1.0) bằng images/newTag.
# Secret bhpay-api-key-v1 (khóa api-key) không nằm trong Git: tạo riêng trên từng cụm.
# Kiểm: kubectl kustomize . > render.yaml, rồi kubeconform -strict -kubernetes-version 1.36.5 render.yaml.
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
namespace: banhang
resources:
  - namespace.yaml
  - pvc.yaml
  - deployment.yaml
  - service.yaml
  - ingress.yaml
  - hpa.yaml
  - cronjob-sao-luu.yaml
# Tên sinh ra có hậu tố hash theo nội dung: đổi cấu hình là đổi pod template, Deployment tự rollout.
configMapGenerator:
  - name: cuahang-cauhinh
    options:
      labels:
        app.kubernetes.io/name: cuahang
        app.kubernetes.io/part-of: banhang
    literals:
      - CuaHang__Ma=CHUA-DAT
      - CuaHang__Ten=CHUA-DAT
      - TruSo__Url=https://api.banhang.local
      - DongBo__ChuKyGiay=30
      - ConnectionStrings__CuaHang=Data Source=/data/cuahang.db
# ===== namespace.yaml
apiVersion: v1
kind: Namespace
metadata:
  name: banhang
  labels:
    app.kubernetes.io/part-of: banhang
# ===== pvc.yaml
# Dữ liệu offline của cửa hàng (SQLite). local-path của k3s tạo PV kiểu local,
# gắn nodeAffinity kubernetes.io/hostname vào đúng node lúc tạo.
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cuahang-data
  namespace: banhang
  labels:
    app.kubernetes.io/name: cuahang
    app.kubernetes.io/part-of: banhang
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: local-path
  resources:
    requests:
      storage: 2Gi
# ===== deployment.yaml
# BanHang.CuaHang: backend bán tại quầy, bán được khi mất mạng, đồng bộ về trụ sở.
# Không ghi spec.replicas: HPA (hpa.yaml) giữ số pod trong khoảng 2-3.
apiVersion: apps/v1
kind: Deployment
metadata:
  name: cuahang
  namespace: banhang
  labels:
    app.kubernetes.io/name: cuahang
    app.kubernetes.io/part-of: banhang
spec:
  revisionHistoryLimit: 5
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
  selector:
    matchLabels:
      app.kubernetes.io/name: cuahang
  template:
    metadata:
      labels:
        app.kubernetes.io/name: cuahang
        app.kubernetes.io/part-of: banhang
    spec:
      terminationGracePeriodSeconds: 30   # > preStop 5 s + ShutdownTimeout 15 s
      securityContext:
        runAsNonRoot: true
        runAsUser: 1654                    # user "app" của image .NET từ bản 8
        runAsGroup: 1654
        fsGroup: 1654
        seccompProfile:
          type: RuntimeDefault
      initContainers:
        # Volume trống (máy mới, PVC mới) thì chép bản sao lưu mới nhất vào trước khi app chạy.
        - name: khoi-phuc
          image: registry.banhang.local/banhang/cuahang:2.1.0
          args: ["khoi-phuc", "--du-lieu", "/data", "--sao-luu", "/sao-luu"]
          envFrom:
            - configMapRef:
                name: cuahang-cauhinh
          resources:
            requests:
              cpu: 100m
              memory: 128Mi
            limits:
              memory: 256Mi
          securityContext:
            allowPrivilegeEscalation: false
            readOnlyRootFilesystem: true
            capabilities:
              drop: ["ALL"]
          volumeMounts:
            - name: data
              mountPath: /data
            - name: sao-luu
              mountPath: /sao-luu
              readOnly: true
            - name: tmp
              mountPath: /tmp
      containers:
        - name: cuahang
          image: registry.banhang.local/banhang/cuahang:2.1.0
          ports:
            - name: http
              containerPort: 8080
          envFrom:
            - configMapRef:
                name: cuahang-cauhinh
          resources:
            requests:
              cpu: 500m
              memory: 512Mi
            limits:
              cpu: "1"
              memory: 512Mi      # GC tự đặt heap hard limit 75% = 384 MiB
          startupProbe:          # tối đa 24 x 5 s = 120 s để khởi động
            httpGet:
              path: /healthz/live
              port: http
            periodSeconds: 5
            timeoutSeconds: 2
            failureThreshold: 24
          livenessProbe:         # không kiểm phụ thuộc nào
            httpGet:
              path: /healthz/live
              port: http
            periodSeconds: 10
            timeoutSeconds: 2
            failureThreshold: 3
          readinessProbe:        # SQLite cục bộ; mất kết nối trụ sở chỉ là Degraded
            httpGet:
              path: /healthz/ready
              port: http
            periodSeconds: 5
            timeoutSeconds: 2
            failureThreshold: 2
          lifecycle:
            preStop:
              sleep:
                seconds: 5
          securityContext:
            allowPrivilegeEscalation: false
            readOnlyRootFilesystem: true
            capabilities:
              drop: ["ALL"]
          volumeMounts:
            - name: data
              mountPath: /data
            - name: bhpay-api-key
              mountPath: /run/secrets
              readOnly: true
            - name: tmp
              mountPath: /tmp
      volumes:
        - name: data
          persistentVolumeClaim:
            claimName: cuahang-data
        - name: sao-luu                    # ổ thứ hai của máy, gắn sẵn tại /mnt/sao-luu
          hostPath:
            path: /mnt/sao-luu
            type: Directory
        - name: bhpay-api-key              # Secret tạo ngoài Git, xem kustomization.yaml
          secret:
            secretName: bhpay-api-key-v1
            items:
              - key: api-key
                path: BHPay__ApiKey
        - name: tmp
          emptyDir:
            sizeLimit: 64Mi
# ===== service.yaml
apiVersion: v1
kind: Service
metadata:
  name: cuahang
  namespace: banhang
  labels:
    app.kubernetes.io/name: cuahang
    app.kubernetes.io/part-of: banhang
spec:
  type: ClusterIP
  selector:
    app.kubernetes.io/name: cuahang
  ports:
    - name: http
      port: 80
      targetPort: http
# ===== ingress.yaml
# Traefik đi kèm k3s nhận cổng 80/443 của máy qua ServiceLB.
# Router của mỗi cửa hàng phân giải cuahang.banhang.local về máy k3s-chNN trong LAN.
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: cuahang
  namespace: banhang
  labels:
    app.kubernetes.io/name: cuahang
    app.kubernetes.io/part-of: banhang
spec:
  ingressClassName: traefik
  rules:
    - host: cuahang.banhang.local
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: cuahang
                port:
                  name: http
# ===== hpa.yaml
# HPA giữ 2 đến 3 pod, nhắm 70% CPU request (70% của 500m = 350m mỗi pod).
# 3 pod x limit 1 CPU chừa 1 nhân của máy mini PC 4 nhân cho k3s, Traefik và hệ điều hành.
# Deployment không ghi spec.replicas để HPA và GitOps không giành nhau trường này.
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: cuahang
  namespace: banhang
  labels:
    app.kubernetes.io/name: cuahang
    app.kubernetes.io/part-of: banhang
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: cuahang
  minReplicas: 2
  maxReplicas: 3
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 70
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 300
# ===== cronjob-sao-luu.yaml
# Sao lưu SQLite mỗi 15 phút sang ổ thứ hai (/mnt/sao-luu), giữ 96 bản (24 giờ),
# rồi thử đẩy bản mới nhất về trụ sở. Nhãn khác "cuahang" để Service không chọn pod của Job.
apiVersion: batch/v1
kind: CronJob
metadata:
  name: cuahang-sao-luu
  namespace: banhang
  labels:
    app.kubernetes.io/name: cuahang-sao-luu
    app.kubernetes.io/part-of: banhang
spec:
  schedule: "*/15 * * * *"
  timeZone: Asia/Ho_Chi_Minh
  concurrencyPolicy: Forbid
  startingDeadlineSeconds: 300
  successfulJobsHistoryLimit: 3
  failedJobsHistoryLimit: 5
  jobTemplate:
    spec:
      backoffLimit: 2
      activeDeadlineSeconds: 600
      template:
        metadata:
          labels:
            app.kubernetes.io/name: cuahang-sao-luu
            app.kubernetes.io/part-of: banhang
        spec:
          restartPolicy: OnFailure
          securityContext:
            runAsNonRoot: true
            runAsUser: 1654
            runAsGroup: 1654
            fsGroup: 1654
            seccompProfile:
              type: RuntimeDefault
          containers:
            - name: sao-luu
              image: registry.banhang.local/banhang/cuahang:2.1.0
              args: ["sao-luu", "--du-lieu", "/data", "--sao-luu", "/sao-luu", "--giu", "96"]
              envFrom:
                - configMapRef:
                    name: cuahang-cauhinh
              resources:
                requests:
                  cpu: 100m
                  memory: 128Mi
                limits:
                  memory: 256Mi
              securityContext:
                allowPrivilegeEscalation: false
                readOnlyRootFilesystem: true
                capabilities:
                  drop: ["ALL"]
              volumeMounts:
                - name: data              # cùng PVC với Deployment: RWO cho phép vì cùng node
                  mountPath: /data
                - name: sao-luu
                  mountPath: /sao-luu
                - name: tmp
                  mountPath: /tmp
          volumes:
            - name: data
              persistentVolumeClaim:
                claimName: cuahang-data
            - name: sao-luu
              hostPath:
                path: /mnt/sao-luu
                type: Directory
            - name: tmp
              emptyDir:
                sizeLimit: 64Mi

#:sdk Microsoft.NET.Sdk.Web
#:package Microsoft.Data.Sqlite@10.0.12
// BanHang.CuaHang 2.1.0, bản rút gọn: dotnet run CuaHang.cs -- --urls http://127.0.0.1:8080
// Cùng một file (một image) chạy ba việc: web (mặc định), "sao-luu" (CronJob), "khoi-phuc" (initContainer).
using System.Diagnostics;
using System.Runtime;
using Microsoft.AspNetCore.Diagnostics.HealthChecks;
using Microsoft.Data.Sqlite;
using Microsoft.Extensions.Diagnostics.HealthChecks;

if (args is ["sao-luu", ..]) return await SaoLuu.ChayAsync(args);
if (args is ["khoi-phuc", ..]) return KhoiPhuc.Chay(args);

var batDau = Stopwatch.StartNew();
var builder = WebApplication.CreateBuilder(args);
builder.Logging.ClearProviders();
builder.Configuration.AddKeyPerFile("/run/secrets", optional: true);   // khóa BHPay từ Secret
builder.Services.Configure<HostOptions>(o => o.ShutdownTimeout = TimeSpan.FromSeconds(15));
var cfg = builder.Configuration;
string csdl = cfg.GetConnectionString("CuaHang") ?? "Data Source=cuahang.db";
string maCuaHang = cfg["CuaHang:Ma"] ?? "CHUA-DAT";
DongBo.TruSo = new Uri(cfg["TruSo:Url"] ?? "https://api.banhang.local");
DongBo.ChuKy = TimeSpan.FromSeconds(cfg.GetValue("DongBo:ChuKyGiay", 30));
bool cauHinhCu = cfg.GetValue("CuaHang:CauHinhCu", false);   // bản 2.0.3: đồng bộ chặn lúc khởi động, trụ sở là bắt buộc
Csdl.TaoBang(csdl);

var dangDung = false;
builder.Services.AddHealthChecks()
    .AddCheck("dang-dung", () => dangDung ? HealthCheckResult.Unhealthy() : HealthCheckResult.Healthy(), tags: ["ready"])
    .AddCheck("sqlite", () => Csdl.KiemTra(csdl), tags: ["ready"])
    .AddCheck("tru-so", () => DongBo.VuaThanhCong()
        ? HealthCheckResult.Healthy()
        : new HealthCheckResult(cauHinhCu ? HealthStatus.Unhealthy : HealthStatus.Degraded, "bán offline"),
        tags: ["ready"]);
builder.Services.AddHostedService(_ => new DongBo(csdl, maCuaHang));
var app = builder.Build();

// live: không chạy check nào, chỉ cần tiến trình còn trả lời. ready: SQLite cục bộ, trạng thái trụ sở, đang dừng.
app.MapHealthChecks("/healthz/live", new HealthCheckOptions { Predicate = _ => false });
app.MapHealthChecks("/healthz/ready", new HealthCheckOptions
{
    Predicate = c => c.Tags.Contains("ready"),
    ResponseWriter = (ctx, r) =>
    {
        ctx.Response.ContentType = "text/plain; charset=utf-8";
        return ctx.Response.WriteAsync($"{r.Status} " + string.Join(" ", r.Entries.Select(e => $"{e.Key}={e.Value.Status}")));
    }
});
app.MapPost("/api/don-hang/{maDon}", (string maDon, long tongTien) =>
{
    using var cn = Csdl.Mo(csdl);
    using var cmd = cn.CreateCommand();
    cmd.CommandText = "INSERT OR IGNORE INTO DonHangOffline (MaDon, NgayTao, TongTien) VALUES ($ma, $ngay, $tien)";
    cmd.Parameters.AddWithValue("$ma", maDon);
    cmd.Parameters.AddWithValue("$ngay", DateTime.UtcNow.ToString("O"));
    cmd.Parameters.AddWithValue("$tien", tongTien);
    return cmd.ExecuteNonQuery() == 1 ? Results.Text($"da-ghi {maDon}", statusCode: 201) : Results.Text($"da-co {maDon}");
});
app.MapGet("/api/thong-tin", () =>
{
    var gc = GC.GetGCMemoryInfo();
    var p = Process.GetCurrentProcess();
    return Results.Text($"""
        BanHang.CuaHang 2.1.0 cua hang {maCuaHang}, .NET {Environment.Version}, ServerGC={GCSettings.IsServerGC}
        TotalAvailableMemoryBytes={gc.TotalAvailableMemoryBytes / 1048576.0:F0} MiB, heap={GC.GetTotalMemory(false) / 1048576.0:F1} MiB
        private={p.PrivateMemorySize64 / 1048576.0:F0} MiB, working set={p.WorkingSet64 / 1048576.0:F0} MiB, don cho dong bo={Csdl.ChoDongBo(csdl)}
        """);
});
app.Lifetime.ApplicationStarted.Register(() => Console.WriteLine($"nghe cong sau {batDau.ElapsedMilliseconds} ms"));
app.Lifetime.ApplicationStopping.Register(() => dangDung = true);   // readiness 503; preStop đã chờ trước đó

if (cauHinhCu) await DongBo.MotLanAsync(csdl, maCuaHang, soLan: 3);   // bản 2.0.3: chặn ở đây, chưa mở cổng
app.Run();
return 0;

static class Csdl
{
    public static SqliteConnection Mo(string cs)
    {
        var cn = new SqliteConnection(cs);
        cn.Open();
        return cn;
    }

    public static void TaoBang(string cs)
    {
        using var cn = Mo(cs);
        using var cmd = cn.CreateCommand();
        cmd.CommandText = """
            PRAGMA journal_mode = WAL;
            CREATE TABLE IF NOT EXISTS DonHangOffline (
                MaDon text PRIMARY KEY,
                NgayTao text NOT NULL,
                TongTien integer NOT NULL,          -- đồng
                DaDongBo integer NOT NULL DEFAULT 0
            );
            CREATE INDEX IF NOT EXISTS IX_DonHangOffline_ChoDongBo ON DonHangOffline (MaDon) WHERE DaDongBo = 0;
            """;
        cmd.ExecuteNonQuery();
    }

    public static long ChoDongBo(string cs)
    {
        using var cn = Mo(cs);
        using var cmd = cn.CreateCommand();
        cmd.CommandText = "SELECT COUNT(*) FROM DonHangOffline WHERE DaDongBo = 0";
        return (long)cmd.ExecuteScalar()!;
    }

    public static HealthCheckResult KiemTra(string cs)
    {
        try { return HealthCheckResult.Healthy($"{ChoDongBo(cs)} đơn chờ đồng bộ"); }
        catch (Exception e) { return HealthCheckResult.Unhealthy(e.Message); }
    }

    // Mở file chỉ đọc, kiểm integrity_check và đếm đơn. Dùng cho bản sao lưu.
    public static (bool Tot, long SoDon) KiemFile(string file)
    {
        try
        {
            using var cn = new SqliteConnection($"Data Source={file};Mode=ReadOnly;Pooling=False");
            cn.Open();
            using var cmd = cn.CreateCommand();
            cmd.CommandText = "PRAGMA integrity_check";
            if ((string)cmd.ExecuteScalar()! != "ok") return (false, 0);
            cmd.CommandText = "SELECT COUNT(*) FROM DonHangOffline";
            return (true, (long)cmd.ExecuteScalar()!);
        }
        catch (SqliteException) { return (false, 0); }
    }
}

// Đẩy đơn chưa đồng bộ về BanHang.Api mỗi DongBo:ChuKyGiay giây. Lỗi mạng không làm app dừng.
sealed class DongBo(string csdl, string maCuaHang) : BackgroundService
{
    public static Uri TruSo = new("https://api.banhang.local");
    public static TimeSpan ChuKy = TimeSpan.FromSeconds(30);
    static readonly HttpClient Http = new() { Timeout = TimeSpan.FromSeconds(10) };
    static long _lanCuoi;   // ticks UTC của lần đồng bộ thành công gần nhất
    // Trụ sở "tốt" nếu đồng bộ thành công trong ba chu kỳ gần nhất.
    public static bool VuaThanhCong() => DateTime.UtcNow.Ticks - Interlocked.Read(ref _lanCuoi) < 3 * ChuKy.Ticks;

    protected override async Task ExecuteAsync(CancellationToken ct)
    {
        while (!ct.IsCancellationRequested)
        {
            try { await MotLanAsync(csdl, maCuaHang, soLan: 1, ct); }
            catch (Exception e) when (!ct.IsCancellationRequested) { Console.WriteLine($"dong-bo loi: {e.Message}"); }
            await Task.Delay(ChuKy, ct);
        }
    }

    public static async Task MotLanAsync(string csdl, string maCuaHang, int soLan, CancellationToken ct = default)
    {
        for (int lan = 1; lan <= soLan; lan++)
        {
            try
            {
                using var cn = Csdl.Mo(csdl);
                using var cmd = cn.CreateCommand();
                cmd.CommandText = "SELECT MaDon || ';' || NgayTao || ';' || TongTien FROM DonHangOffline WHERE DaDongBo = 0 LIMIT 100";
                var dong = new List<string>();
                using (var r = cmd.ExecuteReader()) while (r.Read()) dong.Add(r.GetString(0));
                using var res = await Http.PostAsync(new Uri(TruSo, $"/api/cua-hang/{maCuaHang}/don-hang"),
                    new StringContent(string.Join('\n', dong)), ct);
                res.EnsureSuccessStatusCode();   // trụ sở khử trùng theo MaDon
                foreach (var d in dong)
                {
                    cmd.CommandText = "UPDATE DonHangOffline SET DaDongBo = 1 WHERE MaDon = $ma";
                    cmd.Parameters.Clear();
                    cmd.Parameters.AddWithValue("$ma", d.Split(';')[0]);
                    cmd.ExecuteNonQuery();
                }
                Interlocked.Exchange(ref _lanCuoi, DateTime.UtcNow.Ticks);
                return;
            }
            catch (Exception e) when (e is HttpRequestException or TaskCanceledException && !ct.IsCancellationRequested)
            {
                if (lan < soLan) await Task.Delay(TimeSpan.FromSeconds(2), ct);
            }
        }
    }
}

static class SaoLuu
{
    // sao-luu --du-lieu /data --sao-luu /sao-luu --giu 96
    public static async Task<int> ChayAsync(string[] args)
    {
        string duLieu = Tham(args, "--du-lieu", "."), noiLuu = Tham(args, "--sao-luu", "sao-luu");
        int giu = int.Parse(Tham(args, "--giu", "96"));
        if (!File.Exists(Path.Combine(noiLuu, ".o-sao-luu")))
        {
            Console.Error.WriteLine($"o sao luu chua gan: thieu {Path.Combine(noiLuu, ".o-sao-luu")}");   // không ghi nhầm vào ổ chính
            return 2;
        }
        var sw = Stopwatch.StartNew();
        string tam = Path.Combine(noiLuu, $".dang-ghi-{Guid.NewGuid():N}.db");
        using (var nguon = new SqliteConnection($"Data Source={Path.Combine(duLieu, "cuahang.db")};Mode=ReadWrite;Pooling=False"))
        using (var dich = new SqliteConnection($"Data Source={tam};Pooling=False"))
        {
            nguon.Open();
            dich.Open();
            nguon.BackupDatabase(dich);        // sqlite3_backup: một ảnh nhất quán, app vẫn ghi được
            using var cmd = dich.CreateCommand();
            cmd.CommandText = "PRAGMA journal_mode = DELETE";   // bản sao đọc được trên mount chỉ đọc
            cmd.ExecuteNonQuery();
        }
        var (tot, soDon) = Csdl.KiemFile(tam);
        if (!tot) { File.Delete(tam); Console.Error.WriteLine("ban sao loi integrity_check"); return 3; }
        string ten = Path.Combine(noiLuu, $"cuahang-{DateTime.UtcNow:yyyyMMdd-HHmmss}.db");
        File.Move(tam, ten);
        foreach (var cu in Directory.GetFiles(noiLuu, "cuahang-*.db").Order().SkipLast(giu)) File.Delete(cu);
        Console.WriteLine($"sao-luu {Path.GetFileName(ten)}: {soDon} don, {sw.ElapsedMilliseconds} ms");
        try   // có mạng thì đẩy thêm một bản về trụ sở; mất mạng thì bản trên ổ thứ hai là đủ cho lần này
        {
            using var http = new HttpClient { Timeout = TimeSpan.FromSeconds(30) };
            string ma = Environment.GetEnvironmentVariable("CuaHang__Ma") ?? "CHUA-DAT";
            var goc = new Uri(Environment.GetEnvironmentVariable("TruSo__Url") ?? "https://api.banhang.local");
            await using var f = File.OpenRead(ten);
            using var res = await http.PutAsync(new Uri(goc, $"/api/cua-hang/{ma}/sao-luu/{Path.GetFileName(ten)}"), new StreamContent(f));
            Console.WriteLine($"day ve tru so: {(int)res.StatusCode}");
        }
        catch (Exception e) when (e is HttpRequestException or TaskCanceledException)
        {
            Console.WriteLine($"chua day ve tru so: {e.GetType().Name}");
        }
        return 0;
    }

    public static string Tham(string[] args, string ten, string macDinh)
    {
        int i = Array.IndexOf(args, ten);
        return i >= 0 && i + 1 < args.Length ? args[i + 1] : macDinh;
    }
}

static class KhoiPhuc
{
    // khoi-phuc --du-lieu /data --sao-luu /sao-luu: chỉ chạy khi volume còn trống
    public static int Chay(string[] args)
    {
        string duLieu = SaoLuu.Tham(args, "--du-lieu", "."), noiLuu = SaoLuu.Tham(args, "--sao-luu", "sao-luu");
        string dich = Path.Combine(duLieu, "cuahang.db");
        if (File.Exists(dich)) { Console.WriteLine("da co du lieu, bo qua"); return 0; }
        if (!File.Exists(Path.Combine(noiLuu, ".o-sao-luu")))
        {
            Console.WriteLine("CANH BAO: khong thay o sao luu, bat dau voi du lieu trong");
            return 0;
        }
        foreach (var f in Directory.GetFiles(noiLuu, "cuahang-*.db").OrderDescending())
        {
            var (tot, soDon) = Csdl.KiemFile(f);
            if (!tot) { Console.WriteLine($"bo qua {Path.GetFileName(f)}: hong"); continue; }
            File.Copy(f, dich + ".tam", overwrite: true);
            File.Move(dich + ".tam", dich);
            Console.WriteLine($"khoi-phuc tu {Path.GetFileName(f)}: {soDon} don");
            return 0;
        }
        Console.WriteLine("khong co ban sao luu, bat dau voi du lieu trong");
        return 0;
    }
}

#:package YamlDotNet@18.1.0
// KiemManifest.cs: kiểm tham chiếu chéo giữa các manifest, phần kubeconform không xem.
// dotnet run KiemManifest.cs -- <thư mục manifest>
using YamlDotNet.RepresentationModel;

string thuMuc = args.Length > 0 ? args[0] : ".";
var docs = new List<(string File, YamlMappingNode N)>();
foreach (var f in Directory.GetFiles(thuMuc, "*.yaml").Order())
{
    if (Path.GetFileName(f) == "kustomization.yaml") continue;
    var ys = new YamlStream();
    using (var r = File.OpenText(f)) ys.Load(r);
    docs.AddRange(ys.Documents.Select(d => d.RootNode).OfType<YamlMappingNode>().Select(n => (Path.GetFileName(f), n)));
}
int loi = 0, canhBao = 0;
void Loi(string f, string s) { loi++; Console.WriteLine($"LOI       {f,-22} {s}"); }
void CanhBao(string f, string s) { canhBao++; Console.WriteLine($"CANH BAO  {f,-22} {s}"); }
string Ten(YamlMappingNode n) => $"{Y.S(n, "kind")} {Y.S(n, "metadata.name")}";
IEnumerable<(string File, YamlMappingNode N)> Loai(string kind) => docs.Where(d => Y.S(d.N, "kind") == kind);

// Pod template của từng workload: Deployment, Job, CronJob.
var podTemplates = docs.Select(d => (d.File, d.N, T: Y.S(d.N, "kind") switch
{
    "Deployment" or "StatefulSet" or "DaemonSet" or "Job" => Y.M(d.N, "spec.template"),
    "CronJob" => Y.M(d.N, "spec.jobTemplate.spec.template"),
    _ => null,
})).Where(x => x.T != null).ToList();
var tenCoSan = docs.Select(d => $"{Y.S(d.N, "kind")}/{Y.S(d.N, "metadata.name")}").ToHashSet();

foreach (var (f, n, t) in podTemplates)
{
    var nhan = Y.Map(t!, "metadata.labels");
    if (Y.S(n, "kind") == "Deployment" && !Y.Map(n, "spec.selector.matchLabels").All(kv => nhan.GetValueOrDefault(kv.Key) == kv.Value))
        Loi(f, $"{Ten(n)}: selector không khớp nhãn của pod template");
    foreach (var c in Y.L(t!, "spec.containers").Concat(Y.L(t!, "spec.initContainers")))
    {
        string anh = Y.S(c, "image") ?? "";
        if (!anh.Contains(':') || anh.EndsWith(":latest")) Loi(f, $"{Ten(n)}/{Y.S(c, "name")}: image '{anh}' không ghi tag cố định");
        foreach (var k in new[] { "resources.requests.cpu", "resources.requests.memory", "resources.limits.memory" })
            if (Y.S(c, k) == null) Loi(f, $"{Ten(n)}/{Y.S(c, "name")}: thiếu {k}");
        var cong = Y.L(c, "ports").Select(p => (Ten: Y.S(p, "name"), So: Y.S(p, "containerPort"))).ToList();
        foreach (var probe in new[] { "startupProbe", "livenessProbe", "readinessProbe" })
            if (Y.S(c, $"{probe}.httpGet.port") is { } pp && !cong.Any(x => x.Ten == pp || x.So == pp))
                Loi(f, $"{Ten(n)}/{Y.S(c, "name")}: {probe} gọi cổng {pp}, container không mở cổng đó");
        if (Y.S(c, "livenessProbe.httpGet.path") is { } lp && lp == Y.S(c, "readinessProbe.httpGet.path"))
            CanhBao(f, $"{Ten(n)}/{Y.S(c, "name")}: liveness và readiness cùng gọi {lp}; phụ thuộc hỏng là kubelet restart");
        foreach (var e in Y.L(c, "env"))
            if (Y.S(e, "name") is "DOTNET_GCHeapHardLimit" or "DOTNET_GCHeapHardLimitPercent" && Y.S(e, "value") is { } v && !v.StartsWith("0x"))
                Loi(f, $"{Ten(n)}/{Y.S(c, "name")}: {Y.S(e, "name")}={v} được runtime đọc là hex 0x{v}");
        foreach (var r in Y.L(c, "envFrom").Select(e => Y.S(e, "configMapRef.name")).OfType<string>())
            if (!tenCoSan.Contains($"ConfigMap/{r}")) Loi(f, $"{Ten(n)}: thiếu ConfigMap {r}");
    }
    foreach (var v in Y.L(t!, "spec.volumes"))
    {
        if (Y.S(v, "persistentVolumeClaim.claimName") is { } pvc && !tenCoSan.Contains($"PersistentVolumeClaim/{pvc}"))
            Loi(f, $"{Ten(n)}: thiếu PersistentVolumeClaim {pvc}");
        if (Y.S(v, "secret.secretName") is { } sec && !tenCoSan.Contains($"Secret/{sec}"))
            CanhBao(f, $"{Ten(n)}: Secret {sec} không nằm trong bộ manifest, phải tạo riêng trên cụm");
    }
}

foreach (var (f, svc) in Loai("Service"))
{
    var chon = Y.Map(svc, "spec.selector");
    bool Khop(YamlMappingNode t) { var nhan = Y.Map(t, "metadata.labels"); return chon.All(kv => nhan.GetValueOrDefault(kv.Key) == kv.Value); }
    var trung = podTemplates.Where(p => Khop(p.T!)).ToList();
    if (!trung.Any(p => Y.S(p.N, "kind") == "Deployment")) Loi(f, $"{Ten(svc)}: selector không chọn pod nào của Deployment");
    foreach (var p in trung.Where(p => Y.S(p.N, "kind") is "Job" or "CronJob"))
        Loi(f, $"{Ten(svc)}: selector chọn cả pod của {Ten(p.N)}, request sẽ rơi vào pod sao lưu");
    foreach (var port in Y.L(svc, "spec.ports"))
    {
        string tp = Y.S(port, "targetPort") ?? Y.S(port, "port")!;
        foreach (var p in trung.Where(p => Y.S(p.N, "kind") == "Deployment"))
            if (!Y.L(p.T!, "spec.containers").SelectMany(c => Y.L(c, "ports")).Any(x => Y.S(x, "name") == tp || Y.S(x, "containerPort") == tp))
                Loi(f, $"{Ten(svc)}: targetPort {tp} không có trong container của {Ten(p.N)}");
    }
}

foreach (var (f, ing) in Loai("Ingress"))
    foreach (var path in Y.L(ing, "spec.rules").SelectMany(r => Y.L(r, "http.paths")))
    {
        string ten = Y.S(path, "backend.service.name") ?? "";
        var svc = Loai("Service").Select(d => d.N).FirstOrDefault(s => Y.S(s, "metadata.name") == ten);
        if (svc == null) { Loi(f, $"{Ten(ing)}: không có Service {ten}"); continue; }
        string? tenCong = Y.S(path, "backend.service.port.name"), soCong = Y.S(path, "backend.service.port.number");
        if (!Y.L(svc, "spec.ports").Any(p => (tenCong != null && Y.S(p, "name") == tenCong) || (soCong != null && Y.S(p, "port") == soCong)))
            Loi(f, $"{Ten(ing)}: Service {ten} không có cổng {tenCong ?? soCong}");
    }

foreach (var (f, hpa) in Loai("HorizontalPodAutoscaler"))
{
    string dich = $"{Y.S(hpa, "spec.scaleTargetRef.kind")}/{Y.S(hpa, "spec.scaleTargetRef.name")}";
    var d = docs.FirstOrDefault(x => $"{Y.S(x.N, "kind")}/{Y.S(x.N, "metadata.name")}" == dich);
    if (d.N == null) Loi(f, $"{Ten(hpa)}: không có {dich}");
    else if (Y.S(d.N, "spec.replicas") != null) CanhBao(d.File, $"{dich} ghi spec.replicas trong khi {Ten(hpa)} quản lý số pod");
}

Console.WriteLine($"{docs.Count} tài nguyên, {loi} lỗi, {canhBao} cảnh báo");
return loi > 0 ? 1 : 0;

static class Y
{
    static YamlNode? Node(YamlNode? n, string duong)
    {
        foreach (var k in duong.Split('.'))
        {
            if (n is not YamlMappingNode m || !m.Children.TryGetValue(new YamlScalarNode(k), out n)) return null;
        }
        return n;
    }
    public static string? S(YamlNode? n, string duong) => (Node(n, duong) as YamlScalarNode)?.Value;
    public static YamlMappingNode? M(YamlNode? n, string duong) => Node(n, duong) as YamlMappingNode;
    public static IEnumerable<YamlMappingNode> L(YamlNode? n, string duong) =>
        (Node(n, duong) as YamlSequenceNode)?.Children.OfType<YamlMappingNode>() ?? [];
    public static Dictionary<string, string?> Map(YamlNode? n, string duong) =>
        M(n, duong)?.Children.ToDictionary(kv => ((YamlScalarNode)kv.Key).Value!, kv => (kv.Value as YamlScalarNode)?.Value) ?? [];
}

// ChayThu.cs: chạy CuaHang như trong container (cổng 8080, mất mạng về trụ sở),
// đo thời gian tới ready, bộ nhớ sau 2.000 đơn, rồi giết và chạy lại hai lần trên cùng file dữ liệu.
// dotnet run ChayThu.cs   (cùng thư mục với CuaHang.cs)
using System.Diagnostics;

Process.Start("dotnet", "build CuaHang.cs -o out-cuahang -v q").WaitForExit();
string exe = Path.GetFullPath(Path.Combine("out-cuahang", OperatingSystem.IsWindows() ? "CuaHang.exe" : "CuaHang"));
string thuMuc = Directory.CreateTempSubdirectory("cuahang-").FullName;
// ConnectTimeout ngắn: trên Windows, kết nối tới cổng chưa ai nghe mất khoảng 2 s mới bị từ chối.
var http = new HttpClient(new SocketsHttpHandler { ConnectTimeout = TimeSpan.FromMilliseconds(100) })
    { BaseAddress = new("http://127.0.0.1:8080"), Timeout = TimeSpan.FromSeconds(30) };
if (await Ready()) throw new InvalidOperationException("cổng 8080 đang có tiến trình khác");

for (int lan = 1; lan <= 3; lan++)        // lần 2, 3: như kubelet chạy lại container trên cùng volume
{
    var psi = new ProcessStartInfo(exe, ["--urls", "http://127.0.0.1:8080", "--CuaHang:Ma", "CH04"])
        { RedirectStandardOutput = true };
    psi.Environment["ConnectionStrings__CuaHang"] = $"Data Source={Path.Combine(thuMuc, "cuahang.db")}";
    psi.Environment["TruSo__Url"] = "http://127.0.0.1:9";                 // không với tới trụ sở
    var sw = Stopwatch.StartNew();
    using var app = Process.Start(psi)!;
    try
    {
        while (!await Ready()) await Task.Delay(20);
        Console.WriteLine($"lan {lan}: ready sau {sw.ElapsedMilliseconds} ms ({app.StandardOutput.ReadLine()}), " +
            await http.GetStringAsync("/healthz/ready"));
        if (lan > 1) continue;
        await Parallel.ForAsync(0, 2000, new ParallelOptions { MaxDegreeOfParallelism = 4 }, async (i, ct) =>
        {
            using var r = await http.PostAsync($"/api/don-hang/CH04-{i:D6}?tongTien={1_000_000 + i * 1000}", null, ct);
            r.EnsureSuccessStatusCode();
        });
        Console.WriteLine(await http.GetStringAsync("/api/thong-tin"));
    }
    finally { app.Kill(); app.WaitForExit(); }                            // container chết đột ngột
}

async Task<bool> Ready()
{
    try { using var r = await http.GetAsync("/healthz/ready"); return r.IsSuccessStatusCode; }
    catch (Exception e) when (e is HttpRequestException or TaskCanceledException) { return false; }
}