GitOps cho 12 cửa hàng: Kustomize overlay, Flux và bước CI bắt cấu hình lệch

# base/kustomization.yaml
# Base của BanHang.CuaHang cho k3s v1.36.5+k3s1 (Kubernetes 1.36.5).
# Overlay của từng cửa hàng thường chỉ đổi:
#   - ConfigMap cuahang-cauhinh: configMapGenerator với behavior: merge, khóa CuaHang__Ma và CuaHang__Ten;
#   - tag image registry.banhang.local/banhang/cuahang (mặc định 2.1.0) bằng images/newTag.
# Secret bhpay-api-key-v1 (khóa api-key) không nằm trong Git: tạo riêng trên từng cụm.
# Kiểm: kubectl kustomize . > render.yaml, rồi kubeconform -strict -kubernetes-version 1.36.5 render.yaml.
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
namespace: banhang
resources:
  - namespace.yaml
  - pvc.yaml
  - deployment.yaml
  - service.yaml
  - ingress.yaml
  - hpa.yaml
  - cronjob-sao-luu.yaml
# Tên sinh ra có hậu tố hash theo nội dung: đổi cấu hình là đổi pod template, Deployment tự rollout.
configMapGenerator:
  - name: cuahang-cauhinh
    options:
      labels:
        app.kubernetes.io/name: cuahang
        app.kubernetes.io/part-of: banhang
    literals:
      - CuaHang__Ma=CHUA-DAT
      - CuaHang__Ten=CHUA-DAT
      - TruSo__Url=https://api.banhang.local
      - DongBo__ChuKyGiay=30
      - ConnectionStrings__CuaHang=Data Source=/data/cuahang.db
---
# base/namespace.yaml
apiVersion: v1
kind: Namespace
metadata:
  name: banhang
  labels:
    app.kubernetes.io/part-of: banhang
---
# base/pvc.yaml
# Dữ liệu offline của cửa hàng (SQLite). local-path của k3s tạo PV kiểu local,
# gắn nodeAffinity kubernetes.io/hostname vào đúng node lúc tạo.
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cuahang-data
  namespace: banhang
  labels:
    app.kubernetes.io/name: cuahang
    app.kubernetes.io/part-of: banhang
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: local-path
  resources:
    requests:
      storage: 2Gi
---
# base/deployment.yaml
# BanHang.CuaHang: backend bán tại quầy, bán được khi mất mạng, đồng bộ về trụ sở.
# Không ghi spec.replicas: HPA (hpa.yaml) giữ số pod trong khoảng 2-3.
apiVersion: apps/v1
kind: Deployment
metadata:
  name: cuahang
  namespace: banhang
  labels:
    app.kubernetes.io/name: cuahang
    app.kubernetes.io/part-of: banhang
spec:
  revisionHistoryLimit: 5
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
  selector:
    matchLabels:
      app.kubernetes.io/name: cuahang
  template:
    metadata:
      labels:
        app.kubernetes.io/name: cuahang
        app.kubernetes.io/part-of: banhang
    spec:
      terminationGracePeriodSeconds: 30   # > preStop 5 s + ShutdownTimeout 15 s
      securityContext:
        runAsNonRoot: true
        runAsUser: 1654                    # user "app" của image .NET từ bản 8
        runAsGroup: 1654
        fsGroup: 1654
        seccompProfile:
          type: RuntimeDefault
      initContainers:
        # Volume trống (máy mới, PVC mới) thì chép bản sao lưu mới nhất vào trước khi app chạy.
        - name: khoi-phuc
          image: registry.banhang.local/banhang/cuahang:2.1.0
          args: ["khoi-phuc", "--du-lieu", "/data", "--sao-luu", "/sao-luu"]
          envFrom:
            - configMapRef:
                name: cuahang-cauhinh
          resources:
            requests:
              cpu: 100m
              memory: 128Mi
            limits:
              memory: 256Mi
          securityContext:
            allowPrivilegeEscalation: false
            readOnlyRootFilesystem: true
            capabilities:
              drop: ["ALL"]
          volumeMounts:
            - name: data
              mountPath: /data
            - name: sao-luu
              mountPath: /sao-luu
              readOnly: true
            - name: tmp
              mountPath: /tmp
      containers:
        - name: cuahang
          image: registry.banhang.local/banhang/cuahang:2.1.0
          ports:
            - name: http
              containerPort: 8080
          envFrom:
            - configMapRef:
                name: cuahang-cauhinh
          resources:
            requests:
              cpu: 500m
              memory: 512Mi
            limits:
              cpu: "1"
              memory: 512Mi      # GC tự đặt heap hard limit 75% = 384 MiB
          startupProbe:          # tối đa 24 x 5 s = 120 s để khởi động
            httpGet:
              path: /healthz/live
              port: http
            periodSeconds: 5
            timeoutSeconds: 2
            failureThreshold: 24
          livenessProbe:         # không kiểm phụ thuộc nào
            httpGet:
              path: /healthz/live
              port: http
            periodSeconds: 10
            timeoutSeconds: 2
            failureThreshold: 3
          readinessProbe:        # SQLite cục bộ; mất kết nối trụ sở chỉ là Degraded
            httpGet:
              path: /healthz/ready
              port: http
            periodSeconds: 5
            timeoutSeconds: 2
            failureThreshold: 2
          lifecycle:
            preStop:
              sleep:
                seconds: 5
          securityContext:
            allowPrivilegeEscalation: false
            readOnlyRootFilesystem: true
            capabilities:
              drop: ["ALL"]
          volumeMounts:
            - name: data
              mountPath: /data
            - name: bhpay-api-key
              mountPath: /run/secrets
              readOnly: true
            - name: tmp
              mountPath: /tmp
      volumes:
        - name: data
          persistentVolumeClaim:
            claimName: cuahang-data
        - name: sao-luu                    # ổ thứ hai của máy, gắn sẵn tại /mnt/sao-luu
          hostPath:
            path: /mnt/sao-luu
            type: Directory
        - name: bhpay-api-key              # Secret tạo ngoài Git, xem kustomization.yaml
          secret:
            secretName: bhpay-api-key-v1
            items:
              - key: api-key
                path: BHPay__ApiKey
        - name: tmp
          emptyDir:
            sizeLimit: 64Mi
---
# base/service.yaml
apiVersion: v1
kind: Service
metadata:
  name: cuahang
  namespace: banhang
  labels:
    app.kubernetes.io/name: cuahang
    app.kubernetes.io/part-of: banhang
spec:
  type: ClusterIP
  selector:
    app.kubernetes.io/name: cuahang
  ports:
    - name: http
      port: 80
      targetPort: http
---
# base/ingress.yaml
# Traefik đi kèm k3s nhận cổng 80/443 của máy qua ServiceLB.
# Router của mỗi cửa hàng phân giải cuahang.banhang.local về máy k3s-chNN trong LAN.
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: cuahang
  namespace: banhang
  labels:
    app.kubernetes.io/name: cuahang
    app.kubernetes.io/part-of: banhang
spec:
  ingressClassName: traefik
  rules:
    - host: cuahang.banhang.local
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: cuahang
                port:
                  name: http
---
# base/hpa.yaml
# HPA giữ 2 đến 3 pod, nhắm 70% CPU request (70% của 500m = 350m mỗi pod).
# 3 pod x limit 1 CPU chừa 1 nhân của máy mini PC 4 nhân cho k3s, Traefik và hệ điều hành.
# Deployment không ghi spec.replicas để HPA và GitOps không giành nhau trường này.
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: cuahang
  namespace: banhang
  labels:
    app.kubernetes.io/name: cuahang
    app.kubernetes.io/part-of: banhang
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: cuahang
  minReplicas: 2
  maxReplicas: 3
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 70
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 300
---
# base/cronjob-sao-luu.yaml
# Sao lưu SQLite mỗi 15 phút sang ổ thứ hai (/mnt/sao-luu), giữ 96 bản (24 giờ),
# rồi thử đẩy bản mới nhất về trụ sở. Nhãn khác "cuahang" để Service không chọn pod của Job.
apiVersion: batch/v1
kind: CronJob
metadata:
  name: cuahang-sao-luu
  namespace: banhang
  labels:
    app.kubernetes.io/name: cuahang-sao-luu
    app.kubernetes.io/part-of: banhang
spec:
  schedule: "*/15 * * * *"
  timeZone: Asia/Ho_Chi_Minh
  concurrencyPolicy: Forbid
  startingDeadlineSeconds: 300
  successfulJobsHistoryLimit: 3
  failedJobsHistoryLimit: 5
  jobTemplate:
    spec:
      backoffLimit: 2
      activeDeadlineSeconds: 600
      template:
        metadata:
          labels:
            app.kubernetes.io/name: cuahang-sao-luu
            app.kubernetes.io/part-of: banhang
        spec:
          restartPolicy: OnFailure
          securityContext:
            runAsNonRoot: true
            runAsUser: 1654
            runAsGroup: 1654
            fsGroup: 1654
            seccompProfile:
              type: RuntimeDefault
          containers:
            - name: sao-luu
              image: registry.banhang.local/banhang/cuahang:2.1.0
              args: ["sao-luu", "--du-lieu", "/data", "--sao-luu", "/sao-luu", "--giu", "96"]
              envFrom:
                - configMapRef:
                    name: cuahang-cauhinh
              resources:
                requests:
                  cpu: 100m
                  memory: 128Mi
                limits:
                  memory: 256Mi
              securityContext:
                allowPrivilegeEscalation: false
                readOnlyRootFilesystem: true
                capabilities:
                  drop: ["ALL"]
              volumeMounts:
                - name: data              # cùng PVC với Deployment: RWO cho phép vì cùng node
                  mountPath: /data
                - name: sao-luu
                  mountPath: /sao-luu
                - name: tmp
                  mountPath: /tmp
          volumes:
            - name: data
              persistentVolumeClaim:
                claimName: cuahang-data
            - name: sao-luu
              hostPath:
                path: /mnt/sao-luu
                type: Directory
            - name: tmp
              emptyDir:
                sizeLimit: 64Mi
---
# thanh-phan/co-vua/kustomization.yaml (co-nho: 384Mi, co-lon: 768Mi)
apiVersion: kustomize.config.k8s.io/v1alpha1
kind: Component
labels:
  - pairs:
      banhang.local/co: vua
patches:
  - target:
      kind: Deployment
      name: cuahang
    patch: |-
      - op: replace
        path: /spec/template/spec/containers/0/resources/requests/memory
        value: 512Mi
      - op: replace
        path: /spec/template/spec/containers/0/resources/limits/memory
        value: 512Mi
---
# vong/canary/kustomization.yaml
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
  - ../../base
labels:
  - pairs:
      banhang.local/vong: canary
images:
  - name: registry.banhang.local/banhang/cuahang
    newTag: 2.2.0

# Windows PowerShell 5.1: lưu file UTF-8 có BOM để giữ dấu tiếng Việt.
$g = $PSScriptRoot
$utf8 = New-Object System.Text.UTF8Encoding($false)
function Ghi($path, $text) {
  $full = Join-Path $g $path
  New-Item -ItemType Directory -Force (Split-Path $full) | Out-Null
  [IO.File]::WriteAllText($full, ($text -replace "`r`n", "`n"), $utf8)
}

# Cỡ cửa hàng: memory request = limit của container cuahang (số minh họa; base là 512Mi).
# CPU giữ như base: request 500m cho HPA, limit 1.
$co = [ordered]@{ 'nho' = '384Mi'; 'vua' = '512Mi'; 'lon' = '768Mi' }
foreach ($ten in $co.Keys) {
  Ghi "thanh-phan/co-$ten/kustomization.yaml" @"
apiVersion: kustomize.config.k8s.io/v1alpha1
kind: Component
labels:
  - pairs:
      banhang.local/co: $ten
patches:
  - target:
      kind: Deployment
      name: cuahang
    patch: |-
      - op: replace
        path: /spec/template/spec/containers/0/resources/requests/memory
        value: $($co[$ten])
      - op: replace
        path: /spec/template/spec/containers/0/resources/limits/memory
        value: $($co[$ten])

"@
}

# Vòng phát hành: overlay trung gian, mỗi vòng một tag. Commit đầu: cả hai 2.1.0.
$vong = [ordered]@{ 'on-dinh' = '2.1.0'; 'canary' = '2.1.0' }
foreach ($ten in $vong.Keys) {
  Ghi "vong/$ten/kustomization.yaml" @"
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
  - ../../base
labels:
  - pairs:
      banhang.local/vong: $ten
images:
  - name: registry.banhang.local/banhang/cuahang
    newTag: $($vong[$ten])

"@
}

# 12 cửa hàng: mã, tên, cỡ, vòng.
$cuaHang = @(
  @('ch01', 'BanHang Cầu Giấy',   'lon', 'on-dinh'),
  @('ch02', 'BanHang Hoàn Kiếm',  'lon', 'on-dinh'),
  @('ch03', 'BanHang Long Biên',  'vua', 'canary'),
  @('ch04', 'BanHang Hải Phòng',  'vua', 'on-dinh'),
  @('ch05', 'BanHang Hải Châu',   'lon', 'on-dinh'),
  @('ch06', 'BanHang Huế',        'nho', 'on-dinh'),
  @('ch07', 'BanHang Nha Trang',  'vua', 'canary'),
  @('ch08', 'BanHang Quận 1',     'lon', 'on-dinh'),
  @('ch09', 'BanHang Thủ Đức',    'vua', 'on-dinh'),
  @('ch10', 'BanHang Gò Vấp',     'vua', 'on-dinh'),
  @('ch11', 'BanHang Cần Thơ',    'nho', 'on-dinh'),
  @('ch12', 'BanHang Biên Hòa',   'nho', 'on-dinh')
)
foreach ($ch in $cuaHang) {
  $ma, $tenCh, $c, $v = $ch
  Ghi "cuahang/$ma/kustomization.yaml" @"
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
  - ../../vong/$v
components:
  - ../../thanh-phan/co-$c
labels:
  - pairs:
      banhang.local/cua-hang: $ma
configMapGenerator:
  - name: cuahang-cauhinh
    behavior: merge
    literals:
      - CuaHang__Ma=$($ma.ToUpper())
      - CuaHang__Ten=$tenCh

"@
  Ghi "clusters/k3s-$ma/cuahang.yaml" @"
apiVersion: kustomize.toolkit.fluxcd.io/v1
kind: Kustomization
metadata:
  name: cuahang
  namespace: flux-system
spec:
  interval: 10m
  retryInterval: 2m
  timeout: 3m
  path: ./cuahang/$ma
  prune: true
  wait: true
  sourceRef:
    kind: GitRepository
    name: flux-system

"@
}
"ok"

#:package YamlDotNet@18.1.0
// So 12 bản render: in đúng những trường khác nhau giữa các cửa hàng,
// và báo vi phạm khi một trường khác nhau ngoài những gì repo đã khai báo.
// dotnet run SoCuaHang.cs -- <thư mục chứa ch01.yaml ... ch12.yaml>
using System.Text.RegularExpressions;
using YamlDotNet.RepresentationModel;

string thuMuc = args.Length > 0 ? args[0] : "render";
string[] nhanBienThe = ["banhang.local/cua-hang", "banhang.local/co", "banhang.local/vong"];
// Trường được phép khác nhau (regex trên "Kind/tên .đường.dẫn"), và nhãn quyết định giá trị của nó.
(string Mau, string Nhan)[] khaiBao =
[
    (@"^ConfigMap/cuahang-cauhinh \.data\.CuaHang__(Ma|Ten)$", "banhang.local/cua-hang"),
    (@"^Deployment/cuahang \.spec\.template\.spec\.containers\[cuahang\]\.resources\.", "banhang.local/co"),
    (@"\]\.image$", "banhang.local/vong"),     // container, initContainer, CronJob: cùng image
];

var ban = Directory.GetFiles(thuMuc, "*.yaml").Order()
    .ToDictionary(f => Path.GetFileNameWithoutExtension(f), DocBanRender);
var ch = ban.Keys.ToArray();
var nhanCua = (string c, string nhan) =>
    ban[c].GetValueOrDefault($"Deployment/cuahang .metadata.labels.{nhan}", "(không có)");
var duongDan = ban.Values.SelectMany(b => b.Keys).Distinct().Order(StringComparer.Ordinal).ToArray();

int giong = 0, theoKhaiBao = 0, viPham = 0;
var dongIn = new List<(string Khoa, string Loai, string Duong, string GiaTri)>();
foreach (var d in duongDan)
{
    var giaTri = ch.Select(c => ban[c].GetValueOrDefault(d, "(không có)")).ToArray();
    if (giaTri.Distinct().Count() == 1) { giong++; continue; }
    string? nhan = nhanBienThe.FirstOrDefault(n => d.EndsWith($" .metadata.labels.{n}"))
        ?? khaiBao.FirstOrDefault(k => Regex.IsMatch(d, k.Mau)).Nhan;
    string loai, moTa = MoTa(giaTri, Enumerable.Range(0, ch.Length));
    if (nhan is null) loai = "VI PHẠM: không khai báo";
    else
    {
        // Cùng giá trị nhãn thì phải cùng giá trị trường (cùng cỡ thì cùng limit, cùng vòng thì cùng image).
        string ten = nhan.Split('/')[1];
        var lech = Enumerable.Range(0, ch.Length).GroupBy(i => nhanCua(ch[i], nhan))
            .Where(g => g.Select(i => giaTri[i]).Distinct().Count() > 1).ToArray();
        loai = lech.Length == 0 ? $"theo {ten}"
            : $"VI PHẠM: lệch trong nhóm {string.Join(", ", lech.Select(g => $"{ten}={g.Key}"))}";
        if (lech.Length > 0) moTa = string.Join("; ", lech.Select(g => $"{ten}={g.Key}: {MoTa(giaTri, g)}"));
    }
    if (loai.StartsWith("VI PHẠM")) viPham++; else theoKhaiBao++;
    int cach = d.IndexOf(' ');
    dongIn.Add((d[(cach + 1)..] + "|" + string.Join("|", giaTri), loai, d, moTa));
}

int soTaiLieu = ban.Values.Max(b => b.Keys.Select(k => k[..k.IndexOf(' ')]).Distinct().Count());
Console.WriteLine($"{ch.Length} bản render, {soTaiLieu} tài liệu mỗi bản, {duongDan.Length} trường lá");
Console.WriteLine($"giống nhau ở cả {ch.Length}: {giong} | khác theo khai báo: {theoKhaiBao} | vi phạm: {viPham}");
// Gộp một trường lặp ở nhiều tài liệu (nhãn gắn lên mọi tài liệu) thành một dòng.
foreach (var nhom in dongIn.GroupBy(x => x.Khoa))
{
    var dau = nhom.First();
    string noi = nhom.Count() == 1 ? dau.Duong
        : $"{nhom.Count()} tài liệu {dau.Duong[(dau.Duong.IndexOf(' ') + 1)..]}";
    Console.WriteLine($"[{dau.Loai}]\n  {noi}\n    {dau.GiaTri}");
}
return viPham == 0 ? 0 : 1;

// Giá trị kèm danh sách cửa hàng, nhóm ít cửa hàng in trước; 12 giá trị khác nhau thì chỉ in đầu và cuối.
string MoTa(string[] giaTri, IEnumerable<int> chon)
{
    if (giaTri.Distinct().Count() == ch.Length)
        return $"{ch.Length} giá trị, mỗi cửa hàng một: {ch[0]}={giaTri[0]} ... {ch[^1]}={giaTri[^1]}";
    // Bỏ phần đầu chung tới dấu "/" cuối: registry.banhang.local/banhang/cuahang:2.1.0 -> cuahang:2.1.0
    var chung = giaTri.Aggregate((a, b) => new string(a.Zip(b).TakeWhile(p => p.First == p.Second).Select(p => p.First).ToArray()));
    int cat = chung.LastIndexOf('/') + 1;
    return string.Join(" | ", chon.GroupBy(i => giaTri[i][cat..]).OrderBy(g => g.Count())
        .Select(g => $"{g.Key}: {string.Join(" ", g.Select(i => ch[i]))}"));
}

// Một file render -> "Kind/tên .đường.dẫn" -> giá trị lá.
static Dictionary<string, string> DocBanRender(string file)
{
    var yaml = new YamlStream();
    using (var r = File.OpenText(file)) yaml.Load(r);
    var ra = new Dictionary<string, string>(StringComparer.Ordinal);
    foreach (var doc in yaml.Documents)
    {
        if (doc.RootNode is not YamlMappingNode goc) continue;     // tài liệu rỗng giữa hai dấu ---
        var meta = (YamlMappingNode)goc["metadata"];
        Phang(goc, $"{goc["kind"]}/{BoHash(meta["name"].ToString())} ", ra);
    }
    return ra;
}

static void Phang(YamlNode node, string duong, Dictionary<string, string> ra)
{
    switch (node)
    {
        case YamlMappingNode m:
            foreach (var (k, v) in m.Children) Phang(v, $"{duong}.{k}", ra);
            break;
        case YamlSequenceNode s:
            for (int i = 0; i < s.Children.Count; i++)
            {
                // Phần tử có "name" (container, cổng, biến môi trường) gọi theo tên, không theo vị trí.
                string khoa = s.Children[i] is YamlMappingNode pt
                    && pt.Children.TryGetValue(new YamlScalarNode("name"), out var ten) ? ten.ToString() : i.ToString();
                Phang(s.Children[i], $"{duong}[{khoa}]", ra);
            }
            break;
        default:
            ra[duong] = duong.EndsWith(".name") ? BoHash(node.ToString()) : node.ToString();
            break;
    }
}

// configMapGenerator thêm hậu tố hash 10 ký tự theo nội dung; nội dung đã được so riêng.
static string BoHash(string ten) => Regex.Replace(ten, "-[2456789bcdfghkmt]{10}$", "");

# CI của repo GitOps: render 12 overlay, kiểm schema, so 12 bản render.
# Chạy từ gốc repo: .\kiem.ps1
$ErrorActionPreference = 'Stop'
$k8s = '1.36.5'                       # Kubernetes của k3s v1.36.5+k3s1 (kênh stable)
New-Item -ItemType Directory -Force render, .schema-cache | Out-Null
Remove-Item render\*.yaml -ErrorAction SilentlyContinue
foreach ($ch in Get-ChildItem cuahang -Directory) {
  & .\tools\kustomize.exe build "cuahang/$($ch.Name)" -o "render/$($ch.Name).yaml"
  if ($LASTEXITCODE) { throw "kustomize build $($ch.Name) lỗi" }
}
# -cache: schema Kubernetes tải một lần từ GitHub rồi giữ lại, CI không phụ thuộc mạng mỗi lần chạy.
& .\tools\kubeconform.exe -strict -summary -cache .schema-cache -kubernetes-version $k8s render/
if ($LASTEXITCODE) { throw 'kubeconform: manifest cửa hàng sai schema' }
# Schema của CRD Flux sinh từ flux install --export v2.9.6 bằng openapi2jsonschema.py của kubeconform.
& .\tools\kubeconform.exe -strict -summary `
  -schema-location 'schema-flux/{{ .ResourceKind }}_{{ .ResourceAPIVersion }}.json' clusters/
if ($LASTEXITCODE) { throw 'kubeconform: Flux Kustomization sai schema' }
dotnet run code/SoCuaHang.cs -- render
if ($LASTEXITCODE) { throw 'SoCuaHang: có trường khác nhau ngoài khai báo' }