Máy chủ chính chết giữa giờ cao điểm: Availability Group và thử lại trong EF Core

#:package Microsoft.Data.SqlClient@7.1.1
// Hai chuỗi kết nối tới listener của Availability Group: ghi vào replica chính, báo cáo xin replica đọc.
// Chỉ dựng và in chuỗi; không kết nối. Chạy: dotnet run ChuoiKetNoi.cs
using Microsoft.Data.SqlClient;

var ghi = new SqlConnectionStringBuilder
{
    DataSource = "tcp:BanHang-lsn,1433",
    InitialCatalog = "BanHang",
    IntegratedSecurity = true,
    MultiSubnetFailover = true,
    ApplicationIntent = ApplicationIntent.ReadWrite,
    ConnectTimeout = 30,
};
var baoCao = new SqlConnectionStringBuilder(ghi.ConnectionString) { ApplicationIntent = ApplicationIntent.ReadOnly };

Console.WriteLine(ghi.ConnectionString);
Console.WriteLine(baoCao.ConnectionString);

#:package Microsoft.EntityFrameworkCore.SqlServer@10.0.12
#:property PublishAot=false
// Giả lập máy chủ chính mất giữa lúc ghi đơn: 4 luồng ghi đơn liên tục trong 40 giây; giây thứ 10 database
// bị đặt OFFLINE (cắt mọi phiên) trong 5 giây rồi ONLINE lại. Chạy hai lượt: không thử lại và EnableRetryOnFailure.
// Chạy: dotnet run ChuyenMay.cs   (cần instance LocalDB riêng KumeoC, database Kumeo_C có dbo.DonHang)
using System.Collections.Concurrent;
using System.Diagnostics;
using System.Globalization;
using Microsoft.Data.SqlClient;
using Microsoft.EntityFrameworkCore;

CultureInfo.DefaultThreadCurrentCulture = CultureInfo.CurrentCulture = new CultureInfo("vi-VN");
const string Cs = @"Server=(localdb)\KumeoC;Database=Kumeo_C;Integrated Security=true;TrustServerCertificate=true;Connect Timeout=5";
var cheDo = args.Length > 0 ? args[0] : "ca-hai";

// 0. Giao dịch tự mở khi đã bật EnableRetryOnFailure.
await using (var db = new BanHangDb(CoThuLai(true)))
{
    try
    {
        await using var tx = await db.Database.BeginTransactionAsync();
        await db.DonHang.CountAsync();
    }
    catch (InvalidOperationException ex) { Console.WriteLine($"{ex.GetType().Name}: {ex.Message}\n"); }
}

long soDon = 0;
var luot = 0;
if (cheDo is "ca-hai" or "khong") await ChayLuot("Không thử lại", CoThuLai(false));
if (cheDo is "ca-hai" or "co") await ChayLuot("EnableRetryOnFailure", CoThuLai(true));

async Task ChayLuot(string ten, DbContextOptions<BanHangDb> opt)
{
    var dauDai = 90_000_000L + (Environment.TickCount64 % 100) * 1_000_000 + ++luot * 100_000;
    soDon = dauDai;
    var ketQua = new ConcurrentBag<(double giay, double ms, string kq)>();
    var dongHo = Stopwatch.StartNew();
    using var dung = new CancellationTokenSource(TimeSpan.FromSeconds(40));
    var giet = Task.Run(async () =>
    {
        await Task.Delay(TimeSpan.FromSeconds(10));
        Console.WriteLine($"[{dongHo.Elapsed.TotalSeconds:N1} s] Kumeo_C OFFLINE, cắt mọi phiên đang mở");
        await QuanTri("ALTER DATABASE Kumeo_C SET OFFLINE WITH ROLLBACK IMMEDIATE;");
        await Task.Delay(TimeSpan.FromSeconds(5)); // database vắng mặt 5 giây, như lúc chuyển sang máy phụ
        await QuanTri("ALTER DATABASE Kumeo_C SET ONLINE;");
        Console.WriteLine($"[{dongHo.Elapsed.TotalSeconds:N1} s] Kumeo_C ONLINE");
    });
    var luong = Enumerable.Range(0, 4).Select(_ => Task.Run(async () =>
    {
        while (!dung.IsCancellationRequested)
        {
            var id = Interlocked.Increment(ref soDon);
            var batDau = dongHo.Elapsed;
            string kq;
            try
            {
                await using var db = new BanHangDb(opt);
                var strategy = db.Database.CreateExecutionStrategy();
                await strategy.ExecuteAsync(async () =>
                {
                    db.ChangeTracker.Clear();
                    await using var tx = await db.Database.BeginTransactionAsync();
                    db.DonHang.Add(new DonHang { DonHangId = id, NgayTao = DateTime.UtcNow.AddHours(7), KhachHangId = 42, TrangThai = 1, TongTien = 1_500_000m });
                    await db.SaveChangesAsync();
                    await tx.CommitAsync();
                });
                kq = "ok";
            }
            catch (Exception ex)
            {
                var sql = ex as SqlException ?? ex.InnerException as SqlException ?? ex.InnerException?.InnerException as SqlException;
                kq = sql is not null ? $"SqlException {sql.Number}" : ex.GetType().Name;
            }
            ketQua.Add((batDau.TotalSeconds, (dongHo.Elapsed - batDau).TotalMilliseconds, kq));
            await Task.Delay(50);
        }
    })).ToArray();
    await Task.WhenAll(luong);
    await giet;

    var tatCa = ketQua.OrderBy(k => k.giay).ToList();
    var ok = tatCa.Where(k => k.kq == "ok").ToList();
    var loi = tatCa.Where(k => k.kq != "ok").ToList();
    Console.WriteLine($"{ten}: {tatCa.Count} yêu cầu, {ok.Count} thành công, {loi.Count} lỗi");
    foreach (var g in loi.GroupBy(k => k.kq)) Console.WriteLine($"  {g.Key}: {g.Count()}");
    var ms = ok.Select(k => k.ms).Order().ToList();
    Console.WriteLine($"  thời gian một yêu cầu thành công: p50 {ms[ms.Count / 2]:N0} ms, p99 {ms[(int)(ms.Count * 0.99)]:N0} ms, lớn nhất {ms[^1]:N0} ms");
    var dau = loi.Count > 0 ? loi.Min(k => k.giay) : 0; var cuoi = loi.Count > 0 ? loi.Max(k => k.giay) : 0;
    if (loi.Count > 0) Console.WriteLine($"  lỗi rơi vào khoảng giây {dau:F1} đến {cuoi:F1}");
    // Đơn có trong bảng so với số yêu cầu báo thành công
    await using var cn = new SqlConnection(Cs);
    await cn.OpenAsync();
    await using var cmd = new SqlCommand($"SELECT COUNT(*) FROM dbo.DonHang WHERE DonHangId > {dauDai} AND DonHangId <= {soDon};", cn);
    Console.WriteLine($"  đơn của lượt này có trong bảng: {await cmd.ExecuteScalarAsync()}, số yêu cầu báo thành công: {ok.Count}");
    Console.WriteLine();
    await Task.Delay(5000);
}

static async Task QuanTri(string sql)
{
    // Kết nối quản trị vào master, không dùng pool của ứng dụng.
    await using var cn = new SqlConnection(Cs.Replace("Database=Kumeo_C", "Database=master") + ";Pooling=false");
    await cn.OpenAsync();
    await new SqlCommand(sql, cn) { CommandTimeout = 120 }.ExecuteNonQueryAsync();
}

static DbContextOptions<BanHangDb> CoThuLai(bool thuLai) => new DbContextOptionsBuilder<BanHangDb>()
    .UseSqlServer(Cs, sql => { if (thuLai) sql.EnableRetryOnFailure(maxRetryCount: 6, maxRetryDelay: TimeSpan.FromSeconds(5), errorNumbersToAdd: null); })
    .Options;

class DonHang
{
    public long DonHangId { get; set; }
    public DateTime NgayTao { get; set; }
    public int KhachHangId { get; set; }
    public byte TrangThai { get; set; }
    public decimal TongTien { get; set; }
}

class BanHangDb(DbContextOptions<BanHangDb> o) : DbContext(o)
{
    public DbSet<DonHang> DonHang => Set<DonHang>();
    protected override void OnModelCreating(ModelBuilder m) => m.Entity<DonHang>(e =>
    {
        e.ToTable("DonHang", "dbo");
        e.HasKey(d => new { d.NgayTao, d.DonHangId });
        e.Property(d => d.NgayTao).HasColumnType("datetime2(0)");
        e.Property(d => d.TongTien).HasColumnType("decimal(18, 2)");
    });
}

InvalidOperationException: The configured execution strategy 'SqlServerRetryingExecutionStrategy' does not support user-initiated transactions. Use the execution strategy returned by 'DbContext.Database.CreateExecutionStrategy()' to execute all the operations in the transaction as a retriable unit.

[10,0 s] Kumeo_C OFFLINE, cắt mọi phiên đang mở
[18,3 s] Kumeo_C ONLINE
Không thử lại: 2267 yêu cầu, 1295 thành công, 972 lỗi
  SqlException 4060: 972
  thời gian một yêu cầu thành công: p50 8 ms, p99 157 ms, lớn nhất 875 ms
  lỗi rơi vào khoảng giây 10,1 đến 25,2
  đơn của lượt này có trong bảng: 1295, số yêu cầu báo thành công: 1295

[10,0 s] Kumeo_C OFFLINE, cắt mọi phiên đang mở
[18,3 s] Kumeo_C ONLINE
EnableRetryOnFailure: 1693 yêu cầu, 1693 thành công, 0 lỗi
  thời gian một yêu cầu thành công: p50 5 ms, p99 119 ms, lớn nhất 9.351 ms
  đơn của lượt này có trong bảng: 1693, số yêu cầu báo thành công: 1693

[10,0 s] Kumeo_C OFFLINE, cắt mọi phiên đang mở
[18,2 s] Kumeo_C ONLINE
Không thử lại: 2214 yêu cầu, 1242 thành công, 972 lỗi
  SqlException 4060: 972
  thời gian một yêu cầu thành công: p50 9 ms, p99 210 ms, lớn nhất 736 ms
  lỗi rơi vào khoảng giây 10,1 đến 25,2
  đơn của lượt này có trong bảng: 1242, số yêu cầu báo thành công: 1242

[10,0 s] Kumeo_C OFFLINE, cắt mọi phiên đang mở
[18,3 s] Kumeo_C ONLINE
EnableRetryOnFailure: 1038 yêu cầu, 1038 thành công, 0 lỗi
  thời gian một yêu cầu thành công: p50 7 ms, p99 184 ms, lớn nhất 20.048 ms
  đơn của lượt này có trong bảng: 1038, số yêu cầu báo thành công: 1038

[10,0 s] Kumeo_C OFFLINE, cắt mọi phiên đang mở
[18,2 s] Kumeo_C ONLINE
Không thử lại: 2329 yêu cầu, 1358 thành công, 971 lỗi
  SqlException 4060: 971
  thời gian một yêu cầu thành công: p50 7 ms, p99 177 ms, lớn nhất 598 ms
  lỗi rơi vào khoảng giây 10,1 đến 25,2
  đơn của lượt này có trong bảng: 1358, số yêu cầu báo thành công: 1358

[10,0 s] Kumeo_C OFFLINE, cắt mọi phiên đang mở
[19,0 s] Kumeo_C ONLINE
EnableRetryOnFailure: 1142 yêu cầu, 1142 thành công, 0 lỗi
  thời gian một yêu cầu thành công: p50 9 ms, p99 130 ms, lớn nhất 19.404 ms
  đơn của lượt này có trong bảng: 1142, số yêu cầu báo thành công: 1142