Dọn cả năm đơn cũ mà không khóa bảng: SWITCH partition

#:package Microsoft.EntityFrameworkCore.SqlServer@10.0.12
#:property PublishAot=false
// Dọn 3,0 triệu đơn trước 2025 khỏi dbo.DonHang trong lúc "API" ghi đơn mới mỗi 100 ms:
// ExecuteDeleteAsync của EF Core, TRUNCATE ... WITH (PARTITIONS (1)), và job SWITCH ra bảng staging rồi TRUNCATE.
// Sau đó cho một phiên báo cáo giữ khóa trên bảng, rồi SWITCH thường và job dùng WAIT_AT_LOW_PRIORITY.
// Chạy: dotnet run DonNamCu.cs   (LocalDB, database Kumeo_B; lần đầu nạp 10 triệu đơn, khoảng 4 phút)
using System.Diagnostics;
using Microsoft.Data.SqlClient;
using Microsoft.EntityFrameworkCore;

const string Cs = @"Server=(localdb)\MSSQLLocalDB;Database=Kumeo_B;Integrated Security=true;TrustServerCertificate=true;Command Timeout=1800";
var moc = new DateTime(2025, 1, 1);
await DuLieu.DamBao();
await Chay("DROP INDEX IF EXISTS NCCI_DonHang ON dbo.DonHang;");
await Chay(DonDonCu.TaoStaging);
Console.WriteLine($".NET {Environment.Version}, SQL Server {await Scalar<string>("SELECT CAST(SERVERPROPERTY('ProductVersion') AS nvarchar(20))")}");

// 1. Cách cũ: job .NET xóa bằng ExecuteDeleteAsync.
await DoKichBan("ExecuteDeleteAsync, đơn trước 2025", async cn =>
{
    await using var db = new BanHangDb(cn);
    return await db.DonHang.Where(d => d.NgayTao < moc).ExecuteDeleteAsync();
});
Console.WriteLine($"  file log sau khi xóa: {await Scalar<int>("SELECT size / 128 FROM sys.database_files WHERE type = 1")} MB");
await DuLieu.NapLai2024();

// 2. TRUNCATE đúng partition 1.
await DoKichBan("TRUNCATE WITH (PARTITIONS (1))", async cn =>
{
    var so = await Scalar<int>("SELECT COUNT(*) FROM dbo.DonHang WHERE NgayTao < '20250101'");
    await new SqlCommand("TRUNCATE TABLE dbo.DonHang WITH (PARTITIONS (1));", cn).ExecuteNonQueryAsync();
    return so;
});
await DuLieu.NapLai2024();

// 3. Job dọn đơn cũ: SWITCH partition 1 ra dbo.DonHang_Staging, rồi TRUNCATE bảng staging.
await DoKichBan("Job SWITCH rồi TRUNCATE", async cn => (int)await DonDonCu.ChayAsync(cn, moc, Console.WriteLine));

// 4. Một phiên báo cáo giữ khóa trên dbo.DonHang; SWITCH cần khóa Sch-M trong lúc đó. Partition 1 lúc này đã trống.
foreach (var (ten, giay, lam) in new (string, int, Func<SqlConnection, Task<int>>)[]
{
    ("SWITCH thường, báo cáo giữ khóa 5 s", 5, async cn =>
    {
        await new SqlCommand("ALTER TABLE dbo.DonHang SWITCH PARTITION 1 TO dbo.DonHang_Staging;", cn).ExecuteNonQueryAsync();
        return 0;
    }),
    ("Job WAIT_AT_LOW_PRIORITY, báo cáo giữ khóa 5 s", 5, async cn => (int)await DonDonCu.ChayAsync(cn, moc, Console.WriteLine)),
    ("Job WAIT_AT_LOW_PRIORITY, báo cáo giữ khóa 70 s", 70, async cn => (int)await DonDonCu.ChayAsync(cn, moc, Console.WriteLine)),
})
{
    var baoCao = GiuKhoa(giay);
    await Task.Delay(1500);
    await DoKichBan(ten, lam, choTruoc: 0);
    await baoCao;
}
await DuLieu.NapLai2024();

// Chạy một kịch bản trong lúc API ghi đơn mới mỗi 100 ms; in thời gian, log ghi ra file, độ trễ ghi của API.
async Task DoKichBan(string ten, Func<SqlConnection, Task<int>> lam, int choTruoc = 1000)
{
    var dung = new CancellationTokenSource();
    var api = GhiDonMoi(dung.Token);
    await Task.Delay(choTruoc);
    var logTruoc = await LogDaGhi();
    await using var cn = new SqlConnection(Cs);
    await cn.OpenAsync();
    var sw = Stopwatch.StartNew();
    var so = await lam(cn);
    var ms = sw.ElapsedMilliseconds;
    var log = await LogDaGhi() - logTruoc;
    await Task.Delay(1000);
    dung.Cancel();
    var tre = await api;
    Console.WriteLine($"{ten}: {(so < 0 ? "không dọn" : $"{so:N0} đơn")}, {ms:N0} ms, log ghi {log / 1024.0:N0} KB; " +
                      $"API ghi {tre.Count} đơn, chậm nhất {tre.Max():N0} ms, {tre.Count(t => t > 500)} lần trên 500 ms");
    await Chay("DELETE dbo.DonHang WHERE NgayTao >= '20261003';");
}

// "API" của BanHang: mỗi 100 ms ghi một đơn mới vào partition năm 2026, đo thời gian từng lệnh.
async Task<List<long>> GhiDonMoi(CancellationToken dung)
{
    var tre = new List<long>();
    await using var cn = new SqlConnection(Cs);
    await cn.OpenAsync();
    for (long id = 20_000_001; !dung.IsCancellationRequested; id++)
    {
        var sw = Stopwatch.StartNew();
        await using var cmd = new SqlCommand("INSERT dbo.DonHang (DonHangId, NgayTao, KhachHangId, TrangThai, TongTien) VALUES (@id, @ngay, 1507, 1, 1500000);", cn);
        cmd.Parameters.AddWithValue("@id", id);
        cmd.Parameters.Add(new SqlParameter("@ngay", System.Data.SqlDbType.DateTime2) { Scale = 0, Value = new DateTime(2026, 10, 3).AddSeconds(id - 20_000_000) });
        await cmd.ExecuteNonQueryAsync();
        tre.Add(sw.ElapsedMilliseconds);
        await Task.Delay(100);
    }
    return tre;
}

// Phiên báo cáo: mở giao dịch, đọc một đơn với REPEATABLEREAD (giữ khóa IS trên bảng), chờ rồi mới COMMIT.
Task GiuKhoa(int giay) => Task.Run(async () =>
{
    await using var bc = new SqlConnection(Cs);
    await bc.OpenAsync();
    await new SqlCommand($"""
        BEGIN TRAN;
        SELECT TongTien FROM dbo.DonHang WITH (REPEATABLEREAD) WHERE NgayTao = '20260101' AND DonHangId = 6400001;
        WAITFOR DELAY '{TimeSpan.FromSeconds(giay):hh\:mm\:ss}';
        COMMIT;
        """, bc) { CommandTimeout = 300 }.ExecuteNonQueryAsync();
});

async Task<long> LogDaGhi() => await Scalar<long>("SELECT num_of_bytes_written FROM sys.dm_io_virtual_file_stats(DB_ID(), 2)");


async Task<T> Scalar<T>(string sql)
{
    await using var cn = new SqlConnection(Cs);
    await cn.OpenAsync();
    return (T)(await new SqlCommand(sql, cn).ExecuteScalarAsync())!;
}

async Task Chay(string sql)
{
    await using var cn = new SqlConnection(Cs);
    await cn.OpenAsync();
    await new SqlCommand(sql, cn).ExecuteNonQueryAsync();
}

// Job dọn đơn cũ của BanHang: SWITCH partition chứa đơn trước mốc ra dbo.DonHang_Staging, rồi TRUNCATE.
static class DonDonCu
{
    // Cùng cột, cùng khóa clustered, cùng filegroup FG_ARCHIVE và cùng mức nén với partition nguồn.
    // Có đủ chỉ mục và CHECK khớp miền partition 1 để còn SWITCH ngược vào nếu cần.
    public const string TaoStaging = """
        IF OBJECT_ID(N'dbo.DonHang_Staging') IS NULL
        BEGIN
            CREATE TABLE dbo.DonHang_Staging (
                DonHangId bigint NOT NULL,
                NgayTao datetime2(0) NOT NULL,
                KhachHangId int NOT NULL,
                TrangThai tinyint NOT NULL,
                TongTien decimal(18, 2) NOT NULL,
                CONSTRAINT PK_DonHang_Staging PRIMARY KEY CLUSTERED (NgayTao, DonHangId),
                CONSTRAINT CK_DonHang_Staging_Truoc2025 CHECK (NgayTao < CAST('20250101' AS datetime2(0)))
            ) ON FG_ARCHIVE;
            CREATE INDEX IX_DonHang_Staging_KhachHang ON dbo.DonHang_Staging (KhachHangId, NgayTao) ON FG_ARCHIVE;
        END
        """;

    public static async Task<long> ChayAsync(SqlConnection cn, DateTime moc, Action<string> log)
    {
        // Mốc phải là một ranh giới của pf_DonHang_Ngay: partition ngay trước nó chứa đúng các đơn trước mốc.
        var p = await Scalar<int?>(cn, """
            SELECT $PARTITION.pf_DonHang_Ngay(@moc) - 1
            WHERE EXISTS (SELECT 1 FROM sys.partition_range_values AS rv
                          JOIN sys.partition_functions AS f ON f.function_id = rv.function_id
                          WHERE f.name = N'pf_DonHang_Ngay' AND CAST(rv.value AS datetime2(0)) = @moc);
            """, moc) ?? throw new InvalidOperationException($"{moc:yyyy-MM-dd} không phải ranh giới partition");
        if (await Scalar<long>(cn, "SELECT COUNT_BIG(*) FROM dbo.DonHang_Staging;", moc) > 0)
            throw new InvalidOperationException("dbo.DonHang_Staging chưa trống: lần chạy trước dừng giữa chừng");
        try
        {
            // Chờ khóa ở hàng ưu tiên thấp: phiên khác vẫn chạy trong lúc chờ; quá 1 phút thì tự hủy, lỗi 1222.
            await using var sw = new SqlCommand($"""
                ALTER TABLE dbo.DonHang SWITCH PARTITION {p} TO dbo.DonHang_Staging
                WITH (WAIT_AT_LOW_PRIORITY (MAX_DURATION = 1 MINUTES, ABORT_AFTER_WAIT = SELF));
                """, cn) { CommandTimeout = 120 };
            await sw.ExecuteNonQueryAsync();
        }
        catch (SqlException e) when (e.Number == 1222)
        {
            log($"  dbo.DonHang bận quá 1 phút, bỏ qua lần này: {e.Message}");
            return -1;
        }
        var so = await Scalar<long>(cn, "SELECT COUNT_BIG(*) FROM dbo.DonHang_Staging;", moc);
        // Chỗ này sao lưu hoặc chép staging đi nơi khác nếu cần giữ, trước khi TRUNCATE.
        await using (var tr = new SqlCommand("TRUNCATE TABLE dbo.DonHang_Staging;", cn)) await tr.ExecuteNonQueryAsync();
        log($"  đã dọn {so:N0} đơn trước {moc:yyyy-MM-dd} (partition {p})");
        return so;
    }

    static async Task<T> Scalar<T>(SqlConnection cn, string sql, DateTime moc)
    {
        await using var cmd = new SqlCommand(sql, cn);
        cmd.Parameters.Add(new SqlParameter("@moc", System.Data.SqlDbType.DateTime2) { Scale = 0, Value = moc });
        var v = await cmd.ExecuteScalarAsync();
        return v is null or DBNull ? default! : (T)v;
    }
}
class DonHang
{
    public long DonHangId { get; set; }
    public DateTime NgayTao { get; set; }
    public int KhachHangId { get; set; }
    public byte TrangThai { get; set; }
    public decimal TongTien { get; set; }
}

class BanHangDb(SqlConnection ketNoi) : DbContext
{
    public DbSet<DonHang> DonHang => Set<DonHang>();
    protected override void OnConfiguring(DbContextOptionsBuilder o) => o.UseSqlServer(ketNoi, s => s.CommandTimeout(1800))
        .LogTo(s => { var i = s.IndexOf("DELETE"); if (i >= 0) Console.WriteLine("  SQL của EF Core: " + string.Join(" ", s[i..].Split('\n', StringSplitOptions.TrimEntries))); },
               new[] { DbLoggerCategory.Database.Command.Name }, Microsoft.Extensions.Logging.LogLevel.Information);
    protected override void OnModelCreating(ModelBuilder m) => m.Entity<DonHang>(e =>
    {
        e.ToTable("DonHang", "dbo");
        e.HasKey(d => new { d.NgayTao, d.DonHangId });
        e.Property(d => d.NgayTao).HasColumnType("datetime2(0)");
        e.Property(d => d.TongTien).HasColumnType("decimal(18, 2)");
    });
}

static class DuLieu
{
    const string Master = @"Server=(localdb)\MSSQLLocalDB;Database=master;Integrated Security=true;TrustServerCertificate=true;Command Timeout=1800";

    // Dựng Kumeo_B như database BanHang: hai filegroup, dbo.DonHang phân vùng theo năm, 10 triệu đơn.
    public static async Task DamBao()
    {
        await using var cn = new SqlConnection(Master);
        await cn.OpenAsync();
        await Chay(cn, """
            IF DB_ID(N'Kumeo_B') IS NULL
            BEGIN
                DECLARE @dir nvarchar(400) = CAST(SERVERPROPERTY('InstanceDefaultDataPath') AS nvarchar(400));
                CREATE DATABASE Kumeo_B COLLATE Vietnamese_100_CI_AS;
                ALTER DATABASE Kumeo_B SET AUTO_CLOSE OFF;
                ALTER DATABASE Kumeo_B ADD FILEGROUP FG_ARCHIVE;
                ALTER DATABASE Kumeo_B ADD FILEGROUP FG_DATA;
                DECLARE @sql nvarchar(max) =
                    N'ALTER DATABASE Kumeo_B ADD FILE (NAME = Kumeo_B_archive, FILENAME = ''' + @dir + N'Kumeo_B_archive.ndf'', SIZE = 512MB, FILEGROWTH = 256MB) TO FILEGROUP FG_ARCHIVE;
                      ALTER DATABASE Kumeo_B ADD FILE (NAME = Kumeo_B_data, FILENAME = ''' + @dir + N'Kumeo_B_data.ndf'', SIZE = 512MB, FILEGROWTH = 256MB) TO FILEGROUP FG_DATA;';
                EXEC (@sql);
            END
            """);
        await Chay(cn, "USE Kumeo_B;");
        await Chay(cn, """
            IF OBJECT_ID(N'dbo.DonHang') IS NULL
            BEGIN
                CREATE PARTITION FUNCTION pf_DonHang_Ngay (datetime2(0)) AS RANGE RIGHT FOR VALUES ('20250101', '20260101', '20270101');
                CREATE PARTITION SCHEME ps_DonHang_Ngay AS PARTITION pf_DonHang_Ngay TO (FG_ARCHIVE, FG_ARCHIVE, FG_DATA, FG_DATA);
                CREATE TABLE dbo.DonHang (
                    DonHangId bigint NOT NULL,
                    NgayTao datetime2(0) NOT NULL,
                    KhachHangId int NOT NULL,
                    TrangThai tinyint NOT NULL,
                    TongTien decimal(18, 2) NOT NULL,
                    CONSTRAINT PK_DonHang PRIMARY KEY CLUSTERED (NgayTao, DonHangId)
                ) ON ps_DonHang_Ngay (NgayTao);
            END
            """);
        await using (var dem = new SqlCommand("SELECT COUNT_BIG(*) FROM dbo.DonHang;", cn))
            if ((long)(await dem.ExecuteScalarAsync())! > 0) return;
        await Nap(cn, 1, 10_000_000);
        await Chay(cn, "CREATE INDEX IX_DonHang_KhachHang ON dbo.DonHang (KhachHangId, NgayTao) ON ps_DonHang_Ngay (NgayTao);");
    }

    public static async Task NapLai2024()
    {
        await using var cn = new SqlConnection(Master.Replace("master", "Kumeo_B"));
        await cn.OpenAsync();
        await Nap(cn, 1, 3_000_000);
    }

    // 3,0 triệu đơn năm 2024, 3,4 triệu năm 2025, 3,6 triệu năm 2026 tới hết 2026-10-02; khách 42 chiếm 3%.
    // TrangThai: 1 Mới 1%, 2 Đã thanh toán 2%, 3 Đang giao 2%, 4 Hoàn tất 90%, 5 Đã hủy 5%. Giá trị lấy từ MD5 của số thứ tự.
    static async Task Nap(SqlConnection cn, long tu, long den)
    {
        for (long lo = tu; lo <= den; lo += 1_000_000)
            await Chay(cn, $"""
                WITH n AS (
                    SELECT TOP ({Math.Min(1_000_000, den - lo + 1)}) i = {lo - 1} + ROW_NUMBER() OVER (ORDER BY (SELECT NULL))
                    FROM sys.all_objects a CROSS JOIN sys.all_objects b CROSS JOIN sys.all_objects c)
                INSERT dbo.DonHang WITH (TABLOCK) (DonHangId, NgayTao, KhachHangId, TrangThai, TongTien)
                SELECT i,
                       CASE WHEN i <= 3000000 THEN DATEADD(SECOND, CAST((i - 1) * 31622400 / 3000000 AS int), CAST('20240101' AS datetime2(0)))
                            WHEN i <= 6400000 THEN DATEADD(SECOND, CAST((i - 3000001) * 31536000 / 3400000 AS int), CAST('20250101' AS datetime2(0)))
                            ELSE DATEADD(SECOND, CAST((i - 6400001) * 23760000 / 3600000 AS int), CAST('20260101' AS datetime2(0))) END,
                       CASE WHEN i % 100 < 3 THEN 42 ELSE 1 + ABS(CAST(SUBSTRING(h, 1, 4) AS int) % 200000) END,
                       CASE WHEN r < 1 THEN 1 WHEN r < 3 THEN 2 WHEN r < 5 THEN 3 WHEN r < 95 THEN 4 ELSE 5 END,
                       (100 + ABS(CAST(SUBSTRING(h, 9, 4) AS int) % 49901)) * 1000
                FROM n
                CROSS APPLY (SELECT h = HASHBYTES('MD5', CAST(i AS binary(8)))) k
                CROSS APPLY (SELECT r = ABS(CAST(SUBSTRING(h, 5, 4) AS int) % 100)) t;
                """);
    }

    static async Task Chay(SqlConnection cn, string sql)
    {
        await using var cmd = new SqlCommand(sql, cn);
        await cmd.ExecuteNonQueryAsync();
    }
}