如何优化Golang数据库操作性能_使用批量插入和Prepared Statement

优化Go数据库性能的关键是批量插入和预处理语句：批量减少网络往返，预处理避免重复SQL解析；二者结合并配合适当连接池与驱动配置效果最佳。

优化 Go 应用的数据库操作性能，关键在减少网络往返、降低 SQL 解析开销、避免重复编译。批量插入（Batch Insert）和预处理语句（Prepared Statement）是两个最直接有效的手段，尤其在高频写入或大数据量场景下效果显著。

用批量插入减少 round-trip 次数

单条 INSERT 执行一次就发一次请求，网络延迟和事务开销会迅速累积。改用批量插入，把多行数据合并成一条 SQL（如 INSERT INTO t(a,b) VALUES (?,?),(?,?),...），能大幅降低连接往返次数。

使用 sql.DB.Exec 传入多个参数值，例如：
_, err := db.Exec("INSERT INTO users(name,age) VALUES (?,?),(?,?),(?,?)", "a",20,"b",25,"c",30)
注意 MySQL 默认 max_allowed_packet 限制（通常 4MB），单次批量不宜超过 1000–5000 行，建议按 500 行分批
PostgreSQL 推荐用 UNNEST 或 VALUES 多行构造；SQLite 支持类似语法，但需确认驱动兼容性

复用 Prepared Statement 避免重复解析

每次调用 db.Query 或 db.Exec 带参数时，底层默认会先 Prepare 再 Exec —— 如果没显式复用，就等于反复编译同一 SQL 模板，浪费 CPU 和连接资源。

显式创建并复用 Stmt：

stmt, _ := db.Prepare("INSERT INTO logs(msg,level) VALUES (?,?)")
defer stmt.Close()
stmt.Exec("err occurred", "error")
stmt.Exec("info logged", "info")

Stmt 是并发安全的，可被多个 goroutine 共享，适合在初始化阶段准备、长期复用
注意：Stmt 绑定的是连接池中的某个连接，若连接断开，Stmt 可能自动重置（取决于驱动实现），一般无需手动重连处理

批量 + 预处理 = 最佳组合

两者结合能发挥最大效能：用 Prepared Statement 封装批量模板，再循环绑定不同批次的数据。

例如插入 2000 条记录，每 500 条一批：
stmt, _ := db.Prepare("INSERT INTO events(ts,uid,act) VALUES (?,?,?),(?,?,?),(?,?,?),...") // 500组占位符
构建参数切片时注意顺序和数量严格匹配占位符，可用辅助函数生成参数 slice（如 append(args, ts1, uid1, act1, ts2, uid2, act2, ...)）
对超大导入任务，可配合 sql.Tx 包裹整批，关闭自动提交提升吞吐（但注意事务大小别超 WAL 或锁范围）

别忽略驱动和配置细节

性能最终落地依赖底层驱动行为和数据库配置。

MySQL 驱动推荐 github.com/go-sql-driver/mysql，开启 multiStatements=true（慎用）或确保 parseTime=true 避免时间转换开销
连接池设置很关键：db.SetMaxOpenConns(20)、db.SetMaxIdleConns(20)、db.SetConnMaxLifetime(60 * time.Second)
部分驱动（如 pgx）原生支持批量操作接口（pgx.Batch），比标准 database/sql 更高效，可考虑升级使用