stmt-reference, sysvars: Document dml-batch-size (pingcap#4590)

* stmt-reference, sysvars: Document dml-batch-size * update * Apply suggestions from code review Co-authored-by: TomShawn <[email protected]> * Apply suggestions from code review Co-authored-by: TomShawn <[email protected]> * Update sql-statements/sql-statement-load-data.md Co-authored-by: TomShawn <[email protected]>
jacktd9 · Sep 27, 2020 · a72c713 · a72c713
1 parent 0ea9c6a
commit a72c713
Show file tree

Hide file tree

Showing 2 changed files with 13 additions and 2 deletions.
diff --git a/sql-statements/sql-statement-load-data.md b/sql-statements/sql-statement-load-data.md
@@ -97,13 +97,16 @@ LOAD DATA LOCAL INFILE '/mnt/evo970/data-sets/bikeshare-data/2017Q4-capitalbikes
 
 ## MySQL 兼容性
 
-* 默认情况下，TiDB 每 20,000 行会进行一次提交。这类似于 MySQL NDB Cluster，但并非 InnoDB 存储引擎的默认配置。
+`LOAD DATA` 语句应该完全兼容 MySQL。若发现任何兼容性差异，请在 GitHub 上提 [issue](https://github.com/pingcap/tidb/issues/new/choose)。
 
 > **注意：**
 >
-> 这种拆分事务提交的方式是以打破事务的原子性和隔离性为代价的，使用该特性时，使用者需要保证没有其他对正在处理的表的**任何**操作，并且在出现报错时，需要及时**人工介入，检查数据的一致性和完整性**。因此，不建议对读写频繁的表使用 `LOAD DATA` 语句。
+> 在 TiDB 的早期版本中，`LOAD DATA` 语句每 20000 行进行一次提交。新版本的 TiDB 默认在一个事务中提交所有行。从 TiDB 4.0 及以前版本升级后，可能出现 `ERROR 8004 (HY000) at line 1: Transaction is too large, size: 100000058` 错误。
+>
+> 要解决该问题，建议调大 `tidb.toml` 文件中的 `txn-total-size-limit` 值。如果无法增加此限制，还可以将 [`tidb_dml_batch_size`](/system-variables.md#tidb_dml_batch_size) 的值设置为 `20000` 来恢复升级前的行为。
 
 ## 另请参阅
 
 * [INSERT](/sql-statements/sql-statement-insert.md)
 * [乐观事务模型](/optimistic-transaction.md)
+* [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md)
diff --git a/system-variables.md b/system-variables.md
@@ -304,6 +304,14 @@ SET  GLOBAL tidb_distsql_scan_concurrency = 10;
 - 这个变量用来设置 scan 操作的并发度。
 - AP 类应用适合较大的值，TP 类应用适合较小的值。对于 AP 类应用，最大值建议不要超过所有 TiKV 节点的 CPU 核数。
 
+### `tidb_dml_batch_size`
+
+- 作用域：SESSION
+- 默认值：0
+- 样本值：20000
+- 这个变量的值大于 `0` 时，TiDB 会将 `INSERT` 或 `LOAD DATA` 等语句在更小的事务中批量提交。这样可减少内存使用，确保大批量修改时事务大小不会达到 `txn-total-size-limit` 限制。
+- 只有变量值为 `0` 时才符合 ACID 要求。否则无法保证 TiDB 的原子性和隔离性要求。
+
 ### `tidb_enable_cascades_planner`
 
 - 作用域：SESSION | GLOBAL