GreatDB数据库使用loaddata有哪些关键参数

一、GreatDB数据库使用loaddata有哪些关键参数

GreatDB用于处理一条?load?data?请求数据包解析的工作线程数。

当load?data导入数据的瓶颈在dbscale解析数据包处时，调大该参数可以显著提高load?data的性能。但当该值大于1时，数据实际导入后端?mysql?的顺序将可能与文件中的顺序不一致，通常这是可以忽?略的。

2.?max-load-analysis-wait-size

GreatDB?用于处理load?data数据包解析的?analysis节点的处理队列最大长度。

默认值?=?30。参数值范围?>=2

GreatDB对analysis节点进行数据包填充时，总是填充到max-load-analysis-wait-size指定的大小，并且analysis节点在待处理的数据包数量小于该值的一半时会唤醒父线程进行数据包填充。

建议该值使?用默认值或适当调高，如果需要导入的数据量非常的大时。

另外如果该值过大，会导致GreatDB缓存过多的数据包，将会导致GreatDB在load?data过程中对机器内存的消耗过多，极端情况下可能会OOM。

GreatDB?处理load?data时，每个后端数据包发送?线程缓存的最大待发送数据包的数量。

默认值?=?64。参数值范围?>=10

GreatDB往后端发送的LOAD?DATA数据包每个是16M，默认值64即1G。每个后端partition对应一个数据包发送线程。当后端mysql处理过慢时可能导致数据包在数据包发送线程上堆积，但堆积的量达?到max-load-ready-packets时，GreatDB将挂起该load?data任务直到堆积的量小于max-load-ready-?packets。

GreatDB?向后端执行一次load的数据包数目。

默认值?=?64。参数值范围?>=10

对于分片表场景，如果一张表load数据量过大,一次load会导致主从延时巨大。此时可以调整本参数,设置每load一定包数就提交一次。

就是如果load过程中报错，那么之前load的数据会已经进入数据库，所以此时数据库会有部分脏数据，并且无法确认脏数据量。

一个数据包的大小取决与认证节点的?max_packet_size?,?默认值为?0?，表示不启用该功能，整个load只提交一次。

二、万里开源安全数据库 GreatDB

1、万里开源安全数据库GreatDB，以独特优势脱颖而出，为用户带来高效、可靠、灵活的数据库解决方案。

2、其分布式并行执行技术，通过物理表拆分与SQL逻辑拆分相结合，实现数据在分布式部署和并行查询执行计划的优化。与单数据库实例相比，查询效率显著提升，查询效率的提升倍数取决于逻辑拆分数与虚拟分片数的乘积。

3、在线扩展是GreatDB的另一大亮点。调度节点通过无状态横向扩展，可以随时拓展，增强系统处理能力。同时，存储节点支持数据自动重新分布，确保资源高效利用。

4、高可靠性是GreatDB的另一大优势。它支持多份副本配置，实现秒级切换，确保业务零中断。数据全同步（raft）机制保证了切换时数据零丢失，并能自动调整复制关系，提供多种副本同步模式。

5、GreatDB还为集群运维提供了强大的支撑。集成丰富的集群运维工具集，包括集群备份工具、集群跨机房同步工具、慢查询分析工具、数据分布分析工具和数据迁移工具，确保集群高效稳定运行。

三、万里(挑一)开源GreatDB及其他介绍

1、万里开源不断丰富产品线，涵盖单机数据库管理系统（GreatDB）、分布式数据库管理系统（GreatDB Cluster）、安全数据库（GreatDBSE）、云数据库服务平台（GreatDB RDS）、时序数据库管理系统（GreatTS）以及企业级服务器操作系统（TLES）。全线产品兼容主流芯片，具有广泛市场应用前景。

2、GreatDB作为单机数据库管理系统，是企业级应用的理想选择，面向国产化平台，支持事务特性，稳定性强。

3、GreatDB Cluster作为分布式数据库管理系统，适用于强一致、大并发、有持续扩容需求的在线联机交易业务场景，提供极致稳定、性能和易用性。

4、GreatDBSE安全数据库软件，采用shared-nothing架构，支持分布式部署，确保数据稳定可靠，适用于广泛应用场景。

5、GreatDB RDS云数据库服务平台提供灵活、可扩展、按需服务，实现跨平台的数据库服务编排，支持用户需求的二次开发。

6、GreatTS时序数据库管理系统专门针对时间维度索引的数据，适用于工业互联网、物联平台等场景，通过分布式集群处理大量并发和海量数据。

7、TLES企业级服务器操作系统为Linux企业级服务器操作系统，提供智能匹配最佳配置参数组合，实现系统整体运行效率提升，支持跨混合云和数据中心部署。