Clickhouse 配置文件

一、Clickhouse 配置文件

1、在进行ClickHouse的配置和优化时，理解配置文件是至关重要的一步。本文将详细介绍ClickHouse配置文件的组成和各个参数的用途，帮助用户更好地管理和优化其部署。

2、配置文件的主要组成部分是`config.xml`，它位于`/etc/clickhouse-server/`目录中，并在`conf.d`和`config.d`目录中的`.xml`和`.conf`文件中进行覆盖和扩展。`config.xml`文件是ClickHouse的主要配置入口，通过它可对服务器的多个方面进行细致的调整。

3、在`config.xml`中，可以设置服务器的多个参数来优化性能和功能。例如，`builtin_dictionaries_reload_interval`参数用于设置内置词典的重新加载时间间隔（以秒为单位），默认为3600秒。这允许在不重启服务器的情况下进行“即时”更新，以适应不断变化的数据需求。

4、`compression`参数允许用户配置表数据的压缩设置，以减小存储需求和提高数据检索效率。配置模板可以包含多个压缩设置，以适应不同类型的数据和查询需求。`default_database`参数则定义了默认数据库，方便快速访问。

5、`dictionaries_config`参数用于指定外部词典配置文件的路径，允许用户灵活管理词典资源。`dictionaries_lazy_load`参数控制词典的加载策略，可以选择在首次使用时创建（延迟加载）或在启动时创建所有词典（同步加载）。

6、`format_schema_path`参数用于设置包含输入格式文件的目录路径，如CapnProto格式的方案，以支持多种数据格式的处理。`http_port`和`https_port`参数分别用于配置通过HTTP和HTTPS协议连接服务器的端口，`http_server_default_response`参数定义了HTTP服务器默认返回的页面。

7、`include_from`参数允许用户指定替换文件的路径，支持在配置文件中包含其他配置，实现模块化和灵活性。`interserver_http_port`和`interserver_http_host`参数用于配置ClickHouse服务器之间交换数据的端口和主机名，而`interserver_http_credentials`参数则涉及在复制表过程中进行身份验证的用户名和密码。

8、`keep_alive_timeout`参数定义了服务器在关闭连接前等待传入请求的秒数，通常设置为3秒以提高连接效率。`listen_host`参数则允许限制服务器响应的主机请求，以便仅接受特定来源的连接。

9、`logger`参数涉及日志记录的设置，包括日志级别、日志文件路径、日志大小和日志条数等，以帮助监控服务器运行状况。`macros`参数用于复制表的参数替换，虽然在非复制表场景下可以省略。

10、`mark_cache_size`参数设置标记缓存的大小，用于优化MergeTree系列表的性能，以确保尽可能多的命中。`max_concurrent_queries`和`max_connections`参数分别控制同时处理的最大查询数和最大连接数，以管理并发负载。

11、`max_open_files`参数定义了服务器可以打开的最大文件数，而`max_table_size_to_drop`参数则为删除表时设置限制，通常默认为50GB，以防止意外删除大表。

12、`merge_tree`参数允许用户对MergeTree中的表进行调整，以优化查询性能和数据管理。`openSSL`参数用于SSL客户端和服务器配置，以确保数据传输的安全性。

13、`part_log`参数用于记录与MergeTree相关的事件，如添加或合并数据，便于跟踪表状态。`query_log`和`query_thread_log`参数分别记录接收到的查询和查询线程，以进行性能分析和故障排查。

14、`trace_log`参数用于记录系统表操作的详细信息，有助于深入分析服务器性能。`query_masking_rules`参数基于正则表达式对查询和日志消息进行规则限制，防止敏感数据泄露。

15、`remote_servers`参数用于配置分布式表引擎和集群表功能的集群设置，确保数据分布和复制的策略正确执行。`timezone`参数允许用户设置服务器时区，确保日期和时间处理的一致性。

16、`tcp_port`参数用于通过TCP协议与客户端进行通信，`tcp_port_secure`参数与SSL设置相关联，用于安全通信。`mysql_port`参数定义了通过MySQL协议与客户端通信的端口。

17、`tmp_path`参数指定用于处理大型查询的临时数据存储路径，而`tmp_policy`参数允许用户配置存储临时文件的策略。

18、`uncompressed_cache_size`参数设置未压缩数据的缓存大小，以提高查询性能。`user_files_path`参数用于包含用户文件的目录，通常在使用`file()`函数时会用到。

19、`users_config`参数允许用户配置用户访问权限、profiles、quota和查询等级，通过`user.xml`文件实现细致的用户管理。

20、`zookeeper`参数用于配置ClickHouse与ZooKeeper集群的交互，特别在使用复制表时，它帮助存储副本的元数据。

21、在部署和管理ClickHouse集群时，理解并合理配置这些参数至关重要，它们将直接影响服务器的性能、安全性和数据管理效率。通过深入研究和实践，用户可以最大化利用ClickHouse的潜力，实现高效的数据处理和存储。

二、clickhouse 字符串操作

1、Clickhouse提供了强大的字符串操作功能，包括：

2、长度检查：快速获取字符串的长度。

3、自定义格式：灵活设置字符串的维度和布局。

4、拼接：使用concat(s1, s2, s3,...)合并多个字符串。

5、截取：通过substring, mid,或 substr函数精确选取子串。

6、追加：当必要时，用appendTrailingCharIfAbsent添加尾随字符。

7、编码转换：通过convertCharset进行字符集间的转换。

8、判断结尾：检查字符串是否以特定字符结尾，返回1或0表示真或假。

9、去除空白：移除字符串左侧的空格字符。

10、转义与反转义：对字符串进行必要的安全处理。

11、位操作：利用bitSlice提取指定位长的子串，位索引从1开始。

12、填充操作：使用leftPad或rightPad对字符串进行填充，用于数据脱敏。

13、计数功能：计算子串出现次数，如countSubstrings和区分大小写的countSubstringsCaseInsensitive。

14、正则匹配：利用countMatches基于正则表达式统计匹配的数量。

三、ClickHouse 语法详解

1、ClickHouse采用两种解析器处理 SQL查询，分别是完整 SQL解析器（递归式）和数据格式解析器（快速流式）。在非 INSERT查询中，仅使用完整 SQL解析器。对于 INSERT查询，同时使用两种解析器：完整 SQL解析器处理包含"INSERT INTO t VALUES"的部分，快速流式解析器解析数据，如(1,'Hello, world'),(2,'abc'),(3,'def')等。可以通过设置参数 input_format_values_interpret_expressions来开启对数据部分的完整 SQL解析器支持。当此参数为 1时，ClickHouse将优先使用快速流式解析器解析数据，若失败则尝试完整 SQL解析器，处理数据如同表达式。

2、数据可以采用任意格式。接收到请求时，服务端会在内存中计算不超过 max_query_size（默认为 1 mb）的请求数据部分，剩余部分则交给快速流式解析器。当使用 INSERT语句的 Values格式时，数据部分的解析与 SELECT中表达式的解析看似相同，但实际上存在诸多限制。

3、本文主要覆盖完整 SQL解析器的相关内容。关于数据格式解析的更多详情，请参阅“格式”章节。SQL语句中的语法结构部分（如标识符、符号间）允许包含任意空白字符，包括空格、制表符、换行符等。ClickHouse支持 SQL风格或 C语言风格的注释。

4、关键字在特定场景中是不区分大小写的，例如在系统表 system.data_type_families中检查数据类型名称时。所有其他关键字则区分大小写，包括函数名称。关键字仅在相应的上下文中被认为是关键字，如果需要使用与关键字同名的标识符，应使用双引号或反引号包含它们。

5、标识符包括变量名和字符。变量名推荐不被括起，但必须遵循正则表达式^[a-zA-Z_][0-9a-zA-Z_]*$，且不能与关键字相同，如"x","_1","X_y__Z123_"等。若需使用关键字同名或包含其他符号的变量名，应使用双引号或反引号，例如："id", `id`。

6、字符包含数字、字母、括号、NULL值等。数字类型字符的值类型为最小数据类型。例如，1解析为 UInt8，256解析为 UInt16。字符串仅支持用单引号包含，并通过反斜杠进行转义，如\b,\f,\r,\n,\t,\0,\a,\v,\xHH。复合字符串使用方括号或圆括号构造，实际并非字符串，而是包含创建数组和元组运算符的表达式。NULL值表示不存在的值，必须在字段声明为“空值”类型，其表现形式依赖于输入或输出数据格式。

7、函数调用类似于标识符后跟圆括号包含的参数列表，且圆括号是必需的，无论参数列表是否为空。函数分为常规函数和聚合函数，后者可能包含两个参数列表，第一个参数列表称为“参数”。别名是用户对表达式的自定义名称，但在当前查询或子查询中是全局可见的，且在不同子查询中不可见。星号可代替表达式使用于 select查询中，表示所有列。表达式是函数、标识符、字符、运算符的语句、括号中的表达式、子查询或星号。表达式列表由逗号分隔，而函数和运算符可以将表达式作为参数。