ClickHouse多个误差原理剖析

宣布时间 2022-03-21

一、误差概述


ClickHouse是俄罗斯yandex公司于2016年开源的云数据库治理系统 ，，，， ，ClickHouse普遍应用于云平台的大数据剖析应用中 ，，，， ，其用户包括uber、ebay、德意志银行、阿里巴巴、腾讯等。 。。


克日 ，，，， ，JFrog清静研究团队披露了在ClickHouse DBMS中发明的7个误差 ，，，， ，拥有ClickHouse最低权限的攻击者可以通过这些误差使ClickHouse效劳器瓦解、走漏内存内容 ，，，， ，甚至导致远程代码执行（RCE）。 。。

误差影响了ClickHouse 21.10.2.15版本之前的所有版本。 。。详细误差形貌如下表所示：


图片1.png


二、处置惩罚建议


2021年10月18日宣布的ClickHouse 21.10.2.15版本修复了上述的7个误差 ，，，， ，请尽快升级到ClickHouse 21.10.2.15及以后的版本。 。。


下载链接：

https://github.com/ClickHouse/ClickHouse/releases/


缓解步伐：

若是无法升级 ，，，， ，请在效劳器中添加防火墙战略 ，，，， ，限制只允许特定IP的客户端会见WEB端口(8123)和TCP效劳器端口(9000)。 。。


三、误差剖析


这些误差都保存ClickHouse Server处置惩罚压缩数据的请求处置惩罚历程中 ，，，， ，ClickHouse Server支持对用户请求的附带数据举行压缩。 。。用户可以在提倡WEB请求时 ，，，， ，将decompress标记设为1即可 ，，，， ，举例如下：

cat query.bin | curl -sS —data-binary @-‘http://serverIP:8123/?user=xxx&password=xxx&decompress=1' 

盘问的附带数据(query.bin)可以按下面的结构举行组织：


图片2.png


ClickHouse支持多种压缩名堂 ，，，， ，包括LZ4、Gorilla、Delta等多种压缩算法。 。。ClickHouse Server凭证请求中附带数据的压缩算法标识 ，，，， ，挪用差别的解压算法来对数据举行解压。 。。


3.1 LZ4算法先容


LZ4压缩算法是LZ算法系列中的一种 ，，，， ，也是现在综合效率最快的压缩算法之一。 。。

一个LZ4压缩块由多个LZ4序列组成 ，，，， ，LZ4序列由以下数据组成 ，，，， ，如下图所示：


图片3.png

Token巨细为1字节 ，，，， ，高4个bits为不可压缩数据(literal）的长度(literallength) ，，，， ，而低4个bits为可以压缩数据(match)长度(match length)。 。。若是literallength的值为0 ，，，， ，则体现后续数据里没有literal。 。。由于literal length只有4比特来体现 ，，，， ，它的最大值为15。 。。当literal数据的巨细大于即是15时 ，，，， ，需要在Token字段后添加格外的字节来体现literal的长度（Literal length+）。 。。


若是match length的值为0 ，，，， ，则体现后续数据里没有match。 。。由于matchlength只有4比特来体现 ，，，， ，它的最大值为15。 。。当match数据的巨细大于即是15时 ，，，， ，需要在offset字段后添加格外的字节来体现match的长度（match length+）。 。。

Literals指没有重复、首次泛起的字节约 ，，，， ，即不可压缩的部分。 。。

Offset指的是现在字符串离它的匹配项的长度 ，，，， ，而匹配长度指的是现在字符串与字典中相同字符串的匹配长度。 。。offset占用2个字节 ，，，， ，即最大值为65535。 。。

Match指重复项 ，，，， ，可以压缩的部分。 。。


 3.2 CVE-2021-43304原理

src/Compression/LZ4_decompress_faster.cpp的decompressImpl函数在拷贝LZ4序列数据的literal时 ，，，， ，没有判断复制的数据是否凌驾目的缓冲区的限制。 。。当需要复制的数据凌驾目的缓存的巨细时 ，，，， ，会导致堆溢出。 。。


图片4.png


如上图代码所示 ，，，， ，ip是指向压缩缓冲区的指针。 。。op是指向分派的目的缓冲区的指针 ，，，， ，该目的缓冲区的巨细为报头中给定的解压巨细。 。。copy_end是指向复制区域最后的指针。 。。


copy_amount是模板的参数 ，，，， ，可以是8、16或32。 。。复制区域被分块复制 ，，，， ，每个块的巨细都与复制量相同。 。。

攻击者可以结构恶意的LZ4序列数据 ，，，， ，其中litera的长度(length变量)大于dest_size ，，，， ，将导致堆溢出。 。。


3.3 CVE-2021-43304误差复现

我们可以结构这样的请求数据 ，，，， ，其中压缩算法为LZ4 ，，，， ，literal的长度为255*200 ，，，， ，而dest_size为1。 。。由于literal的巨细远大于解压后缓冲区的巨细 ，，，， ，当clickhouse_server举行复制操作时将导致堆溢出 ，，，， ，触发程序瓦解。 。。


图片5.png


3.4 CVE-2021-43305误差原理


误差保存src/Compression/LZ4_decompress_faster.cpp的decompressImpl函数中 ，，，， ，该函数直接从LZ4压缩数据中读取16位无符号偏移量（offset攻击者可以控制） ，，，， ，offset用于定位match数据的位置 ，，，， ，当offset的值大于dest_size的值时 ，，，， ，copyOverlap操作将导致堆溢出。 。。


图片6.png


3.5 CVE-2021-42388及CVE-2021-42387误差原理


误差保存src/Compression/LZ4_decompress_faster.cpp的decompressImpl函数中 ，，，， ，该函数直接从LZ4压缩数据中读取16位无符号偏移量（offset攻击者可以控制）,该偏移量用于盘算wildCopy操作的源数据地点。 。。当offset的值为大于copy_amount时(如offset = 0xffff） ，，，， ，将导致程序将op地点之前的数据拷贝到op指向的地点中 ，，，， ，从而导致越界读。 。。


图片7.png


CVE-2021-42387是CVE-2021-42388的一个类似误差 ，，，， ，这里就不再先容。 。。


3.6 CVE-2021-42389、CVE-2021-42390、CVE-2021-42391误差原理

ClickHouse支持的DoubleDelta编解码器、Delta编解码器、Gorilla编解码器中都保存被零除的误差。 。。它们基于将压缩缓冲区的第一个字节设置为零。 。。解压代码读取压缩缓冲区的第一个字节 ，，，， ，并对其执行模运算以获得剩余字节 ，，，， ，当source[0]为0时 ，，，， ，CPU对0举行取模时操作将爆发除0异常。 。。


图片8.png


四、竣事语


大数据时代下 ，，，， ，大宗数据群集、毗连及网络界线的延伸都为数据库的的清静提出了更高的要求。 。。数据库作为信息手艺系统的焦点和基础 ，，，， ，承载着越来越多的要害营业系统 ，，，， ，成为企业和机构最具有战略性的焦点数据资产 ，，，， ，因此数据库方面的清静值得我们一连关注。 。。


参考链接：

[1]https://jfrog.com/blog/7-rce-and-dos-vulnerabilities-found-in-clickhouse-dbms/

[2]https://github.com/ClickHouse/ClickHouse

[3]https://thehackernews.com/2022/03/multiple-flaws-uncovered-in-clickhouse.html