如何将MySQL的表数据全量导入clichhouse库中

一、环境

  • tidb06 mysql5.7.32

  • tidb05 clickhouse20.8.3.18

二、创建测试库表写入测试数据

tidb06库创建复制账户:

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO '
click_rep'
@'
172.16.0.246'
identified by '
jwts996'
;
flush privileges;

Query OK, 0 rows affected, 1 warning (0.00 sec)

如何将MySQL的表数据全量导入ClickHouse库中

tidb06库创建测试库表test01.tb2并且写入测试数据：

CREATE TABLE `tb2` (
`id` int(8) NOT NULL AUTO_INCREMENT,
`username` varchar(20) COLLATE utf8_unicode_ci NOT NULL,
`password` varchar(20) COLLATE utf8_unicode_ci NOT NULL,
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '
创建时间'
,
PRIMARY KEY (`id`) #主键ID
) ENGINE=innodb AUTO_INCREMENT=0 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;


INSERT INTO tb2(username,password,create_time) values('
tomcat'
, '
xiaohuahua'
,now());

INSERT INTO tb2(username,password,create_time) values('
java'
, '
xiaohuahua'
,now());

root@tidb06 14:01: [test01]>
select * from tb2;

+----+----------+------------+---------------------+
| id | username | password | create_time |
+----+----------+------------+---------------------+
| 1 | tomcat | xiaohuahua | 2021-07-21 14:01:50 |
| 2 | java | xiaohuahua | 2021-07-21 14:01:59 |
+----+----------+------------+---------------------+
2 rows in set (0.00 sec)

clickhouse库的建表创建方法:

CREATE TABLE tb2 ENGINE = MergeTree PARTITION BY toYYYYMM(create_time) ORDER BY create_time AS SELECT * FROM mysql('
172.16.0.247:3306'
, '
test01'
, '
tb2'
, '
click_rep'
, '
jwts996'
);

提示:clichhouse表中要求必须至少包含一个时间字段

tidb05 :) CREATE TABLE tb2 ENGINE = MergeTree PARTITION BY toYYYYMM(create_time) ORDER BY create_time AS SELECT * FROM mysql('
172.16.0.247:3306'
, '
test01'
, '
tb2'
, '
click_rep'
, '
jwts996'
);


CREATE TABLE tb2
ENGINE = MergeTree
PARTITION BY toYYYYMM(create_time)
ORDER BY create_time AS
SELECT *
FROM mysql('
172.16.0.247:3306'
, '
test01'
, '
tb2'
, '
click_rep'
, '
jwts996'
)

Ok.

0 rows in set. Elapsed: 0.014 sec.

tidb05 :) select * from tb2;


SELECT *
FROM tb2

┌─id─┬─username─┬─password───┬─────────create_time─┐
│ 1 │ tomcat │ xiaohuahua │ 2021-07-21 14:01:50 │
│ 2 │ java │ xiaohuahua │ 2021-07-21 14:01:59 │
└────┴──────────┴────────────┴─────────────────────┘

2 rows in set. Elapsed: 0.002 sec.

介绍ClickHouse
ClickHouse是一个用于数据仓库和分析领域的列式数据库管理系统（DBMS）。它具有高性能、可伸缩性、可靠性和易用性。
准备工作
要将MySQL的表数据全量导入ClickHouse库中，需要安装ClickHouse，并安装MySQL ODBC驱动程序。使用命令行登录到ClickHouse，在命令行中创建表。
创建表结构
使用命令行工具或在Web管理控制台中执行以下命令：
CREATE TABLE mytable (
column1 String,
column2 Int,
column3 Date
)
ENGINE = MergeTree
ORDER BY (column1);
将MySQL数据与ClickHouse建立连接
在ClickHouse中使用ODBC进行连接，执行以下语句：
CREATE TABLE mytable AS
SELECT * FROM odbc('DSN=my-mysql-dsn', 'mytable', '
SELECT column1, column2, column3 FROM mytable
')
执行数据导入操作
执行以下命令来将数据从MySQL导入ClickHouse：
INSERT INTO mytable
SELECT * FROM odbc('DSN=my-mysql-dsn', 'mytable', '
SELECT column1, column2, column3 FROM mytable
')
处理数据并完成导入
在导入之前，可以添加处理数据的步骤，如去除不必要的数据，并将数据格式化为ClickHouse需要的格式。在完成导入后，您可以使用ClickHouse分析您的数据。
总结
ClickHouse是一个处理大规模数据集的高性能列存储数据库管理系统。通过使用MySQL ODBC驱动程序，您可以将MySQL中的数据直接导入到ClickHouse中分析和处理。使用插入和选择语句，您可以轻松地执行数据导入和处理。