- 集群配置信息
- CPU16核，内存64G，单节点
- 示例表建表语句如下：
- CREATE TABLE `lineorder_flat`
- ( `LO_ORDERDATE` int(11) NOT NULL,
- `LO_ORDERKEY` int(11) NOT NULL,
- `LO_LINENUMBER` tinyint(4) NOT NULL,
- `LO_CUSTKEY` int(11) NOT NULL,
- `LO_PARTKEY` int(11) NOT NULL,
- `LO_SUPPKEY` int(11) NOT NULL,
- `LO_ORDERPRIORITY` varchar(100) NOT NULL,
- `LO_SHIPPRIORITY` tinyint(4) NOT NULL,
- `LO_QUANTITY` tinyint(4) NOT NULL,
- `LO_EXTENDEDPRICE` int(11) NOT NULL,
- `LO_ORDTOTALPRICE` int(11) NOT NULL,
- `LO_DISCOUNT` tinyint(4) NOT NULL,
- `LO_REVENUE` int(11) NOT NULL,
- `LO_SUPPLYCOST` int(11) NOT NULL,
- `LO_TAX` tinyint(4) NOT NULL,
- `LO_COMMITDATE` datev2 NOT NULL,
- `LO_SHIPMODE` varchar(100) NOT NULL,
- `C_NAME` varchar(100) NOT NULL,
- `C_ADDRESS` varchar(100) NOT NULL,
- `C_CITY` varchar(100) NOT NULL,
- `C_NATION` varchar(100) NOT NULL,
- `C_REGION` varchar(100) NOT NULL,
- `C_PHONE` varchar(100) NOT NULL,
- `C_MKTSEGMENT` varchar(100) NOT NULL,
- `S_NAME` varchar(100) NOT NULL,
- `S_ADDRESS` varchar(100) NOT NULL,
- `S_CITY` varchar(100) NOT NULL,
- `S_NATION` varchar(100) NOT NULL,
- `S_REGION` varchar(100) NOT NULL,
- `S_PHONE` varchar(100) NOT NULL,
- `P_NAME` varchar(100) NOT NULL,
- `P_MFGR` varchar(100) NOT NULL,
- `P_CATEGORY` varchar(100) NOT NULL,
- `P_BRAND` varchar(100) NOT NULL,
- `P_COLOR` varchar(100) NOT NULL,
- `P_TYPE` varchar(100) NOT NULL,
- `P_SIZE` tinyint(4) NOT NULL,
- `P_CONTAINER` varchar(100) NOT NULL
- ) ENGINE=OLAP；
- 查询356.236M，6001215单表
- 查询一张6001215数据量的表，执行count(*)操作，耗时2024ms（2.024s）
- 查询一张6001215数据量的表，执行count(*)操作，耗时2024ms（2.024s）
- 对600万行的数据执行聚合操作，三次查询平均耗时耗时200ms左右(0.2s)
- 对600万行的数据执行全表查询操作，耗时 111ms
- 6千万行数据单表性能 测试（59989008）
- 查询一张6千万行（59989008）数据量的表，执行count(*)操作，首次耗时1122ms(1.122s)，后三次平均耗时91ms(0.091s)
- 对6千万行（59989008）数据执行聚合操作，首次耗时1416ms(1.416s)，后三次查询平均耗时耗时1063ms（1.063s）左右
- 对6千万行（59989008）数据执行全表查询操作，首次 查询耗时126ms(0.126s)，后三次查询 平均 耗时 115ms（0.115s）左右
- 6亿行数据单表性能测试（600037902）
- 查询一张6亿行（600037902）数据量的表，执行count(*)操作，耗时15773ms(15.773s)
- 对6亿行（600037902）数据执行聚合操作，首次耗时34294ms(34.294s)，后三次查询平均耗时耗时9836（9.836s）ms左右
- 对6亿行（600037902）数据执行全表查询操作，首次 查询耗时1574ms(1.574s)，后三次查询 平均 耗时 200ms（0.2s）左右
作者 admin
张宴银，大数据开发工程师