Post on 12-Oct-2020
数据库超体
digoal阿里云
10%
• 增
• 删
• 改
• 查
20%
20%
• 一、物联网、金融、日志、运营商网关、行为轨迹类数据
appendonly
堆存储线性相关
时序 量大
区间查找 分析 插入快压缩
节约空间
数据特征
需求
20%
• PostgreSQL 块级别索引 - BRIN
20%
• PostgreSQL 块级别索引 - BRIN
20%
• PostgreSQL 块级别索引 - BRIN
单步插入测试
20%• 时序类数据有损压缩 - 旋转门压缩
• 时序类数据无损压缩 - 列存储(瓦片式\内置\FDW\IMCS)
20%• 二、搜索类、多维度交互类场景
1. GIN 复合(倒排+聚集)索引2. 分词索引3. bloom复合索引4. pg_trgm, fuzzymatch
任意字段组合查询
行级模糊匹配
JSON内容模糊查询
正则查询
全文检索
文本相似查询
语音相似查询
20%• 三、高效率范围查询
智能DNS
物联网传感器
聚类分析
20%• 三、高效率范围查询
智能DNS
物联网传感器
聚类分析
20%• 四、悬殊数据求差、树型数据查询、收敛加速
递归查询
ltree类型
族谱网站内容归类
ERP
20%• 四、悬殊数据求差、树型数据查询、收敛加速
递归查询
ltree类型
40%
40%
• 一、
• 数
• 据
• 库
• 端
• 编
• 程
40%
• 一、
• 数
• 据
• 库
• 端
• 编
• 程
40%
• 一、
• 数
• 据
• 库
• 端
• 编
• 程
40%
• 二、
• 异
• 步
• 消
• 息
notify:channel
listen:channel
listen:channel
......
40%
• 二、
• 异
• 步
• 消
• 息
40%
• 三、数据泵
40%
• 四、天文、地理
40%
40%
40%
40%
• 五、C嵌入式开发(金融)– 与Oracle的Pro*C功能对齐
ECPG
60%
60%• 一、流式处理
60%• 二、网状关系搜索应用、金融风控、公安刑侦、社会关系、人脉分析
最短路径
N度人脉
60%• 三、相似内容判定
淘宝内容平台
导购网站
导购文章ID1: [ 商品ID数组 ]导购文章ID2: [ 商品ID数组 ].....导购文章IDn: [ 商品ID数组 ]
smlar插件GIN索引
导购文章审核
threshorld-bitmap过滤
根据过滤后的BLOCKID扫描堆表
性能：亿级文章，亿级商品，毫秒响应
60%• 三、相似内容判定
60%• 四、图像识别、AR红包
图片相似度判断
地理位置处理
60%
60%• 五、real sharding （无限制sharding）
pushdown 跨节点JOIN 跨库事务
扩容、缩容
一致性备份、恢复
管理便捷
(agg\where\sort\JOIN\group by\insert\update\delete\select)
60%• 六、资源控制
DaaS 多租户一库多业
务
用户级 库级内存、
IOPS、CPU
HOOK cgroup\backend进程
60%• 七、任意多副本、事务级弹性选择
80%
80%• 一、机器学习库(MADlib)
(标签)聚类分析
(关键词)文本分析
(预测)线性分析
......
80%• 二、实时用户画像、按标签圈人；文本关键词分析、相似文本分析
GIN索引
分词
RUM索引
电商 公安 广告商
bitpackRDS
80%• 三、基因数据处理(存、取、检索; 类型、索引、操作符、函数、UDF)
80%• 四、化学数据处理(存、取、检索; 类型、索引、操作符、函数、UDF)
80%• 五、融合
MySQL
Oracle
NoSQL
File
www
hadoop
anyservice
graph
80%• 五、融合
80%• 五、融合
100%
• 一切皆可扩展
2017 金秋 PostgreSQL 10.0
• https://github.com/digoal/blog/blob/master/README.md