<< ..

dbaplus meetup note

发布时间:

陌陌redis运维

主流版本3.2

rename key words,rename shutdown command.

redis关注下列监控定制项

  1. 流量情况
  2. 队列堆积监控
  3. 主从延时
  4. 单实例cpu负载
  5. 内存波动率
  6. 慢查询

如何巡检？

  1. 备份巡检
  2. 测试环境
  3. 元信息唯一

基于规范才能自动化

美团Mysql MGR

本质还是binlog 奇数个节点可以保证最终存活。 pto osc 网络抖动也是需要DBA考虑的重要问题 消息压缩会影响传输 永远保留回退方案

SQL优化业务库生命周期

  • 数据分层管理
  • 数据分类管理
  • 确定生命周期策略
  • 生命周期策略实施
  • 策略试验报告
  • 空间容量管理

阶段性清理，日志性质东西，每天删个几百条

如何剥离真正想用的数据????

吐槽：分区表400w ？？？？？？？？？？？？？还是支付相关？？？？？？？？？如此有钱？？？？？？？？？？？？？？？？？？

按月分区，日志表大小规范

HTAP Trafodin

分布式SQL + Hadoop

线性扩展

分区聚合：

  1. salt
  2. split
  3. division - 基于表达式对列 coool！
  4. store - 指定组合分区

优化框架 多维访问法 - 稀疏索引

数据倾斜 skew buster - 优化阶段就做直方图统计监测，每个算子都做检查。生成相应策略。

无全局事务管理节点。如何做跨节点的事务信息同步？ 由发起事务节点，决定谁是主接口。其他节点注册唯一id号。

语法树绑定。branch under binding分支限界法。

数据虚拟化

是啥？

区别于传统数据源，提供数据统一接口。屏蔽数据源直接请求。

  • 异构数据源如何统一？
  • 数仓、实时数仓
  • 虚拟化就是映射表吗？（第一步）
  • 虚拟化缺陷，无法找到历史数据。每天导出一次。= = 建立快照。designing the warehouse
  • 安全管控？？？？

如何实现？

数据管理要求，元数据体系。

元数据管理如何建设？jdbc、es、mongo，hbase无。sql执行计划期间，临时获取元数据信息。 自动化元数据接口。

血缘分析。 如何建立这个血缘关系。 封装表自动删除，标记为无效，同步。。 虚拟表缓存策略。定时预算。 无结构的元数据管理体系。 算子下推-spark vs presto只能推filter和project 并行下推-多进程下推

moonbox

开源实现，国内唯一。基于spark下推。 基于akka 敏捷大数据，数据采集dbus kafka。