一、车纷享数据中心
车纷享的数据来自于车载终端上传的数据报文,首先经过系统平台的网关,然后借助规则引擎对数据报文进行解析拆分成有意义的数据项,以数据记录的方式放入消息队列,消息队列采用了阿里的MQ,消息队列的消费程序,会将消费到的数据分别存入redis以及HBase,其中Redis是用来提供车辆实时状态的查询,HBase提供车辆历史数据的查询,为了对历史数据进行灾备处理,使用了阿里云的OSS存储,将备份数据日志文件按照时间分区存储至OSS。
专栏
Hadoop v3.1大数据技术快速入门
作者:软件架构
19.8币
43人已购
查看
二、数据处理流程
以网约车管理平台为例,主要数据来源为车况数据和订单数据,进入Kafka后,建立2个消费组(Consumer Group),分别存储进HBase数据库和进入Spark Streaming流式计算引擎,主要用来为运营部门优化网点,车辆分流,监控部门的风控管理和商业BI相关的离线分析提供数据支撑。
专栏
Kafka v2.3 快速入门与实践
作者:软件架构
29.6币
61人已购
查看
三、使用感受
现在车纷享的车联网数据平台已迁入阿里云HBase团队已经半年多了,平均日写入数据几十G,到现在还没出现数据服务器的严重故障问题,总体比较稳定,大大降低了运营管理成本。
原文链接:
车纷享:基于阿里云HBase构建车联网平台实践
https://developer.aliyun.com/article/563203