GtDataStore

项目目标:

• 统一采集和存储水厂数据
• 数据加工、清洗在数据中心完成，保持数据完整性和统一性
• 提供高效的数据查询服务，以满足各业务对数据的需求
• 提供数据展示层，以图表形式呈现数据
• 将数据抽象成事件，并提供数据事件订阅服务
• 数据预警事件，提供事件订阅服务

项目目录结构：

.
├── app                                        应用目录
│   ├── alarms                                 报警
│   ├── api                                    http 数据接口服务
│   ├── cleansing                              数据清洗
│   ├── events                                 事件
│   └── organization                           数据维度整理
├── bin                                        外部脚本执行
├── common                                     公用工具类
├── config                                     通用配置文件
└── deploy                                     部署相关

数据清洗 tag 的相关订阅

python依赖安装

pip3 install psycopg2 schedule pandas sshtunnel sqlalchemy pymysql redis

1. 待处理的事件队列 tag

MQ: Redis

key: data-center:mq:event

value: ${tag}

type: List

blpop + rpush

2. 事件通知订阅

MQ: Redis

key: data-center:notice:event:${project_id}:${item}

value: {"event_name": ${event_name},"project_id": ${project_id},"payload": {"item_name": ${item_name}, "item_val": ${item_val},......}}

type: SubPub

3. 待处理的报警队列 tag

MQ: Redis

key: data-center:mq:alarm

value: ${tag}

type: List

blpop + rpush

4. 报警通知订阅

MQ: Redis

key: data-center:notice:alarm

value: {"alarm_name": ${alarm_name},"project_id": ${project_id},"payload": {"item_name": ${item_name}, "item_val": ${item_val},......}}

type: SubPub

5. 待整理的异构数据队列 tag

MQ: Redis

key: data-center:mq:isomerism

value: ${tag}

type: List

blpop + rpush

部署