Exploring the Status Quo and Strategy of Big Data Processing of Hydrology and Water Information
燕艳 YAN Yan；张楠 ZHANG Nan；于红梅 YU Hong-mei
（内蒙古自治区赤峰市水文勘测局，赤峰 024000）
（Chifeng City Hydrographic Survey Bureau，Inner Mongolia Autonomous Region，Chifeng 024000，China）
摘要：由于当前科学技术发展的速度进一步加快，水务行业逐步开始趋向于现代化建设，也不断的配置各种测站，全面的对水文的情况进行监测。水文测站是水文信息采集过程中最重要的基础单元，需要将原有的水情信息存储，并且将模拟记录向数字化记录转变，水情信息数据逐步开始向大数据方向发展，通过相关的软件配套设备，保证水文数据的有效分析处理和使用。本文重点对某水文站水情处理大数据系统的现状和策略进行分析，以供参考。
Abstract: Due to the speed of the current development of science and technology, the water industry has gradually begun to modernize, and various stations have been continuously deployed to comprehensively monitor the hydrological situation. The hydrological station is the most important basic unit in the process of hydrological information collection. It needs to store the original water information, and transform the analog record to the digital record. The water information data gradually develops toward the big data direction, and the relevant software supporting equipment ensures the effective analysis, processing and use of the hydrological data. This paper focuses on the analysis of the status quo and strategy of a hydrological station big data system for a hydrological station for reference.
关键词：水文；大数据；水情信息
Key words: hydrology；big data；water information
中图分类号：TV12 文献标识码：A 文章编号：1006-4311（2019）25-0288-02
1 水文水情信息概述
水文指的主要是自然界水的运动以及变化，也被叫做是水的波纹。当前主要是对自然界水的变化以及时空分布情况进行专门研究的一门边缘学科。国家越来越重视连续动态的监测江河湖泊的水文状况，进行了很多水文测站的布设，专门用于对水情信息进行收集和发布，为国民经济建设与发展打下坚实的基础，相关的水文信息数据是水文行业发展过程中值得积累和应用的有价值的财富。
2 水文水情信息大数据处理现状
水文测站监测的内容很多，主要有含沙量、水的流量、蒸发量、降水量以及河水的水位等，基本可以实现自记化。水情信息可以向水情信息中心实时的传输，让用户通过手机、电脑等设备随时对水情信息进行查看。相关部门研发了自动测报系统，可以有效的按照一定的时间间隔，通过相关的传感器对信息进行采集，并且对水位、雨量等信息进行存储，通过编译之后向测站水情中心进行传递，测报系统信息中心终端在获取数据之后，可以对这些数据进行分析、检查、反馈，并且将测站现场水情信息处理工作完成，自动测报采集终端可以现场进行数据的转发、采集、存储等，另外可以通过编码的相关技术，实现一定周期内的采集，周期可以设定为5分钟、10分钟等，将数据是通过ASCII的格式向Excel、office等文件导出。在实时进行降水、水位、流量数据采集的过程中，可以将水文的要素变化情况准确的反映出来，通常条件下可以将这些数据进行整理、汇编之后产生报表，供用户进行查阅使用。为了保证水情信息的时效性、准确性，各水文测站还可以通过相关的软件来处理、转发数据，保证数据采集的准确性。（图1）
2.1 数据存储
在进行数据存储的过程中，主要是有机的结合分布式文件系统和关系型数据，将水文大数据进行有效的存储，对遥测数据进行结构化，保证质量管控数据和元数据利用关系型数据库服务RDS得到有效的管理，而对于一些文件数据、历史数据以及图像数据等，通过分布式文件存储服务OSS以及大数据表格存储系统进行存储。两种数据在存储的过程中是统一的并非独立存在的，而是通过数据集成服务或装载工具进行有效的控制和互补，让弹性扩容实现，符合海量数据持续增长的需要，保证数据结构朝多样性的方向发展。
在进行水文数据中心建设的过程中，对所有结构化的数据进行了描述和定义。在水文系统当中，可以提高数据的可用性和易用性。
2.2 数据分析
在获取水文数据之后需要通过大数据分析，主要是依照主题化的应用需求合理的分析和处理数据。在此过程中，需要通过云计算引擎和并行计算系统将分布式海量水文数据通过集成系统在云端进行高速交换，并且通过MaxCompute进行并行MapReduce计算，让多点高效数据处理实现，将传统水文数据处理过程中计算能力不足等问题有效的解决。在进行云平台使用的过程中，可以通过线性、非线性的统计方法充分的挖掘水文数据，并且形成高效的数据分析平台。对数据进行实时更新和计算，进一步实现数据的有效利用，实时对数据进行展示，有效的对灾情进行调度并且告警，另外可以利用深度学习、人工神经网络、决策树等对数据间的内在联系进行探索，将数据当中的隐含内容挖掘出来，为后续进行跨行业的数据共享和融合打下坚实的基础。具体分析一些视频、图片、文本等非结构性数据，通过分析可以自动形成摘要和关键词，并且依照主题完成分类工作，为后续进行水文资料的快速浏览和检索打下坚实的基础。
2.3 数据分发
在进行数据分发系统建设的过程中，可以有效的保障云计算的实现，可以让水文数据端到端的及时分发得到有效的实现，确保各个业务部门都能有效的进行快速联动。与此同时，数据服务对象除了服务单位、值班系统、预报系统等水文专业系统外，还可以面对普通的芸芸大众。云平台在进行大数据计算之后，可以将获得的水文数据分析的结果以及一些专业的客户信息，通过API接口向公众统一发放，可以让民众在生活的过程中更好的对水文知识进行利用，保证从行业水平逐步向社会水文发展，做到立足专业处理，面向社会服务。
2.4 统一的门户管理
水文大数据平台建设的过程中，需要利用简洁的界面统一的门户，直观的向用户进行历史数据、实时数据分析报告的展示，让用户更好的对结果进行分析和利用，利用大数据可以有效的将各个服务组件合并起来，利用API调用的方式进行运维界面和监控界面的统一设置，这样可以让平台的运维效果和易用性大幅度提高。
3 水文水情信息大数据处理的展望和策略
3.1 加强多库合一的建设
在水文数据库发展的过程中，一定要对大数据和云计算进行合理利用，保证数据获取的通道通畅，通过多库合一的方式加强水文数据的收集。在数据库建设的过程中需要合理的对数据库进行分类，形成整编库、预报库、历史库、实时库等。这些数据库在构建的过程中各个侧重点各不相同，通过多库合一之后可以让数据维护的任务大幅度的减轻，利用统一的数据更好的为客户服务。多库合一具有较大的优势，也具有较深远的影响，然而再操作起来具有一定的难度，水利部需要出台相关的表结构标准，合理的进行数据的整理，这也是非常艰巨的任务。
3.2 重视纠错和拦截机制的建设
当前在数据交互的过程中，各个功能已经越来越成熟，但是因为没有拦截和纠错的机制导致数据处理的过程中一旦产生错误，数据无法及时的进行纠正。在未来水情传输的过程中具有更高的自动化水平，所以一定要合理的进行拦截错误数据功能的设置，在发觉错误数据的过程中，一定要注意在接收数据入库之后形成逻辑判断程序，对数据的合理性进行判断，如果数据无法达到要求，则不予入库，并且发出警告和提醒，进行人工处理。
3.3 逐步强化对基础信息的管理实行站点注册制度
在进行水情数据管理的过程中需要对报汛站点的管理进行强化，避免出现站点基础信息缺失，账号重复，对报讯工作产生影响。在未来进行报汛通信系统设置的过程中需要对水站的管理进行强化，进行站点注册管理体系。每个报讯站都需要在国家水情中心进行注册，在完成站点注册之后才能进行水情的报讯和传输，对数据的来源进行统一化的管理，防止数据之间产生冲突。防汛和水调部门一定要及时的进行决策软件的编制，在站点注册的时候一定要着重进行站点基础信息的登记，特别是经纬度信息的管理。
4 结束语
当前水情处理已经经历了很长的时间，积累了很多水文信息数据，由于水情数据，不断的更新一定要加强水情信息的处理，通过大数据有效的展开水文测验的创新工作，有效的对水情信息进行维护和管理，让水文监测能力提高，保障水文数据获取过程中的有效性和数据处理的合理性。
参考文献：
[1]高军，王立海.大数据环境下长江水文信息与网络安全防技术探[C]//大数据时代的信息化建设，2015.
[2]刘予伟，刘东润，陈献耘.大数据在水资源管理中的应用展望[J].水资源研究，2015，04（5）：470-476.
[3]李文俊，赵文焕，杨鹏，等.长江流域控制性水利工程综合调度系统研究[J].中国防汛抗旱，2018，28（6）：25-28. |
