论文学习——基于优化DTW算法的水文要素时间序列数据相似性分析
文章目录
- 1 摘要
- 2 结论
- 3 引言
- 4 水文时间序列数据相似性度量的相关研究
- 4.0 前人工作
- 4.1 提出问题
- 4.2 DTW动态时间弯曲距离算法
- 5 基于DTW的水文要素时间序列数据相似性度量方法
- 5.1 介绍DTW
- 5.2 数据介绍(实验要做什么)
- 5.3 创新点:基于最长公共子串的DTW算法优化
- 5.4 算法流程
- 5.5 输出结果分析
写在前面:《水文》(JOURNAL OF CHINA HYDROLOGY);双月刊;中文核心;主办单位:水利部水文局;水利部水利信息中心
1 摘要
总结:
① 日平均水文要素摘录时间序列;
② 随机水文要素摘录时间序列;(更优)
- 针对的问题:基于随机水文要素摘录数据的相似性分析的优点和存在的问题;
- 提出的论点:使用DTW解决随机水文要素摘录数据时序间距不一致、时长不一致的问题;
- 创新点:根据水文时间序列数据周期性起伏变化频繁的特征,基于最长公共子串,对DTW算法进行优化改进,从而提高相似性匹配精度;
- 论证过程:首先引入基于水文要素摘录的数据的相似性的分析存在问题,主要在于引入DTW会导致水文数据时序间距不一致的问题;然后根据水文序列周期性,基于最长公共子串,对DTW进行改进,从而提高相似性的匹配精度。
2 结论
- 水文时间序偶咧数据的相似性挖掘,在水文研究领域具有重要意义,尤其是对供水预报、防洪调度等方面的支撑作用。
- 两种:①基于日平均水文要素时间序列数据; ②基于水文要素摘录时间序列数据
- 作者认为,基于水文要素摘录数据,进而进行水文过程相似性分析,更能反映水文过程;
- 通过基于最长公共子串匹配,对DTW算法进行优化,旨在解决周期性频繁起伏变化水文时间序列数据, 在距离计算中的“病态匹配”问题
3 引言
这一段引言写的蛮好的。
- 在防汛抗旱指挥和预报分析中,经常需要知道相似的水文过程,以便做出相应的防汛抗旱决策,就需要对水文降雨、水位、流量(降雨量)等过程线进行相似性分析,查找相似的水文过程。
4 水文时间序列数据相似性度量的相关研究
- 水文时间序列数据:[时刻,水文要素检测值],按照观测时刻排列的水文数据的有序集合。
- 水文时间序列数据相似性,就是比较基于水文监测数据绘成水文过程曲线的相似程度。
判断基于水文时间序列数据 过程线相似度 有许多较为直接有效的方法,例如:
(1)两个时间序列的欧氏距离
(2)李薇等,通过引入数据仓库和数据挖掘的理论和技术,对两个站口的日平均降雨量相似性查询;[1]
(3)朱跃龙等,以太湖流域某站日平均水位数据为例,提出基于语义相似的水文时间序列相似性挖掘;[2]
(4)杨艳林等,提出基于DTW聚类 【通过凝聚层次聚类法分别对单一语义的符号集进行聚类的水文时间序列相似性挖掘方法 ;[3]
4.0 前人工作
一般研究水文过程相似性,都是基于整编的日平均水文要素数据,如平均水位、流量、降雨量等,由于日平均水文数据时间间距一致,时长相等,一般为365d,因此采用欧式距离具有很好的时刻对应性。
4.1 提出问题
- 一般日平均水文数据(文中用的最多的就是水文站的日平均水位),不能代表该水文要素的实际变化过程,而水文要素摘录数据可以完整的反应水文要素的实际变化过程。
- 但是,水文要素摘录数据的时间间距不一致,序列数据时间点也不是一一对应的。
图1 是日平均水文数据,因为水位数据是每隔1h记录一次的,那么日平均水位数据就是24h的水位求和除以24;
图2是水文要素摘录过程线,这两条线的序列数据时间点不是一一对应的,2018年摘录了1278个数据,1997年摘录了891个数据,时间间距也是不一样的,有1h,2h,4h等等。【很显然,下面一种数据表示方法,能够看出这两条曲线是存在相似性的,2018年的数据“在时间步长上缩减、扭曲一下”, 就可以和1997年的时间序列数据存在很大的相似性!而这一种想法,我们称之为“语义相似”, 更多解释可以学习一下DTW】
4.2 DTW动态时间弯曲距离算法
- 对时间序列数据进行规整(延伸、缩短),使得两个序列的时刻尽可能一致。
- 最早用于语音识别领域
- 弥补欧式距离的缺点:只能计算时间间距一致、数据点数据一致的缺陷,【也就是说,时间序列不一样长,也是可以进行比较的了】
5 基于DTW的水文要素时间序列数据相似性度量方法
5.1 介绍DTW
一般使用欧式距离公式,构建序列X和序列Y的距离矩阵D。
5.2 数据介绍(实验要做什么)
- 选取长江干流汉口,武汉关水文站的水位数据。
【这里我bb一句,前面说的很高大上的“水位要素”,讲白了在文章中就是水位数据,也就是记录某时某刻的水位是多少mm】 - 水位数据(1865年-2017年),以2018年为基准,查找1865年-2017年中,哪一年与2018年水位变化情况最相似
- 也就是说,“分析当前水位过程与历史上哪一时期的过程是类似的”,就是要以“年”为单位,查找相似水位变化、
5.3 创新点:基于最长公共子串的DTW算法优化
- 发现水文时间序列数据具有周期性起伏变化的特征
- 基于水文时间序列数据具有周期性起伏变化频繁的特征,两个数值序列的最长公共子串的长度对相似度的影响很大,即两个数值序列的最长公共子串越长,偏差越小,需要调整的幅度越小
- 所以,定义一个惩罚系数,利用惩罚系数对两个水文时间序列的距离进行调整,用惩罚系数乘以距离得到新的距离。
5.4 算法流程
5.5 输出结果分析
- 输出的是相似度最高的3个年份
论文学习——基于优化DTW算法的水文要素时间序列数据相似性分析相关推荐
- 论文学习——基于循环神经网络的电信行业容量数据预测方法
文章目录 0 封面 1 标题 title 2 摘要 abstract 3 关键字 keywords 4 总结 conclusion 5 引言 introduction 6 介绍 LSTM 6.1 LS ...
- 基于优化智能算法(粒子群灰狼)的非侵入式负荷识别(NILM)建模(提供代码下载)
基于优化智能算法(粒子群&灰狼)的非侵入式负荷识别(NILM)建模 本文主要从智能算法入手,介绍非侵入式识别的代码具体应用思路和场景,如有瑕疵,请海涵. 1.1 优化智能算法概述 智能算法的研 ...
- 【大数据分析专业毕设之基于python爬虫的电影票房大数据预测分析+大屏可视化分析
[大数据分析专业毕设之基于python爬虫的电影票房大数据预测分析+大屏可视化分析-哔哩哔哩https://b23.tv/saIKtBH flask web框架,数据使用requests模块爬取数据, ...
- 【计算机专业毕设之基于python猫咪网爬虫大数据可视化分析系统-哔哩哔哩】 https://b23.tv/jRN6MVh
[计算机专业毕设之基于python猫咪网爬虫大数据可视化分析系统-哔哩哔哩] https://b23.tv/jRN6MVh https://b23.tv/jRN6MVh
- Redis核心技术与实战-学习笔记(十四):时间序列数据
一.时间序列数据 时间序列数据:没有严格的关系模型,记录的信息可以表示成键和值的关系. (例如,一个设备ID对应一条记录): 时间序列数据的读写特点 持续高并发写入,需要连续记录数万个设备的实时状态值 ...
- PRICAI 2016 论文精选 | 基于稀松K-SVD算法的自发性微表情识别
随着信息采集技术和传感器技术的迅速发展,利用计算机视觉技术识别微表情的相关研究实验已经越来越多.这些试验中,实际获取的图像数据的维数越来越高,如何有效地描述图像,方便后续处理,已成为图像处理.模式识别 ...
- 论文学习|基于少镜头学习的毛果杨群体叶片性状分析
关于原文 Few-Shot Learning Enables Population-Scale Analysis of Leaf Traits in Populus trichocarpa 基于少镜头 ...
- 推断车祸事件论文matlab,预测模型论文,关于基于优化GM(1,1)模型的水上交通事故预测相关参考文献资料-免费论文范文...
导读:本论文主要论述了预测模型论文范文相关的参考文献,对您的论文写作有参考作用. (上海海事大学商船学院 中国 上海 201306) [摘 要]为进行水上交通事故的预测,在已有的GM(1,1)模型的基 ...
- 【阅读论文】基于统计特征的无监督时间序列异常检测方法
文章目录 摘要 1.介绍 2.相关工作 3.问题描述 4.方法 4.1 统计特征 4.2提取特征总结 4.3 学习阶段算法 4.4测试阶段算法 5.结果 5.1 YOB评价:单变量 5.3对合成数据集 ...
最新文章
- 一个声明指定了多个类型的问题
- 《中国编程挑战赛--资格赛》赛题及解答
- Git学习笔记:修改
- Kotlin协程重新认知 CoroutineContext
- require(),include(),require_once()和include_once()的异同
- 实验三:跟踪分析Linux内核的启动过程
- 超像素块提取 matlab,GitHub - CielChen/Make3DFeature: 将图像分割成超像素,并提取每个超像素块的Make3D特征...
- larval 策略模式
- 未来居民健康档案编码以身份证号识别
- hadoop生态圈面试精华之HDFS部分
- 怎么从服务器上文件拷贝下来
- oracle数据库添加序列
- 产品基础能力研习:CRM系统
- 【软考系统架构设计师】第八章 Web架构(知识点必知必会)
- Python concurrent.future 使用教程及源码初剖
- java %3cbr%3e字符替换,Java 網絡編程之 (完全總結)
- 痞子衡嵌入式:串口调试工具Jays-PyCOM诞生记 - 索引
- linux 段错误分析
- 前端(react)上传到阿里云OSS存储 实例
- Office技巧:发布日志到MSN空间