排序方式： 共有17条查询结果，搜索用时 93 毫秒
11.
面对海量的海表面温度数据,如何使用大数据处理平台和新的处理技术来实时处理、分析并预测海表面温度数据,是一个亟待解决的问题。本文基于现阶段的时间序列方法和专家意见,首先,将类比合成方法引入到海表面温度预测应用中;其次,基于Spark平台提出了一种改进的快速DTW算法SparkDTW;最后,为了充分利用通过时间序列挖掘得到的信息,将SparkDTW与SVM相结合,提出了SparkDTW+SVM混合模型,为海表面温度预测的应用研究提供了较好的理论基础和技术支持。实验结果表明,SparkDTW算法预测精度优于SVM,提高了海表面温度预测效率,验证了将类比合成方法应用在海表面温度预测的可行性;SparkDTW+SVM在精度方面要优于SparkDTW和SVM,表明SVM模型能充分利用时间序列挖掘的信息,验证了SparkDTW+SVM在海表面温度预测的有效性。 相似文献
12.
13.
目前针对强震临震前震动信号的拾取和分析基本都是在有限的频带内开展,且分析的数据量时空范围有限。本文提出一种基于大数据的地震背景噪声计算和分析方法,对海量地震观测数据进行分布式噪声功率谱计算,数据采用2013年3—4月的四川地震台网记录的连续波形数据。通过对2013年四川芦山7.0级地震前四川地震台网记录的50Hz～200s范围内的多个频点时序变化进行分析,发现芦山地震距震中50km范围内的MDS台和BAX台在震前水平方向30～150s周期上噪声出现增强10～20dB且持续3～5天的情况,垂直向未发现明显变化,同时超出50km范围内的台站也未有明显变化。这种长周期异常变化很难通过传统的地震动信号拾取来发现,表明本文提出的强震临震异常分析方法可以用于发现和分析震前的长周期异常信号。 相似文献
14.
海量监测数据下分布式BP神经网络区域滑坡空间预测方法 总被引：1，自引：0，他引：1
提出BP神经网络的分布式区域滑坡预测方法,算法设计在大数据分布式处理平台Spark下实现,通过构造包含均方误差和L2正则化的代价函数,提高运算实时性和算法泛化能力。统计影响滑坡评价因子的量化指标和定义监测剖面危险级别评价值,并进行评价因子特征选取,用于三峡库区忠县区域9个滑坡11年月监测海量数据挖掘,对研究区所有滑坡监测剖面每月进行危险级别评价,实现以月为周期的区域滑坡危险程度空间预测。试验表明,采用所述方法得到的拟合精度、准确度、效率均比梯度提升决策树、随机森林算法好,预测的滑坡危险级别准确,该方法可作为区域滑坡空间预测的一种新思路。 相似文献
15.
作为二阶点模式分析方法,Ripley's K函数（简称K函数）以距离为自变量探测不同尺度下点事件的分布模式及演变规律,在生态学、经济学、地理学等诸多领域得到广泛应用。然而,随着点规模的增加,估计与模拟阶段点对距离遍历计算时间开销激增,严重制约了K函数的应用,算法流程优化与并行加速成为应对海量点数据下K函数性能瓶颈及可计算性问题的关键技术手段。针对默认数据分区未考虑点事件空间邻近性导致跨节点通讯成本高昂且K函数距离阈值较大时索引优化失效的现象,本文提出一种基于空间填充曲线的K函数优化加速方法。该方法采用Hilbert曲线构建空间分区,在顾及数据空间邻近性的前提下减少分区间数据倾斜和通讯开销;在分区基础上,利用Geohash编码改进各分区内本地空间索引策略加速点对距离计算。本文以湖北省工商企业注册数据为例,通过对比实验分析了默认分区无索引、KDB分区组合R树索引、本文Hilbert分区组合Geohash索引算法在不同数据规模、距离阈值、集群规模下的计算耗时。结果表明,300 000点数据规模下本文方法的时间开销约为默认分区无索引方法的1/4,9台节点下加速比超过3.6倍。因此,该方法能有效提升分布式环境下K函数计算性能并具有良好的可伸缩性,可为其他点模式分析方法的优化提供参考。 相似文献
16.
17.