一致性哈希算法在数据库集群上的拓展应用   总被引：2，自引：0，他引：2  

赵飞  苏忠 《成都信息工程学院学报》2015,30(1):52-58

在数据库集群的研究中,可扩展性是一个重要的性能指标。为实现在数据高速增长或部分集群服务器故障情况下,数据依然能够快速、可靠、安全的分布到新的集群服务器节点上的目的,就必须合理设置数据划分的策略。将Key-Value存储技术中使用的一致性哈希算法思想借鉴运用到并行分析型数据库集群中,提出针对大规模结构化类特殊数据的一致性哈希划分方法,并在MapReduce框架下设计具体的数据划分方案。最后,以TPC-DS作为测试基准,与同类系统进行性能对比测试,实验结果表明方案不仅有良好的划分性能,且扩展性也较好。  相似文献   

一致性哈希算法在数据库集群上的拓展应用     

赵飞  苏忠 《成都信息工程学院学报》2015,30(2)

在数据库集群的研究中,可扩展性是一个重要的性能指标.为实现在数据高速增长或部分集群服务器故障情况下,数据依然能够快速、可靠、安全的分布到新的集群服务器节点上的目的,就必须合理设置数据划分的策略.将Key-Value存储技术中使用的一致性哈希算法思想借鉴运用到并行分析型数据库集群中,提出针对大规模结构化类特殊数据的一致性哈希划分方法,并在MapReduce框架下设计具体的数据划分方案.最后,以TPC-DS作为测试基准,与同类系统进行性能对比测试,实验结果表明方案不仅有良好的划分性能,且扩展性也较好.  相似文献   

利用MPI实现多幅点云ICP并行配准     

崔家武  周波阳  张兴福  柴向浩  樊树春 《测绘通报》2021,(3):87-90

迭代最近点算法（ICP）是一种用于点云精确配准的经典算法。针对多幅点云进行ICP配准存在耗时多、效率低的问题,本文利用消息传递接口MPI对多幅点云进行分批并行配准。首先并行求解相邻两幅点云的相邻变换矩阵,然后计算每幅点云在当前批次的局部变换矩阵,最后获得每幅点云的全局变换矩阵。本文以DELL PowerEdge R730服务器为计算平台,对空间点总规模达四千多万的65幅点云进行了分批并行配准。试验结果表明：利用MPI对多幅点云进行分批处理可显著加快配准速度,最优进程数为计算机的核数时,加速比为5.3。  相似文献   

基于Web的地下管网溯源分析算法研究     

董万虎 《地理空间信息》2021,19(4):71-72,77

利用.NetCore的并行运算机制,实现基于Web的高性能地下管网的溯源分析功能。实践证明当某点管网数据监测出现异常时,能够快速分析所有可能流经该点源头管网信息,并在地图上动态展示分析结果,达到快速定位查询管网源头的区域管理目的。  相似文献   

基于GIS的土地储备业务管理系统的研究与实现     

曹铁朋 《测绘与空间地理信息》2021,44(4):84-87

土地是支撑城市社会经济发展和基础设施建设的空间基础,作为自然物的土地具有价值属性。土地储备涉及市土地开发中心前期部、征地部、出让部、工程部、合同部、计财部等内部职能部门,涉及测绘、规划、房管、农业、城市更新、发改、人民政府等外部单位,交互业务较多,因此土地的规划、审批、征收、出让、工程等流程复杂、管理困难。本文介绍了土地储备业务管理系统的实现思路,系统实现建立业务审批体系。规范资金使用和管理,达到海量数据高效处理、图属档一体化、实时信息在线共享、流程优化协同办理、短信督办提醒的目标,满足对土地储备情况的宏观监管和微观审批,形成完善的土地储备业务管理体系。  相似文献   

结合MapReduce和HBase的遥感图像并行分布式查询     

刘小利  徐攀登  朱国宾  李雪 《地理与地理信息科学》2014,30(5)

提出了一种可扩展的遥感图像多维度并行查询模式,即利用MapReduce实现海量图像数据金字塔的并行构建,利用HBase实现图像的分布式检索,设计和实现了单张遥感图像金字塔的并行构建方法和图像索引系统。实验结果表明,随着Hadoop和HBase集群的增长,图像数据的导入和检索速度得到明显提升。  相似文献   

基于三维荧光光谱-平行因子技术联用的浮游藻化学分类学技术研究     

陈小娜  苏荣国  白莹  石晓勇  杨茹君 《海洋学报(英文版)》2014,33(12):192-205

An in vivo three-dimensional fluorescence method for the determination of algae community structure was developed by parallel factor analysis(PARAFAC) and CHEMTAX. The PARAFAC model was applied to fluorescence excitation-emission matrix(EEM) of 60 algae species belonging to five divisions and 11 fluorescent components were identified according to the residual sum of squares and specificity of the composition profiles of fluorescent. By the 11 fluorescent components, the algae species at different growth stages were classified correctly at the division level using Bayesian discriminant analysis(BDA). Then the reference fluorescent component ratio matrix was constructed for CHEMTAX, and the EEM–PARAFAC–CHEMTAX method was developed to differentiate algae taxonomic groups. The correct discrimination ratios(CDRs) when the fluorometric method was used for single-species samples were 100% at the division level, except for Bacillariophyta with a CDR of 95.6%. The CDRs for the mixtures were above 94.0% for the dominant algae species and above 87.0% for the subdominant algae species. However, the CDRs of the subdominant algae species were too low to be unreliable when the relative abundance estimated was less than 15.0%. The fluorometric method was tested using the samples from the Jiaozhou Bay and the mesocosm experiments in the Xiaomai Island Bay in August 2007. The discrimination results of the dominant algae groups agreed with microscopy cell counts, as well as the subdominant algae groups of which the estimated relative abundance was above 15.0%. This technique would be of great aid when low-cost and rapid analysis is needed for samples in a large batch. The fluorometric technique has the ability to correctly identify dominant species with proper abundance both in vivo and in situ.  相似文献   

天宫一号高光谱数据辐射校正的CUDA并行优化     

赵海娜  吴远峰  张兵 《遥感学报》2014,18(Z1):49-55

高光谱图像经过辐射校正后,消除了探测元的响应差异,能更好地满足专题信息提取的数据要求.利用探测元的列均值、列标准差等统计信息对天宫一号高光谱短波红外数据进行辐射校正检验,并基于GPU CUDA计算模型对均值归一化、矩匹配、相邻列均衡等3种相对辐射校正算法进行了并行计算优化.通过辐射校正计算流程拆分,CPU控制流程逻辑,GPU执行数据级并行计算,并建立CUDA的计算单元与数据单元的映射关系,获得5—7倍的计算加速比,这些辐射校正算法依据图像自身统计信息,且易于进行并行计算优化,满足实时校正的处理时效要求,为未来高光谱数据在轨实时辐射校正提供了新思路.  相似文献   

时空遥感云计算平台PIE-Engine Studio的研究与应用   总被引：1，自引：0，他引：1  

程伟  钱晓明  李世卫  马海波  刘东升  刘富乾  梁军龙  胡举 《遥感学报》2022,26(2):335-347

随着遥感大数据时代的到来,为快速处理和分析海量遥感数据,国内外涌现了众多遥感云计算平台,使得全球尺度、长时间序列遥感数据的快速分析和应用成为可能。本文在分析国内外遥感云计算平台现状的基础上,针对大数据时代国内缺少功能完备的遥感云计算平台,且国外遥感云计算平台对国产卫星数据支持不足等问题,基于容器云技术,构建了包含国产卫星数据且集数据、算力和技术于一体的时空遥感云计算平台PIE（Pixel Information Expert）-Engine Studio,实现了脚本驱动的遥感数据的按需获取以及海量数据的快速处理。采用Landsat 8数据,以生长季植被指数NDVI（Normalized Difference Vegetation Index）的计算为例,对比了本平台与GEE（Google Earth Engine）的数据处理能力。结果表明,由于计算资源的限制,本平台的计算和导出时间均比GEE稍长,但计算结果的空间分布一致,其中近68%的值均分布在（0.48,0.77）,且二者差值的95.33%集中在（-0.13,0.13）,结果较为可信。因此,本文构建的基于共享、开放的中国自主遥感云计算平台PIE-Engine Studio,可为地球科学领域的研究提供数据和算力支持,将有助于推进中国遥感云计算平台的发展进程,推动国产卫星数据在云计算平台上的应用。  相似文献   

沉积岩平行层面与垂直层面方向热导率与孔隙连通性之间的关系     

龚建洛  张金功  惠涛  黄传卿  张林晔  孙志刚  陈晓军 《吉林大学学报(地球科学版)》2014,(6):1789-1797

根据对渤海湾盆地沾化凹陷泥质岩、粉砂岩、砂岩和白云岩平行层面与垂直层面方向热导率差异及孔隙连通性差异特征的研究,探讨了沉积岩平行层面与垂直层面方向热导率与孔隙连通性之间的关系。热导率实验结果表明:沾化凹陷泥质岩、粉砂岩和砂岩的平行层面方向热导率大于垂直层面方向热导率;白云岩的平行层面方向热导率小于垂直层面方向热导率。沉积岩平行层面与垂直层面方向热导率差异和孔隙连通性差异之间具有正相关性。孔隙特征分析结果表明:孔隙连通性较好方向,热导率也较高;孔隙连通性较差的的方向,热导率也较低。  相似文献