地理国情大数据基本统计的多进程并行计算     

董春  袁卫平  亢晓琛  张玉  乔庆华 《测绘科学》2014,(5):13-17

地理国情监测数据具有精度高、数据量大等特性,随着新型硬件构架(单机多核、集群等)计算机资源能力的不断升级,传统的数据处理技术和串行计算技术难以满足高精细化地理国情大数据处理的需求。对此,本文提出了一种基于TPL和管道技术的多进程并行计算方法。通过实例验证,在同一台计算机上该方法比串行方法的计算效率提高了12倍;并且在此基础上,实现了计算节点的负载均衡及可扩展,满足了多核应用,有效地提高了地理国情监测大数据处理的实际效率。  相似文献