共查询到18条相似文献，搜索用时 343 毫秒
1.
针对海量专题机构数据空间信息和属性信息缺失的问题,该文使用专题机构信息网站作为信息源,以深度优先策略网络爬虫作为信息获取方法,提出了一种基于网络爬虫框架的专题机构数据空间信息采集方法。在网络爬虫方法关键功能模块中,设计了一种基于词元的字符串相似度矩阵算法来提高机构检索列表匹配准确度,并提出了一种基于决策树模式的行政区划信息识别和抽取算法用以实现地址字符串中行政区划的准确识别和提取。通过具体实现和实验测试,证明该方法能有效地实现专题机构数据空间信息和属性信息的采集,并具有较高的时间效率和准确率,可作为机构数据空间信息采集的一种有效方法。 相似文献
2.
3.
随着Web2.0时代发展的成熟,在以微博为代表的新社交网络平台上产生了大量含有空间位置信息和时间标识的数据,即位置数据(location data)。位置数据是大数据的一个重要组成部分,现已作为一种战略性资源被广泛应用于社会生活的多个领域,而位置数据的获取是位置数据挖掘和应用的基础。深刻分析了基于API、基于网络爬虫和基于网络数据流3种目前常用的微博数据获取方法的特点,在此基础上提出了一种基于多策略的微博位置数据获取方法,详细阐述了该方法的基本原理、基本流程和主要特点。最后通过获取新浪微博的位置数据进行实验验证,结果证实,该方法可以实现全面、高效地获取微博位置数据。 相似文献
4.
设计开发了一款基于LBS的同城活动APP,它利用Python网络爬虫在网上获取各类活动资讯,使用百度地图SDK提供LBS服务,根据用户的地理位置将周边活动信息在手机上呈现。该移动APP支持用户进行活动详情浏览,活动收藏、发布、评论反馈等,同时提供用户位置与活动地点间距离计算和导航服务等,建立了一个集线上聊天交流、线下相约参与活动等多功能为一体的社交平台。该移动APP采用MySQL数据库存储管理数据,使用Django作为后台服务端框架,利用MaterialDesign+MVP+Xutils3+Picasso进行Android前端的开发。该移动APP能够方便用户发现自身兴趣所在,参与活动、结交朋友和拓展社会关系。 相似文献
5.
6.
7.
8.
随着互联网的快速发展,兴趣点(POI)数据遍布网络,人们可以找到自己感兴趣的餐馆、电影院、商店等,同时产生了大量利用互联网POI数据进行增值服务开发的业务.然而,面对互联网海量的POI数据,很难通过传统手工下载并整理数据,使得很多针对POI数据开发的业务受阻.鉴于此,以Python为编程语言,以百度地图为平台,构建了互联网POI数据爬取方法框架;并以南昌餐馆POI数据爬取为例进行了实验.结果表明,爬取的POI数据真实有效且效率远高于传统手工调查方法,为POI数据获取提供了良好的方法思路. 相似文献
9.
姜代炜 《测绘与空间地理信息》2019,42(11)
互联网环境下的地理信息服务聚合是当前的研究热点之一。本文研究了网络爬虫、数据挖掘、行业信息空间定位以及服务聚合技术,智能解析了多个行业的数据资源,并将空间化后的行业地理信息数据进行了注册与发布,实现了行业数据与基础地理信息数据的服务聚合。最后,开发原型信息系统,验证了该方法的可行性与有效性。 相似文献
10.
自适应动态演化粒子群算法在Web主题信息搜索中的应用 总被引：1，自引：0，他引：1
童亚拉 《武汉大学学报(信息科学版)》2008,33(12):1296-1299
针对传统的基于单一价值评价的网络爬虫搜索策略存在的不足,提出了一种基于自适应动态演化粒子群(adaptive dynamical evolutional particle swarm optimization,ADEPSO)的启发式网络爬虫搜索算法。本算法综合立即价值和未来价值两种链接评价方法,并依据链接价值所反映的Web实际搜索情况动态调整两种价值的关系,使网络爬虫能更准确地预测页面的重要性。实验表明,该算法具有较高的搜索效率。 相似文献
11.
Christopher Bone Alan Ager Ken Bunzel Lauren Tierney 《International Journal of Digital Earth》2016,9(1):47-62
The volume of publically available geospatial data on the web is rapidly increasing due to advances in server-based technologies and the ease at which data can now be created. However, challenges remain with connecting individuals searching for geospatial data with servers and websites where such data exist. The objective of this paper is to present a publically available Geospatial Search Engine (GSE) that utilizes a web crawler built on top of the Google search engine in order to search the web for geospatial data. The crawler seeding mechanism combines search terms entered by users with predefined keywords that identify geospatial data services. A procedure runs daily to update map server layers and metadata, and to eliminate servers that go offline. The GSE supports Web Map Services, ArcGIS services, and websites that have geospatial data for download. We applied the GSE to search for all available geospatial services under these formats and provide search results including the spatial distribution of all obtained services. While enhancements to our GSE and to web crawler technology in general lie ahead, our work represents an important step toward realizing the potential of a publically accessible tool for discovering the global availability of geospatial data. 相似文献
12.
ArcGIS Server可以构建Web应用、Web服务,ArcGIS Server的出现为网络地图服务提供了一个全新的途径。以ArcGIS Server10.0为平台研究网络地图服务系统的设计与实现,基于B/S三层混合模式,采用ArcGIS REST API和ArcGIS API For Flex,将ArcSDE作为空间数据引擎,SQLServer作为数据库进行空间数据管理,设计和实现一个具有基本地图操作功能、地图定位、查询、空间分析的地图网络发布系统,为地图的网络服务奠定基础。 相似文献
13.
14.
网络地图缓存技术研究与应用进展 总被引：1，自引：0，他引：1
随着网络地图服务应用的延伸及并发访问数不断增加,网络地图服务平台的性能需求越来越高。地图缓存技术有效地减轻了服务器计算负载和网络传输负担,极大地改进了客户端和服务器端的交互效率,提升了网络地图服务应用水平,改善了客户端用户体验,是网络地图服务领域的研究热点之一。但其仍存在地图缓存制作时间长、占用空间大以及瓦片数据更新困难等技术难点。本文通过对目前主流的研究成果进行整理与归纳,重点分析了地图缓存技术各个环节的研究内容和现状以及分布式环境下的地图缓存技术研究进展,挖掘出了地图缓存技术在静态缓存瓦片数据更新、静动相结合的缓存策略切换、按需切图响应效率优化、文件系统与数据库组织模型同步、混合模式存储设计、大范围瓦片数据更新以及分布式环境下的地图瓦片数据弹性存储等方面可进一步提升的研究内容和技术环节,期望为后续的研究提供参考。 相似文献
15.
随着地理信息技术和计算机及通讯技术的发展,人们对网络地图服务不断提出新的更高的要求,新的网络地图服务由此出现。通过介绍Google、微软以及Yahoo等公司推出的新型网络地图服务,简单分析了未来网络地图服务的盈利模式。 相似文献
16.
随着信息技术的发展,地理信息的产业化、社会化推动了地理信息服务的全球化发展,并使其逐步向wehGIS技术的领域迈进。为了在开发WebGIS系统时,有效地进行网络地图的选择,以公共地图服务系统作为研究对象,建立了包括地图数据准确性、系统界面美观性、系统服务实用性的公共地图服务评价体系,并结合模糊综合评价方法对常用的公共地图服务系统进行评价。该研究可为WebGIS开发人员和系统用户提供参考,为公共地图服务系统评价问题的解决奠定了一定的理论基础,并在一定程度上保证了公共地图服务系统的数据质量和应用成效,推进了WebGls技术的发展和普及。 相似文献
17.
Simon Moncrieff Geoff West James Cosford Narelle Mullan Andrew Jardine 《International Journal of Digital Earth》2014,7(4):294-315
In this paper, we detail the design and the implementation of an open source, server-side web mapping framework for the analysis of health data. The framework forms part of a larger project, the goal of which is to provide an analytical web geographical information system (GIS) that enables health experts to analyse spatial aspects of health data. The aim of the framework is to provide a method for the dynamic and flexible spatial visualisation of health data to facilitate data exploration and analysis. Consequently, a dynamic thematic web mapping technique, an extension to the Open Geospatial Consortium (OGC) web map service standard, was developed. The technique combines a data query, processing technique and styling methodology on the fly to generate a thematic map. The resulting thematic map represents a virtual map layer that enables a user to rapidly visually summarise properties of a data-set. A test web interface was developed to assess the efficacy of the web mapping technique. As the dynamic web mapping method builds on existing OGC web mapping standards, it can be readily integrated with the existing lightweight slippy map web clients and virtual globes. 相似文献
18.
响应时间作为一项非功能性属性,是网络服务性能的重要度量指标。它直接影响了用户的服务体验,并在服务资源选择中扮演重要的角色。响应时间不仅受制于服务自身的软硬件性能,同时还受到用户访问时空分布差异性的影响,具有显著的不确定性,因此如何可靠地预测响应时间是一个难点。选取OGC WMS（web map service）为研究对象,通过全球多地分布式部署的监测系统获取服务响应时间,在分析WMS响应时间与时空因素的关联关系及其变化规律基础上,提出地理加权回归（geographical weighted regression,GWR）与时空自相关移动平均（spatial-temporal auto regressive and moving average,STARMA）相结合的WMS响应时间时空预测模型。该模型综合考虑了用户访问时空分异特征对WMS响应时间的影响,其中GWR部分描述服务响应时间的时空趋势,STARMA部分拟合时空序列局部随机扰动。通过将多个地区监测点不同时刻WMS响应时间的实测数据与模型预测值对比,验证了模型的有效性。实验表明,该模型的预测精度相比经典的平均值法AVG有较大的提升,同时较GWR模型和STARMA模型的精度有一定程度的改善。 相似文献