共查询到20条相似文献，搜索用时 31 毫秒
1.
2.
随着天文观测数据的爆炸式增长以及数据网格技术等新兴IT技术的日趋成熟,虚拟天文台应运而生。虚拟天文台成为基于数据网格技术的解决复杂海量天文数据的访问和管理的一种有效手段。我们对现有中国虚拟天文台体系结构底层进行设计与实现,并完成了其核心部分一天文数据结点。天文数据结点可发布和管理异构的数据资源,为用户提供统一的数据访问接口,进而为天文学家实现对各种天文数据的无缝透明访问和处理提供了方便。本文重点介绍了我们设计的天文数据结点的体系结构,以及结点各部分的功能,并讨论了其关键技术的实现。 相似文献
3.
一种新的多变量时间序列数据异常检测方法 总被引：1，自引：0，他引：1
介绍了一种通过建立多变量时间序列数据相似度矩阵,对相似度矩阵进行转换以最大化数据之间的相关性,并采用随机游走模型计算数据点之间的连接系数来检测数据点上异常的方法。该方法充分利用了数据之间的相关性,有效减少了数据中不同程度噪声对异常检测的影响,检测过程中的漏报率和误报率明显减少,通过仿真实验验证了该方法的有效性。 相似文献
4.
《天文研究与技术》2015,(4)
随着大型地面和空间观测设备的建设以及大型巡天项目的开展,天文数据以TB字节、PB字节,甚至EB字节计量,天文学进入了"大数据"时代。面对数据海洋,如何有效地存储和管理这些大数据是摆在天文学家面前的核心问题。数据存储和管理不仅仅是天文数据中心的任务,天文学家也需要有效地管理自己的科研数据。能够将海量的数据自动地存入数据库中是管理数据的基本前提,而高效的数据索引则是管理数据的核心要素,为此设计开发了天文大数据管理工具Auto DB,使用虚拟终端监视实现海量数据的自动入库,对数据自动创建全新的天空分区索引Q3C(Quad Tree Cube),对天文数据进行二维空间索引以便于高效的管理。天文大数据管理工具的改进和完善对天文学家后续研究中的数据融合、数据分析、数据挖掘提供了根本的保障,尤其对从事大数据的天文学家,拥有自动化的数据库管理工具,可以集中精力致力于科学研究。 相似文献
5.
6.
天文观测数据开放共享政策与策略分析研究 总被引：1，自引：0，他引：1
当代天文学已经进入数据密集型和数据驱动的时代。随着我国天文学研究的不断发展,国内自产的天文观测数据呈现爆炸式增长的趋势。将天文观测数据资源集成并推动数据资源与应用服务的共建共享,建立健全符合科学发展规律的数据资源开放共享政策与制度,使天文科技资源得到高效有序的管理和使用,对国内天文学研究和科普教育的发展至关重要。在充分调研各国政府、部门和国际组织有关政策的基础上,剖析了国外科学数据"完全与公开"的共享原则,介绍了我国科学数据共享有关的管理规定和当前状况,重点论述国际各大天文望远镜项目和天文数据中心天文观测数据资源开放共享的有关政策。对国内天文观测数据资源和开放共享的现状以及存在的问题进行了分析和总结。对我国天文观测数据资源共享工作发展和政策制定提出了具体建议。 相似文献
7.
8.
9.
《中国科学院上海天文台年刊》2014,(0)
硬件相关处理机系统需从数据记录缓存器读取台站数据,经数据预处理后进行下一步的相关处理。为了满足高速实时数据的传输及预处理要求,设计了VLBI数据回放模块,该模块通过千兆网络传输观测站数据,控制数据收发,并针对VLBI数据特点进行数据解码、数据校验、数据异常处理等。测试结果表明,该模块处理速率可达1 Gbit/s,在硬件相关处理机进行单台站数据速率64 Mbit/s的实时数据处理时能稳定正常工作。该模块己应用于嫦娥3号任务的硬件相关处理系统中。 相似文献
10.
11.
12.
《天文研究与技术》2020,(1)
望远镜的观测日志在用户进行数据处理以及台站对观测数据进行存储、归档和发布时都非常重要,观测日志往往能提供很多信息以供用户判断观测数据的质量。在观测过程中,观测日志通过观测助手或用户手工记录,存在信息不全、笔误等多种可能,且纸质的观测日志也不利于后期数据的归档和发布。针对丽江2.4 m望远镜云南暗弱天体成像光谱仪的观测数据,设计研发了一套自动记录观测日志的辅助系统,该系统可以自动记录观测数据的日志信息,并提供修改错误信息的功能;系统中以用户的观测时间申请书编号为唯一代码对数据进行管理,从而实现了根据不同用户进行观测数据打包的功能。在保护观测数据权限的同时,降低了笔误带来的影响,提高了观测日志的准确性,最终提高望远镜的观测效率。 相似文献
13.
14.
中国新一代厘米-分米波射电日像仪(Chinese Spectral Radio Heliograph,CSRH)项目已经完成了硬件建设.为了实现从数字接收机中读取观测数据,并将最新的可用数据状态通知其他子系统如监控系统和实时展现系统等,迫切需要一个稳定可靠的数据接收子系统.针对CSRH-I的特点及要求,在分析数字接收机原始数据格式的基础上,设计并实现了CSRH-I观测数据接收子系统.系统基于Linux环境,采用Boost软件包作为底层开发库,实现了基于TCP协议的网络套接服务器,能够异步接收、过滤数字接收机发送来的数据,经过相应的分析处理后最终以文件方式存储数据,进而采用UDP报文方式通知其它子系统观测数据的更新状态.本系统充分考虑了通信过程中可能的异常情况并采取了相应的对策.测试表明,CSRH-I观测数据接收子系统工作稳定可靠,容错能力强,可以满足CSRH-I的应用需求. 相似文献
15.
明安图射电频谱日像仪每天产生海量观测数据,传统的关系型数据库存储和管理这些数据时,面临着读写延迟高、性能和容量扩展能力有限以及可用性弱等诸多问题。针对这些问题,开展了基于No SQL的海量数据存储与检索应用研究。首先,详细分析了明安图射电频谱日像仪的数据特点、存储需要以及面临的问题;然后,对明安图射电频谱日像仪进行数据建模,给出了明安图射电频谱日像仪的列式非关系型数据模型,同时提出了元数据和数据在No SQL中的同步存储方法,解决了二者的一致性问题,在此基础上实现了基于Cassandra的海量天文数据存储管理系统(MBDMS);最后通过实验验证了系统存储与检索的高效性、扩展性以及可行性。实验结果表明,MBDMS可以很好地满足数据管理的需要,是解决当前数据存储问题的一种有效方案。 相似文献
16.
17.
18.
本文着重指出了在今后处理大面积CCD图象数据过程中,所将面临的数据存贮困难问题.本文提出了一种有效的不丢失天文信息的压缩CCD图象数据的方法,对银纬b=-60°的一个天区的试验表明,压缩后的图象数据仅为原图象数据的1/30左右,并且可以十分方便地进行图象再现及再处理。在压缩数据过程中,我们在剑桥APM底片扫描机参数化施密特照相底片的基础上,重新安排了CCD图象上天体的对应参数,并视天体的大小及形状,有效地提取保存了天体周围矩阵信息. 相似文献
19.
《天文研究与技术》2020,(3)
大天区面积多目标光纤光谱天文望远镜(Large Sky Area Multi-Object Fiber Spectroscopy Telescope, LAMOST,又叫郭守镜望远镜)巡天项目提供了海量恒星光谱数据,DR5数据集中包含大量A型星谱线指数和有效温度的信息。机器学习算法可以发掘数据底层相互关系的神经网络模型,已广泛应用于多个学科。通过使用DR5数据集中的A型星19种谱线指数和有效温度,通过主成分分析法给出了每种谱线指数占整个数据信息的百分比,并以此为基础,选取与有效温度关系最紧密的12种谱线指数,利用有效温度误差小于100 K的数据训练得到有效温度的神经网络回归模型。模型在测试数据集上整体表现较好,程序给出的决定系数R~2为0.904,平均绝对误差为58.38 K。对比相关研究的模型,测量准确度有了明显提升。此外,通过建立模型,对有效温度误差大于100 K的原始数据重新进行测量,得到的有效温度绝对误差的平均值有了明显下降;同时DR5数据集中A5型恒星数据缺少有效温度参数,通过模型的测量,对这一部分数据进行了补充。 相似文献