共查询到17条相似文献，搜索用时 93 毫秒
1.
随着天文技术的发展,天文数据处理软件的需求也不断更迭变化,导致软件运行环境渐趋复杂。对于开发者和使用者,急需提出一种对复杂天文数据处理软件敏捷化封装和部署的方法。我国明安图射电频谱日像仪已进入常规观测,与之配套的数据处理软件也已完成开发并投入使用。由于该软件的部署涉及操作系统环境、图形处理器运行环境及底层依赖软件等配置问题,导致安装过程既繁琐又容易出错。结合容器技术的特点,提出了一种基于Docker容器对日像仪软件系统进行敏捷封装与部署的方法,并对该方法的设计进行介绍,通过实验验证了其可用性,以及相比于传统虚拟机可获得较优异的性能表现。该方法可为未来天文数据处理软件的封装部署提供参考。可以预见,未来容器技术将成为天文海量数据处理的基础支撑技术。 相似文献
2.
《天文研究与技术》2020,(2)
随着容器技术的快速发展,越来越多地应用于天文软件应用程序,如何理解容器技术,将容器技术运用到天文软件开发测试工作中,成为每一个相关从业人员应该思考和快速掌握的核心问题。通过对容器技术在天文数据档案库系统测试中的应用,实现对科学数据产品长期存档与数据产品查询检索,支持各级数据产品、工程数据、标定数据、辅助数据的管理,测试科学数据产品存储、检索、提取、维护、分析、控制功能,在传统软件环境部署及测试中,天文软件环境复杂且运行时依赖较多第三方库支持,测试中耗费大量时间定位软件缺陷重现测试环境。介绍容器技术在天文数据档案库系统测试应用中的优势和重要性,实现测试环境标准化、测试数据隔离性、测试功能扩展性,提高测试工作的效率。同时也为容器技术在其它天文软件测试与应用提供借鉴参考。 相似文献
3.
随着天文观测技术的飞速发展,天文数据处理软件日趋复杂,天文数据处理环境的部署与管理日渐繁琐。利用容器技术将脉冲星数据处理环境封装成容器镜像并建立私有镜像库,科研人员可以根据数据处理需求选择镜像,实现数据处理环境的快速部署。利用实体计算机、虚拟机和容器中对脉冲星基带数据进行相干消色散处理,对比不同平台的资源利用率与数据处理效率。实验结果表明,容器的性能与实体计算机相近;在多任务并发的数据处理测试中,容器的资源分配更加合理,相较虚拟机可以提高计算资源利用效率。在新疆天文台脉冲星数据处理服务器上实现了基于容器的数据处理架构部署,设计并开发了容器管理图形用户界面,通过优化多用户登录、身份验证、数据卷挂载管理等功能,提高利用容器技术进行天文数据处理的效率。 相似文献
4.
天文软件开发与应用中迫切需要在单机环境下进行高性能的科学数据处理,由于机器配置不同,采用传统的CUDA+GPU技术存在明显的局限,不利于天文软件的快速移植和无缝运行。针对明安图射电频谱日像仪数据处理中的网格化(Gridding)算法,采用并行计算OpenCL技术进行多线程编程实现。实验结果表明,基于OpenCL实现的网格化算法不仅能够在图形处理器上运行,而且能够在纯中央处理器上运行。当选择在图形处理器上执行时,算法的执行效率与基于CUDA实现的网格化算法执行效率大致相当,但算法不局限于NVIDIA GPU,解决了算法对CUDA+GPU的依赖;同时算法也能在纯中央处理器上较快速地执行,适用于单机模式下进行天文软件的开发和测试,也便于天文软件的应用与推广。 相似文献
5.
《天文研究与技术》2020,(3)
平方千米阵列(Square Kilometre Array, SKA)科学数据处理产生的数据超出了所有已存在的分布式处理系统的处理能力,如何实现一个分布式执行框架是当前科学数据处理的一个重要研究内容。Spark是一个非常成熟的商业框架,在互联网中被广泛应用,根据平方千米阵列项目进展的要求,重点研究了如何将算法参考库(Algorithm Reference Library, ARL)中的部分管线移植到Spark上执行。对部分实现过程进行了分析讨论,给出了相应的任务流程。最终结果表明,移植后代码生成结果符合预期,Spark能够满足部分分布式数据的要求,但迫切需要解决自身存在的一系列问题。 相似文献
6.
7.
《天文研究与技术》2021,(4)
针对超宽带及多波束接收系统海量天文信号实时高效传输与处理问题,对基于现场可编程门阵列(Field Programmable Gate Array, FPGA)+图形处理器(Graphics Processing Unit, GPU)的主流终端设备软件系统进行了测试分析。超宽带接收设备要求终端系统软件能够在更宽带宽、更高时间分辨率和频率分辨率的条件下,实现数据流实时传输与处理。结合大口径射电观测设备未来发展的方向,提出了利用高速并行环形缓冲区实现数据流缓存,基于图形处理器集群实现数据流实时处理,基于BeeGFS实现分布式并行数据存储,模块化构建射电天文信号传输管道软件的设计思路。 相似文献
8.
随着新一代天文观测技术的快速发展,观测设备所获得的科学数据迅猛增长,传统的外挂式存储设备已经难以满足海量观测数据的近实时存储和同步数据处理的需求。基于廉价硬件的分布式存储系统是解决当前天文观测数据存储的有效手段。由于廉价硬件节点发生故障的概率相对较高,为了确保科学观测和数据的可靠存储,提出了一种基于Paxos的改进的分布式软件多副本复制算法。实验表明,在针对大于1 MB的天文FITS图像文件存储过程中,算法虽然增加少量的存储延迟,但能够容忍多种软硬件异常下多个副本的强一致性,较好地解决当前海量天文数据存储中的多副本数据存储的一致性问题。 相似文献
9.
《天文研究与技术》2016,(2)
随着射电干涉技术的不断提升,干涉阵列规模越来越大,观测能力逐渐增强,但随之而来的是超大数据的实时处理问题。针对该问题,结合射电干涉仪相关器在数据运算和传输等方面的需求以及射电干涉阵列信号的特征,研制了一套基于图形处理器集群的通用相关器并用于"天籁计划"的数据处理:首先根据射电信号的关联计算特性,按频段将计算任务分配到不同图形处理器节点,并合理均衡各节点网络负载;然后由不同图形处理器节点独立完成各自的计算任务并将计算结果实时送往存储节点;最后按图形处理器集群通用相关器的设计方案成功安装部署系统并根据"天籁计划"一期的需求进行了性能测试。该图形处理器集群相关器计算性能约为理论峰值性能的46%;相对于传统方案的相关器,基于图形处理器集群的相关器具有开发周期短、可扩展性强、部署简单等优势。 相似文献
10.
《天文研究与技术》2017,(4)
天文瞬变源后随观测对于瞬变源证认具有重要的意义。瞬变源发生的偶然性和光变的快速性要求后随观测系统具有快速自动响应的能力。介绍了基于Python开发的天文瞬变源快速自动响应观测系统的研究和实现,核心是基于Django架构实现数据库交互与模块调度功能。系统有基于VOEvent的警报消息传递、网络端状态监控与交互平台、数据自动处理和结果自动反馈以及望远镜控制接口等主要功能。通过在北京的中法天文卫星科学中心和兴隆观测基地之间的消息数据传递和实际触发观测测试表明,系统能满足中法天文卫星项目地基观测系统瞬变源后随自动响应观测的基本要求,同时系统还具有良好的可移植性,适用于其他类似的自动响应观测系统。 相似文献
11.
平方千米阵列(Square Kilometre Array, SKA)望远镜建成后将具有超高的灵敏度、超快的巡天速度以及宽视场,进而产生超海量的观测数据。SKA天文台与各国区域数据中心间的海量数据同步传输是当前SKA建设中的一个难点。SKA先导项目使用的下一代归档存储系统(Next Generation Archive System, NGAS)在应用测试中存在效率低下,性能不足等问题。提出了一种基于ZeroMQ的数据存储与同步方法,通过采用更加高效的异步消息机制实现同步传输数据,回避了NGAS原有的采用HTTP协议的局限。实验结果表明,新方法在平均数据归档存储效率方面比原有方法快了近40倍,能够基本满足10 GB带宽的全速传输需要,取得了较好的使用效果。 相似文献
12.
观测控制系统是当前的一个研究热点,底层通信是观测控制系统架构的一个重要环节。但传统的观测控制系统一般采用裸套接技术实现,缺少统一的传输控制机制,在密集数据通信时经常存在延迟,影响实时控制的需要;同时缺少广播与组播机制,限制了观测控制系统的设计。针对观测控制系统的要求,研究了基于ZeroMQ不同通信模型及对应的天文控制模式,分析了不同的通信控制架构的可用性,在此基础上通过实验对相应的通信模型进行测试,验证其在天文仪器分布控制中的可用性。测试结果进一步说明,ZeroMQ构建观测控制系统的底层通信架构是可行的,能够满足观测控制系统对设备的各种控制需求。 相似文献
13.
射电干涉阵列宽视场成像网格化处理过程中必须考虑w项的影响。w-projection和w-stacking是两种重要的宽视场成像网格化处理算法,w-plane参数是算法中影响计算速度和成图质量的一个重要因素。研究了w-projection和w-stacking两种网格化算法,利用SKA-1低频阵台站数据和ASKAP软件包进行模拟观测,对两种算法在不同w-plane参数取值情况下的成图速度和成图质量进行了定量分析对比。结果进一步表明,w-plane是性能改善的重要参数。针对w-projection算法,w-plane取值应比一般给定的经验值大才能得到较好的成像效果。w-stacking算法虽然有很大的速度优势,但算法实现中w-plane的影响更为显著,给出了推荐的w-plane取值。本文的工作是大视场成像算法的基础性研究工作,对未来平方千米阵列科学数据处理中的管线设计有较好的参考价值。 相似文献
14.
射电天文已成为人类研究宇宙的重要途径。但随着人类生产、生活的发展,射频干扰信号对射电天文观测的影响越来越严重,观测数据的好坏关系到科学成果的质量甚至结论的真伪。目前广泛采用基于阈值判断射频干扰,对干扰信号直接舍弃部分观测数据的方法。此类方法存在阈值确定困难、观测带宽和时间被缩减等问题。针对脉冲星观测射电信号中,各干扰信号及射电信号统计独立以及呈现出的非高斯性,利用独立成分分析对混合信号进行分解,并根据观测信号中脉冲星信号和干扰信号的分布特点识别脉冲星信号,实现干扰信号消除。使用该方法对云南天文台40 m射电望远镜接收到的脉冲星观测信号进行独立成分分析,分解出独立的射频干扰信号和脉冲星信号,消除射频干扰信号。独立成分分析法在干扰信号消除、射电信号保留及信噪比方面均取得良好效果。 相似文献
15.
基于VHF频段射电天文干涉阵列的天线,研究地网以及不同环境对天线辐射特性包括增益、方向图、谐振点等参数的影响。结果表明,无地网条件下,天线在干燥土壤和沙地的增益分别是3.06 dB和1.44 dB,且存在明显的旁瓣和后瓣;天线在潮湿土壤和沙地的增益分别是4.33 dB和4.25 dB。增加地网后,天线在干燥土壤和沙地的增益分别是4.87 dB和4.97 dB,潮湿土壤和沙地分别是4.39 dB和4.40 dB,方向图不存在明显的后瓣和旁瓣,谐振点稳定在27.0 MHz和69.5 MHz处,且在此之间的频段上,驻波比均满足银河噪声限制条件。由此可以得出结论:在干燥土壤和沙地上铺设地网时,VHF天线性能最好,噪声最低,这对大规模的VHF天线阵列的基础构建环境选择至关重要。 相似文献
16.
采用经验模式分解技术研究了从第12到第24太阳活动周黑子面积数据中的Rieger-type周期,以及它们在南北半球上的相位关系。研究发现:(1)Rieger-type周期尺度以及时间尺度在两个半球上是不一样的,从而导致了半球分布的不对称性;(2)平均Rieger-type周期在北半球上的周期长度略大于南半球上的;(3)占主导地位半球的Rieger-type周期的相位不一定是超前的,半球Rieger-type周期尺度相近的也并不一定是相关性强的。 相似文献