海量数据处理(如何处理PB级海量数据？)

天文学的核心在于数据。随着我们对宇宙认识的加深，我们掌握的信息越来越多。下一代天文学研究的核心挑战是如何充分研究我们收集到的数据。

为了应对这些挑战，天文学家开始转向机器学习和人工智能(AI)，希望建立新的工具，快速寻求新的突破。人工智能技术也在以下四个方面帮助天文学家。

发现这个星球

发现行星的方法有很多，但成功率最高的可靠方法是对凌日现象的研究。所谓凌日，就是当一颗系外行星从其轨道运行的恒星面前经过时，必然会遮挡我们可以观测到的光线。

通过观察系外行星的不同轨道，天文学家构建了凌日图像，并使用它们来识别目标行星的实际特征，如其质量、大小和与恒星的距离。美国宇航局的开普勒望远镜空利用这项技术取得了巨大成功，它可以同时观测数千颗恒星，并密切关注各自行星产生的凌日现象。

当行星移动到环绕恒星的前方时，我们会看到光线减弱，这就是所谓的凌日现象。

天文学家可以准确观测凌日现象，但相关技能需要一段时间的培养。随着人们越来越致力于寻找新的系外行星，仅靠人力很难跟上NASA凌日系外行星调查卫星的捕捉速度。在这方面，AI技术正好有机会大显身手。

将时间序列分析技术——将数据作为时间序列进行分析——与AI技术相结合，可以成功识别系外行星信号，准确率高达96%。

引力波

时间序列模型不仅适用于寻找系外行星，还能有效追踪宇宙中最具破坏性的灾难性信号——黑洞或中子星的坍缩。

当这些密度极高的天体坍缩时，会在小时空产生巨大的引力涟漪，人类可以通过测量地球上出现的微弱信号来探测这些涟漪。引力波探测器合作公司Ligo和Virgo在机器学习的帮助下成功识别了数十起此类事件。

在黑洞塌缩模拟数据训练的模型的帮助下，Ligo和Virgo团队能够在事件发生的那一刻发现事件，并向世界各地的天文学家发出通知，指导他们及时将望远镜指向正确的方向。

多变的天空

智利目前正在建设的维拉鲁宾天文台一旦正式启动，将能够每晚进行全夜空测量，一次性收集超过80 TB的图像数据，从而全面观测宇宙中的恒星和星系如何随时间变化。顺便说一下，1 TB代表80亿比特。

根据运行计划，未来的维拉鲁宾天文台将收集和处理数百Pb的数据。作为参考，脸书上所有图像存储的总空空间约为100 PB，换算成全高清视频长度约为700年。

显然，如此庞大的数据量，可能无法登录服务器进行下载；即使下载完成，内容搜索也无法快速完成。

机器学习技术将帮助我们搜索数据内容，并突出显示其中的重要信息。例如，该算法可能会在图像中搜索罕见的事件，如超新星爆炸(即恒星生命周期结束时的剧烈爆炸)，或者发现新的类星体。通过训练计算机识别特定天文现象的相应信号，该团队希望更有效地将正确的数据传递给正确的研究人员。

引力透镜

随着我们收集越来越多的宇宙数据，研究人员有时会被迫整理和丢弃一些无用的数据。那么，我们如何识别哪些数据是有价值的，哪些信息可以直接退掉呢？

目前，许多天文学家高度关注一个重要的天体现象——强引力透镜。具体来说，当两个星系沿着我们的视频排列时，离我们较近的星系的引力将充当引力透镜，放大较远的星系的活动——产生包括环、十字架和幽灵在内的图像。

但是，找到这些图像就像大海捞针一样——在这个可预测的宇宙海洋中寻找珍贵的时刻。我们收集的星系图像越多，搜索就越困难。

2018年，来自世界各地的天文学家参加了一场强引力透镜挑战赛，各方激烈竞争，看谁能设计出最好的算法来自动寻找这种透镜。

这项挑战的获胜者采用了一种称为卷积神经网络的模型，它将学习使用不同的过滤器来分割图像内容，直到将其准确分类为是否包含镜头效果。令人惊讶的是，这些模型甚至比人类的表现还要好，神经网络确实可以发现一些人类很难注意到的图像细节和细微差异。

在接下来的十年里，天文学家将利用薇拉·鲁宾天文台这样的新仪器收集数十亿字节的数据，也就是数千万亿字节的数据。随着我们对宇宙的不断探索，机器学习技术将成为天文学家研究工作不可或缺的支撑。

目前上述的内容应该能够为大家解答出大家对于海量数据处理（PB级海量数据怎么处理）的疑惑了，所以如果大家还想要了解更多的知识内容，也可以关注本站其他文章进行了解哦。

版权说明：本文由用户上传，如有侵权请联系删除！

标签：