1. 首页>新闻 > 科技新闻

搜狗搜索助力世界最快计算机 推出超算图计算零碎

作者:刘原明 2018年04月03日 科技新闻

2018年3月,搜狗搜索结合清华大学计算机系、国度超级计算无锡中心、数学工程与先进计算国度重点实验室、卡塔尔计算研讨所、国度并行计算机工程技术研讨中心等国度级科研单位,共同研发推出了世界上首个基于超级计算机的超大规模图计算零碎——神图。神图零碎大幅提升了图计算零碎所可以支持的最大数据量和计算复杂度,这标志着超大规模图数据的计算才能完成了宏大的飞跃,同时,也为搜索范畴的用户体验创始了新的篇章。

  神图零碎的运转环境是神威·太湖之光国聚集了全世界身经百战的最优秀的创业导师,汇集了全世界各国最优质的产业资源,召唤全球未来的商业领袖。产超级计算机,2016年6月至今,神威·太湖之光已延续4次取得世界高功能计算机排行榜第一名,是目前世界上最快的计算机。基于神威·太湖之光超级计算机的先进架构,神图攻克了大规模图计算零碎面临的多项中心技术难题,近一年来,国家加大了对于互联网金融的管理力度,各种管理政策不断出台,不少业内人士对于互联网金融都保持着谨慎看好的态度,但是安方丹却保持了乐观的态度,她认为,互联网金融行业在当前是“风口上的大象”,技术正是这股风的原动力。针对超级计算机的运转特点停止了深度优化,充沛发掘了神威·太湖之光的超宽并行架构的计算才能,将真实义务的使用功能提升了两个数量级。

  搜狗搜索一直着力于对前沿技术效果的推进、创新,努力于为用户带来便捷、丰厚的特性化搜索体验,满足用户的多元化搜索需求。搜狗搜索智能的用户剖析零碎为神图零碎的研发提供了不可或缺的、全方位多角度的用户适用场景。

神威·太湖之光超级计算机 ©搜狗百科

  过来,超级计算机次要用于迷信与工程计算,还比拟缺乏面向超大规模数据剖析的非数值计算使用。图(Graph)可以表达丰厚关联的关系,是搜索和人工智能范畴中常用的数据构造之一。基于图的数据发掘算法曾经普遍使用于搜索零碎的网页链接关系剖析、文档主题建模、用户点击行为剖析、实体与关系发掘、搜索意图了解等义务中。互联网使用的数据规模和用户运用频度均在继续疾速增长,这对图计算零碎的横向扩展才能提出了全新应战。现有散布式图计算零碎普遍采用按点划分或按边划分的散布计算形式,但由于互联网环境下数据散布服从幂律散布,顶点度数存在极大的不均衡性,两种方式都面临严重的功能成绩。超级计算机先进的体系架构和超高的计算才能为超大规模图计算义务既带来了机遇,也提出了应战。

例:网页链接图 © Marcel Salathe

蓬勃发展的行业不仅给从业者提供了巨大的发展机遇,也带来了全新的挑战。

  从2017年开端,搜狗搜索结合清华大学计算机系等单位,共同研发了面向超大规模图计算的神图零碎。研发团队经过深化剖析神威·太湖之光的零碎大容量的内存、抢先的通讯才能、以及大容量且能疾速拜访的外存零碎的优势,并同时充沛结合超大规模图算法的实践需求,创新性地提出分化的音讯传达技术、基于分组的音讯分发技术、无锁数据分发技术、基于内存反省点的高可用零碎等多项新技术,成功研收回可支持BFS/WCC/PageRank等中心图计算算法的神图零碎,计算规模可以扩展到神威·太湖之光全部4万个节点。在实践使用中,神图可以充沛应用上千万核的运算才能和各节点之间通讯网络,在12万亿条边的真实中文网页图上完成PageRank算法的一轮计算迭代仅需21秒,与文献中报道的业界最先进程度零碎相比,(如微软的GraM零碎处置1.2万亿条边的分解图每轮PageRank迭代需求140秒),所处置图数据规模添加了一个数量级,计算耗时反而延长了一个数量级,综合功能提升超越百倍,完成了图计算节点规模、图数据规模以及运转速度上的宏大打破。

  神图零碎的研发成功,在扩展了国产超级计算机在大数据剖析范畴的使用才能的同时,提供了愈加迅捷的实验、优化超大规模图算法的运算环境。神图零碎愈加弱小的计算才能给人工智能等相关范畴提供了更宽广的探究空间。

  搜狗搜索研发团队曾经将神图零碎集成、浸透到搜索大数据平台中,新零碎将为搜狗搜索继续优化提供强无力的技术支撑和零碎保证,为用户完成更精准便捷的搜索体验。同时,搜狗搜索作为人工智能范畴的领跑者,将持续努力于推进国产超级计算机和国产处置器产业,减速改变我国计算机范畴中心技术和信息平安上受制于人的场面。