软通动力
  • 集团官网
    公司介绍、新闻动态、服务与行业等信息
  • 软通计算(同方计算机)
    信创产业IT基础设施整体方案及产品提供商
  • 智通国际
    深耕高性能PC市场十余年,引领行业创新的国货游戏本品牌——机械革命
  • 鸿湖万联
    专注智能物联网操作系统研发和产业化服务
  • 软通教育
    专注于ICT人才供给与培养
软通动力

openEuler Summit分享:软通动力HPC应用基于openEuler的迁移实践

2021.11.12

11月9日-10日,由欧拉开源社区举办的第二届操作系统产业峰会& openEuler Summit在北京召开,旨在聚集全产业链力量,共同推动基础软件产业的发展。软通动力作为社区共建者,是此次峰会的协办单位,并在10日的兼容性分论坛上分享了“HPC应用基于欧拉开源操作系统的迁移实践”的主题演讲。

软通动力围绕基于华为openEuler + Kunpeng平台的根技术推广应用、openEuler的KAE助力SPARK提升性能等实践多个维度,全面分享了软通动力在欧拉开源操作系统领域的迁移调优优秀实践。

 

HPC-WAN打造高时效、高性能的气象应用解决方案

大数据时代,气象服务应用领域不断拓展,气象数据处理也越来越重要。但气象应用处理数据量大,时效性要求高。性能是气象应用对平台要求的关键。HPC-WAN迁移实践是将气象解决方案迁移到openEuler+鲲鹏的计算平台,充分发挥openEuler+鲲鹏在HPC场景的性能优势。软通动力通过毕昇编译器进行编译,MPI软件替换为HyperMPI,再对OS进行性能调优,最终实现气象HPC组件在openEuler+Kunpeng平台正常运行,整体性能超过通用平台。

基于华为openEuler+Kunpeng平台根技术能力,使HPC-WAN解决方案性能超过通用平台(X86),有效解决气象行业对计算平台高性能的要求。通过HPC-WAN迁移实践,软通动力助力华为基础软件根技术在行业的推广应用。

SPARK使能openEuler打造大数据高效处理组件

SPARK是一个开源的大数据处理组件,它支持一组丰富的高级工具,包括用于SQL的sparksql等。当前开源Spark使用压缩方式各有优缺点,其中GZIP压缩方式没有使能KAE,CPU占用率高,压缩速度慢。本次优化是在Spark中使能openEuler acclib,通过openEuler 的软加速、硬加速库提升Spark性能。软通动力通过在Spark中,增加openEuler的KAEzip调用接口、使能gzip接口以及解压缩库配置;使用 scala开发语言进行KAE硬加速使能;最终优化后的Spark SQL查询性能提升5+倍,HiBench性能测试提升40%+。

基于华为openEuler的KAE加速能力,助力SPARK大数据处理效率提升5倍+,软通动力通过SPARK使能openEuler优化实践支撑华为鲲鹏KAE加速在开源软件的使能和运用。

 

操作系统作为基础软件的根技术,是推动数字变革的关键力量。作为企业数字化转型可信赖合作伙伴,软通动力帮助众多行业进行数字化转型实践,也在持续关注和支持操作系统产业的发展。作为欧拉开源社区的参与者和贡献者,软通动力积极参与社区合作与交流,在加速库、应用迁移方向不断提升技术能力并积累大量经验,通过持续的投入和技术创新,不断为欧拉开源操作系统生态发展增砖添瓦。

新闻