米乐·M6【中国大陆】官方网站

欢迎来到【M6】米乐中国官方网站有限公司
袋鼠云数栈V60全新产品矩阵发布大数据计算引擎 EasyMR 焕新升级
栏目:科技动态 发布时间:2023-12-02 11:47:12

  袋鼠云自主研发的一站式大数据基础软件数栈V6.0产品矩阵全新发布、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级,并重点发布了企业级数据计算与存储

  袋鼠云作为国内领先的数字化基础软件与应用服务商,自始自终坚持自主创新,专注大数据基础软件研发,利用先进技术赋能更多行业客户数字化转型,助力发掘和释放数据资源的潜在价值。

  袋鼠云产研负责人思枢首先介绍了数栈V6.0全新产品矩阵的落地进展以及产品升级方向。通过对多年数字化实践沉淀的梳理、重构和升级,数栈V6.0形成了大数据基础平台层+大数据开发与治理层+数据分析与洞察平台层的全新数字化产品矩阵,以迭代的新组合、新能力、新技术,为数实融合应用注入更强劲的“数栈”驱动力。

  整个矩阵中,大数据基础平台是底座,包含全新升级的两款产品:大数据计算引擎EasyMR 和湖仓一体EasyLake。EasyMR 主要提供 Hadoop、Spark、Flink、HBase、Trino 等一键式组件的安装、运维、部署。EasyLake 则主要提供面向数据湖的统一元数据管理,及数据服务和分析。大数据基础平台旨在为各行业的数字化转型提供随时可用的强劲动力和坚实基础。

  中间层大数据开发与治理,它融合了 DataOps 数据理念,包含离线开发BatchWorks、实时开发StreamWorks、数据服务DataAPI、数据资产DataAssets和指标管理DataIndex 五大模块。以自主可控、安全创新为技术内核,将全域数据资产进行汇聚、加⼯、治理、服务、分析,为客户提供安全、稳定、易⽤的⼤数据平台,加速释放数据价值,赋能数智应用。

  最上层的数据智能分析与洞察层,提供客户数据洞察UserInsight和数据可视化分析EasyBI两大应用功能。助力企业构建以业务价值为导向的数据分析与应用体系,驱动业务增长。

  主机管理:可以对接x86服务器、ARM 服务器、Kubernetes 集群等主机类型,进行包括批量接入、主机下架、主机监控等在内的主机操作

  集群运维:包含组件启停、健康检查、服务日志查看等功能,以及根据客户业务侧的使用情况实现动态扩缩容

  EasyMR 的丰富功能能够帮助企业,更全面、更智能、更安全地运用数据,加速企业数字化转型。

  米乐官网 米乐

  EasyMR 完成了与主流信创生态厂商的适配互认工作,支持统信UOS、龙蜥、麒麟等国产操作系统,鲲鹏920、飞腾等国产芯片,长城擎天CF520、华为公有云等国产服务器的适配,以及大部分国产数据库、国产中间件的适配。

  EasyMR 作为袋鼠云自研的大数据基础平台,其大数据组件100%基于开源 Hadoop,完全兼容 Apache 开源生态,与开源社区同步迭代,时刻保持技术的领先性。并且 EasyMR 对 Spark、Flink、Trino、Iceberg 等部分组件特性进行优化增强,回馈社区,以开放心态共建 Hadoop 生态。

  EasyMR 提供大数据集群监控告警、安全保障、数据质量保障以及平台运维服务;提供定期巡检、深度体检、成本优化以及高阶调优服务;以及提供包括大数据集群迁移、集群容灾建设、架构设计规划等在内的实施服务,全链路一站式运维托管服务。

  通过 LDAP+Kerberos+Ranger 这套认证权限体系,对库/表/行/列级进行权限控制,实现企业级安全管控。

  Hive 的子组件 HiveMetastore,在开源的方案中通过 redis 进行缓存加速,而现在可以通过宝兰德BCS 这样的国产中间件对 redis 进行国产化替代。

  HiveMetastore 本身的元数据信息在开源方案中存储在 MySQL 和 OracleSQL 中,现在也可以通过适配国产数据库,如 TDSQL、OceanBase,对开源数据库进行替代。基于此,EasyMR 实现真正的国产化,完全自主可控。

  EasyMR 深知只有实现关键技术的自主化、国产化,才能真正实现技术创新,攻克“卡脖子”难题。

  袋鼠云作为国内领先的数字化基础软件与应用服务商,十分重视强化产品的基础能力和技术能力,在开源技术的基础上,EasyMR 对 Spark、Flink、Trino、Iceberg 等多个大数据核心组件进行了功能及性能增强。具体优化见下图:

  仅在2022年袋鼠云技术同学就完成了上百次的 commit,为 Hadoop 生态的技术发展贡献了属于袋鼠云的力量。

  赠人玫瑰手有余香,回馈社区的同时袋鼠云实现了对整个 Hadoop 体系核心代码的完全自主掌握,对于 EasyMR 大数据平台迁移、大数据组件维保等做到了100%自主可控。

  从2016年数栈V1.0发布开始,到如今的数栈V6.0,数栈已经历经了七年六个大版本的迭代实践。随着对技术能力的不懈探索,数栈内部也沉淀了一些优秀的大数据组件,如流批一体的数据同步集成组件ChunJun,DAG分布式任务调度组件Taier、大数据平台运维组件ChengYing等,这些组件数栈已经全部贡献给了Github,下面是袋鼠云开源的地址,欢迎使用。

  技术无界,创新不止。袋鼠云数栈技术团队连续两年荣获“年度优秀开源技术团队”的称号,ChunJun 也顺利晋级“2022 年中国开源创新大赛”决赛,并荣获“优秀开源项目/社区”奖项。这些鼓励都源于数栈技术团队出众的产品技术能力和自主研发能力。

  基于国家对于国产信创的政策要求,以及 CDH 停止服务(EoS),用户没办法再获取售后支持的大背景,各行各业的大数据平台底座需要进行国产化替代的需求越来越强烈。基于此,数栈支持 CDP/CDH平滑迁移到 EasyMR 的解决方案,大大降低企业迁移成本低。

  生产业务不能停,该方案支持双轨运行,即客户的原 CDH 集群和信创的 EasyMR 集群可以同时运行。整个迁移过程操作简单,配置灵活,通过4步即可完成所有的迁移工作。

  第二步,进行数据迁移。包括历史数据和元数据的迁移,在迁移过程中,EasyMR 支持数据检验,保证在数据迁移过程中的数据一致。

  第三步,执行任务迁移。包括采集任务、数据加工任务、任务依赖关系以及分析引擎。

  第四步,业务切割。包含集群的切换,及老服务器下线,新服务器上线等动作切换,最终达到 CDP/CDH平滑迁移到 EasyMR 的目的,并且实现对客户侧的业务无感知。

  EasyMR 积累了大量的迁移成功案例,经验丰富,可以保障整个迁移过程安全可靠。

  大数据组件每年的版本更新速度比较快,不少企业还停留在 Hadoop2.0 的阶段。许多客户想升级到 Hadoop3.0 版本,体验新的特性和性能优化,但是客户的业务在版本更新中又不能停止,这时应该怎么做?

  EasyMR 可实现节点的动态替换,将一个节点先升级到 Hadoop3.0 的节点,在这个节点上印证没有问题之后,再进行剩下节点的逐步替换,这样就真正实现了 Hadoop 的无感知平滑升级。

  在介绍完 EasyMR 的具体功能和特性之后,下文将为大家介绍2个 EasyMR 的经典实践应用落地,更深地感受 EasyMR 是如何帮助企业更高效、平滑、安全地实现实现国外进口产品的国产化替代。

  某全国性股份制商业银行,为解决分行数据应用建设效率差等问题,数栈帮助该客户实现了 CDH平滑迁移至 EasyMR,并且为该客户建立了“总行统一调度+分行数据协同共享”的数据应用云平台。

  EasyMR 使用 Trino 替换 Impala,解决了客户 Impala 内存过度占用导致节点宕机的问题,提升查询性能,实现了资源动态隔离;并且采用「云平台」的模式,总行+各个分行是平台上的单独租户,底层存储、计算资源共享提升数据下发效率,数据权限隔离保证安全,不用再担心出现分行数据误删除、丢失等安全问题。EasyMR 兼容信创生态体系,平滑迁移至国产化环境,符合金融行业的信创国产化要求。

  通过 EasyMR 大数据基础平台的建设,该全国性股份制商业银行实现了成本管理和业务管控的双效提升。

  金融行业正逐渐从数字化时代迈向智能化时代,该客户的需求是将 EasyMR 和数栈进行 Saas 化,依托数据中台产品,赋能客户,加快走向智能化时代的步伐。

  面对客户需求,数栈 + EasyMR 与云平台的网络架构、服务器、云平台的统一权限管控等各项内容实现全面兼容适配,保证在客户开通权限资源后,依然能够保障 EasyMR 的稳定运行。并且数栈 + EasyMR 实现了「订购自动化部署一键扩缩容」等各类操作。

  作为大数据基础软件国产化的重要推动者之一,数栈还拥有大量成熟大数据解决方案,可以更好地支持各行业智能化、数字化应用建设。

  此外,会上还发布了《数栈产品白皮书》,从数字技术、产品能力、应用实践、服务支持四个方面进行深度研判,针对性克服数字化转型短板,从数据治理、湖仓一体、数据集成、DataOps 等八个方面进行解决方案解读,重点提升客户数据管控能力。此外,本白皮书总结了有效的大数据基础软件建设经验,为各行业企业的数字化转型提供参考和指导。

  数栈始终坚持自主可控,积极致力于帮助客户打造国产创新的企业级大数据基础软件,帮助客户夯实数据基座,建立从数据获取生产到数据消费利用的全生命周期管理体系,使数据“可见、可用、可管”,洞察数字化机遇,明确转型方向,创造数据新价值。

  今后,数栈产品也将更加贴合实际场景,用数智化方式解题,践行“用数据产生价值”的使命。

  8月31日,第25届中国国际软件博览会在天津隆重开启,中国电子信息行业联合会在期间举办的软件行业创新成...

  一云多芯能力已经成为云平台自主创新能力的关键。9月4日,腾讯专有云TCE高分通过《一云多芯技术能力标准...

  近几年,随着影音技术与智能操作系统的日益强化,新时代的智能投影为消费者带来的娱乐观影体验也在不断...

  近日, 2023闪存峰会于杭州圆满举办,峰会聚焦以闪存与内存芯片为核心的存储器产业生态,重点关注存储...

  退休对有的人来说是人生舞台的落幕,对有的人来说却是全新赛道的开启。家住山东的李永芝,就是永不放弃...

  内容摘要:近期,华人珠宝艺术家紫晨(Wallis Hong)又一次成为全球媒体和行业内的焦点。他以其卓越的创...

  在如今的现代社会中,电力已经成为我们生活不可或缺的一部分。我们的家庭、工作和娱乐都离不开电力供应...

  百代OSS存储作为国产自主存储领域的领军者,配备有强大的数据备份功能,高可用集群(HA)就是其中之一。...

  得力插线板的出雅白系列却以其卓越的安全性能和创新设计成为众多人在家中或办公场地使用的首选,一款插...

  数字贸易正在成为当前中国促进对外贸易创新发展的一股重要力量。数据显示,今年上半年,中国可数字化交...

  8月31日,第25届中国国际软件博览会在天津隆重开启,中国电子信息行业联合会在期间举办的软件行业创新成...

  春江潮水连海平,海上明月共潮生。中秋佳节正向我们走来,在这个桂花飘香、月满情浓的节日里,吾独友偶...

  一云多芯能力已经成为云平台自主创新能力的关键。9月4日,腾讯专有云TCE高分通过《一云多芯技术能力标准...

  在互联网大数据时代,个人信息成为宝贵的数字资产。2021年11月1日,《中华人民共和国个人信息保护法》正...

  由广州市社会组织管理局、广州市社会组织委员会主办,广州市创意经济促进会、广州市创意经济促...

  近几年,随着影音技术与智能操作系统的日益强化,新时代的智能投影为消费者带来的娱乐观影体验也在不断...

  在人生的漫漫旅途中,无数次小小的努力支撑起我们大大的梦想,普通人想要不躺平每一天都得很努力。但是...

  2023年9月1日,卓樱桃与新西兰雇主及制造商协会(以下简称EMA)在北京成功签约,并达成战略合作。EMA首...

  9月4日,喜茶宣布推出首款“新茶饮专用真牛乳”3 8源牧甄奶,该

  第19届亚运会将于9月23日在杭州举行。前不久,南京甘汁园股份有限公司接到了为亚运会生产双碳白糖、红糖...

  近日,第十届中国企业家发展年会在福州海峡国际会展中心隆重举行,大商之道招商产业集团凭借在企业招商...

  对于很多在外租房的人来说,买投影仪要比买电视更划算,毕竟搬家的时候谁也不愿意抱着个电视到处跑,而...

  近日, 2023闪存峰会于杭州圆满举办,峰会聚焦以闪存与内存芯片为核心的存储器产业生态,重点关注存储...

  退休对有的人来说是人生舞台的落幕,对有的人来说却是全新赛道的开启。家住山东的李永芝,就是永不放弃...

  内容摘要:近期,华人珠宝艺术家紫晨(Wallis Hong)又一次成为全球媒体和行业内的焦点。他以其卓越的创...

  PFHxS,全氟己烷磺酸,属于PFAS的一种,常见于多种工业和消费品中。它被广泛用于防火泡沫、金属电镀、纺...

  李昆百年民情千图展全国巡回展继北京荣宝斋、上海朵云轩展出后回到西安汇报展于9月2日在西安亮宝楼隆重...

  2023年8月26日,国际健康发展大会暨地球小姐湖南赛区总决赛颁奖盛典由2023国际健康发展大会组委会...

  9月4日,贵州茅台与瑞幸咖啡推出的联名咖啡茅台瑞幸酱香拿铁正式上架开卖。据悉,该产品零售价38元 杯...

  9月3日,正值抗日战争胜利78周年之际,广州名墨书法举行了第六届欧阳修杯全国少儿书画大赛隆重的颁奖典...

  浦东刚需购房者买房有多难?据统计,上海今年总共供应了5万余套新房,其中大浦东12967套,但其中400-500万总...

  在如今的现代社会中,电力已经成为我们生活不可或缺的一部分。我们的家庭、工作和娱乐都离不开电力供应...

  米乐官网 米乐

  “我的地盘 •盘TA!”2023动感地带5G校园先锋赛吉林赛区即将开启!

  8月27日,2023 CCPC中国量产车大赛正式收官,在众多参赛车型中,红