首页 业界动态 腾讯首次披露自身大数据核心技术体系,《腾讯大数据构建之道》正式发布

腾讯首次披露自身大数据核心技术体系,《腾讯大数据构建之道》正式发布

8 月 31 日,在刚刚出版的《腾讯大数据构建之道》新书中,腾讯首次对外披露了自身大数据核心技术体系架构和海量业务应用实践。作为国内大数据领域的一部前沿技术著作,该书汇集了腾讯在大…

8 月 31 日,在刚刚出版的《腾讯大数据构建之道》新书中,腾讯首次对外披露了自身大数据核心技术体系架构和海量业务应用实践。作为国内大数据领域的一部前沿技术著作,该书汇集了腾讯在大数据领域几十位技术专家的思考和实战精髓,通过全面剖析自身在大数据领域的探索以及落地,为国内大数据从业者提供了一份极具价值的参考文献。

腾讯公司副总裁蒋杰表示:“从第一代的离线计算到以隐私计算、数智融合、云原生为代表的第四代大数据技术,腾讯大数据团队不断基于内部海量业务实践,打造领先的技术和产品服务内外部众多客户。未来,腾讯还将通过腾讯云持续开放自身在大数据领域的技术和经验,携手合作伙伴,为各行各业客户创造价值,加速推进数字经济和实体经济的融合发展。”

《“十四五”大数据产业发展规划》提出,当前数据已成为重要的生产要素,大数据产业作为激活数据要素潜能的关键支撑,是加快经济社会发展质量变革、效率变革、动力变革的重要引擎。此次腾讯推出的《腾讯大数据构建之道》,系统性复盘了大数据技术在腾讯内部的应用发展与演进,对促进国内大数据产业的共同进步具有积极意义。

据悉,该书由腾讯数据平台部与机械工业出版社合作出品,内容总体分为两大部分:第一部分,主要讲述了腾讯大数据平台的技术体系;第二部分,主要讲述了腾讯大数据通过腾讯云对外开放的一系列产品。

在第一部分,腾讯大数据团队从自身平台的发展历程和总体架构切入,深入介绍了各项技术原理,阐述了实战过程中的挑战和自研核心技术的设计思想。内容覆盖了大数据接入、计算、存储、分析、调度等大量技术组件的整体架构和应用展示,当中不乏数据实时采集 TDBank、下一代大数据分布式存储 Ozone、高性能的大数据 SQL 引擎 SuperSQL、自主研发的高性能分布式机器学习平台 Angel 等多个重量级产品的详细剖析。

以分布式计算为例,书中详细介绍了 SuperSQL 的关键技术,以及在 OLAP 数据分析、跨数据中心查询优化等多个场景中的应用细节。作为腾讯大数据自研的跨数据源、跨数据中心、跨计算引擎的的高性能大数据 SQL 引擎,SuperSQL 致力于优化集群资源的使用,提升使用业务数据的效率,并帮助解决业务数据孤岛问题。目前,SuperSQL 在腾讯内网及外部客户均已部署使用,对接多个跨数据中心集群,每个集群规模达数百台机器。


图:腾讯 SuperSQL 系统架构

在第二部分,大数据团队主要介绍了腾讯在数据治理、数据应用、机器学习等方面的建设经验,并对腾讯大数据产品及其在内外部场景的实践落地进行了解读。以腾讯自研机器学习平台 Angel 为例,其功能涵盖传统机器学习、图挖掘、图学习、深度学习和隐私计算等,是国内第一个在全球顶级 AI 开源基金会 ——LF AI 基金会毕业的顶级项目。自 2017 年开源后,已被华为、小米、OPPO 等一百多个公司和组织使用。在本书中,腾讯大数据团队对其系统架构、运行架构以及功能特性进行了逐层剖析,能有效帮助读者建立起相关的深度认知和理解。

而针对行业人群在大数据运营方面的广泛痛点,本书还从大数据平台规划、平台治理、 运维体系构建、运营成本优化、数据资产管理等方面系统性地介绍了腾讯积累的经验。也是在伴随海量数据业务爆发式增长过程中,以数据驱动运营,实现平台高度自治为目标的不断探索的成果,为有大数据平台构建和运维需求的企业和团队提供了实用的直接参考。


图:腾讯大数据运营分析及应用体系架构

在刚刚召开的首届腾讯云大数据峰会上,腾讯云副总裁刘煜宏透露,目前腾讯云的大数据平台算力规模已经突破千万核,日实时计算量达百万亿级、日运行容器数超亿级,日计算数据量数百 PB,服务的企业客户数超 2 万家,开源社区代码贡献量超 800 万行,进一步呈现了腾讯在大数据领域的顶级实力。(作者:小艾)

免责声明:文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考,文章版权归原作者所有。本站在注明来源的前提下推荐原文至此,仅作为优良公众、公开信息分享阅读,不进行商业发布、发表及从事营利性活动。如本文内容影响到您的合法权益(内容、图片等),请及时联系本站,我们会及时删除处理。

作者: 云小编

云排名智能化采编助手,如您有疑问请参阅 https://www.idcseo.com/aboutus

为您推荐

山东对三类省级工业互联网平台开展入库培育提升

记者从山东省工业和信息化厅了解到,为进一步完善提升山东工业互联网平台体系,加快推进工业互联网建设应用,山东将对综合型、特...

云上鏖战:阿里云再降价,1个月内4家厂商跟进

有云的地方,就有江湖,有江湖的地方就有纷争,而这一次是关于价格战。 最新消息是阿里云又降价了。 阿里云官网显示,将对部分...
华为云:根技术再突破,新一代分布式数据库GaussDB正式面向全球发布

华为云:根技术再突破,新一代分布式数据库GaussDB正式面向全球发布

6月7日,在华为全球智慧金融峰会2023上,华为常务董事、华为云CEO张平安以“一切皆服务,做好金融数字化云底座和使能器...

中国超算再次登顶榜单 存储系统性能达国际顶级水平

科技日报讯 (记者王延斌)6月6日,科技日报记者从齐鲁工业大学(山东省科学院)了解到,近日在德国汉堡举办的ISC 202...

枣庄市获颁首张工业互联网标识注册服务许可证

日前,枣庄市首个工业互联网标识解析二级节点(金属加工机械制造行业)获得山东省通信管理局颁发的工业互联网标识注册服务许可证...
返回顶部