声明 01 02 03-暂停 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18-暂停 19-暂停 20-暂停 21-暂停 22-暂停 23-暂停 24-暂停 25-暂停 26-暂停 27-暂停 28 29-暂停 30-暂停 31-暂停 32-暂停 33 34-暂停 35-暂停 36 37 38
首页 业界动态 腾讯首次披露自身大数据核心技术体系,《腾讯大数据构建之道》正式发布

腾讯首次披露自身大数据核心技术体系,《腾讯大数据构建之道》正式发布

8 月 31 日,在刚刚出版的《腾讯大数据构建之道》新书中,腾讯首次对外披露了自身大数据核心技术体系架构和海量业务应用实践。作为国内大数据领域的一部前沿技术著作,该书汇集了腾讯在大…

8 月 31 日,在刚刚出版的《腾讯大数据构建之道》新书中,腾讯首次对外披露了自身大数据核心技术体系架构和海量业务应用实践。作为国内大数据领域的一部前沿技术著作,该书汇集了腾讯在大数据领域几十位技术专家的思考和实战精髓,通过全面剖析自身在大数据领域的探索以及落地,为国内大数据从业者提供了一份极具价值的参考文献。

腾讯公司副总裁蒋杰表示:“从第一代的离线计算到以隐私计算、数智融合、云原生为代表的第四代大数据技术,腾讯大数据团队不断基于内部海量业务实践,打造领先的技术和产品服务内外部众多客户。未来,腾讯还将通过腾讯云持续开放自身在大数据领域的技术和经验,携手合作伙伴,为各行各业客户创造价值,加速推进数字经济和实体经济的融合发展。”

《“十四五”大数据产业发展规划》提出,当前数据已成为重要的生产要素,大数据产业作为激活数据要素潜能的关键支撑,是加快经济社会发展质量变革、效率变革、动力变革的重要引擎。此次腾讯推出的《腾讯大数据构建之道》,系统性复盘了大数据技术在腾讯内部的应用发展与演进,对促进国内大数据产业的共同进步具有积极意义。

据悉,该书由腾讯数据平台部与机械工业出版社合作出品,内容总体分为两大部分:第一部分,主要讲述了腾讯大数据平台的技术体系;第二部分,主要讲述了腾讯大数据通过腾讯云对外开放的一系列产品。

在第一部分,腾讯大数据团队从自身平台的发展历程和总体架构切入,深入介绍了各项技术原理,阐述了实战过程中的挑战和自研核心技术的设计思想。内容覆盖了大数据接入、计算、存储、分析、调度等大量技术组件的整体架构和应用展示,当中不乏数据实时采集 TDBank、下一代大数据分布式存储 Ozone、高性能的大数据 SQL 引擎 SuperSQL、自主研发的高性能分布式机器学习平台 Angel 等多个重量级产品的详细剖析。

以分布式计算为例,书中详细介绍了 SuperSQL 的关键技术,以及在 OLAP 数据分析、跨数据中心查询优化等多个场景中的应用细节。作为腾讯大数据自研的跨数据源、跨数据中心、跨计算引擎的的高性能大数据 SQL 引擎,SuperSQL 致力于优化集群资源的使用,提升使用业务数据的效率,并帮助解决业务数据孤岛问题。目前,SuperSQL 在腾讯内网及外部客户均已部署使用,对接多个跨数据中心集群,每个集群规模达数百台机器。


图:腾讯 SuperSQL 系统架构

在第二部分,大数据团队主要介绍了腾讯在数据治理、数据应用、机器学习等方面的建设经验,并对腾讯大数据产品及其在内外部场景的实践落地进行了解读。以腾讯自研机器学习平台 Angel 为例,其功能涵盖传统机器学习、图挖掘、图学习、深度学习和隐私计算等,是国内第一个在全球顶级 AI 开源基金会 ——LF AI 基金会毕业的顶级项目。自 2017 年开源后,已被华为、小米、OPPO 等一百多个公司和组织使用。在本书中,腾讯大数据团队对其系统架构、运行架构以及功能特性进行了逐层剖析,能有效帮助读者建立起相关的深度认知和理解。

而针对行业人群在大数据运营方面的广泛痛点,本书还从大数据平台规划、平台治理、 运维体系构建、运营成本优化、数据资产管理等方面系统性地介绍了腾讯积累的经验。也是在伴随海量数据业务爆发式增长过程中,以数据驱动运营,实现平台高度自治为目标的不断探索的成果,为有大数据平台构建和运维需求的企业和团队提供了实用的直接参考。


图:腾讯大数据运营分析及应用体系架构

在刚刚召开的首届腾讯云大数据峰会上,腾讯云副总裁刘煜宏透露,目前腾讯云的大数据平台算力规模已经突破千万核,日实时计算量达百万亿级、日运行容器数超亿级,日计算数据量数百 PB,服务的企业客户数超 2 万家,开源社区代码贡献量超 800 万行,进一步呈现了腾讯在大数据领域的顶级实力。(作者:小艾)

免责声明:文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考,文章版权归原作者所有。本站在注明来源的前提下推荐原文至此,仅作为优良公众、公开信息分享阅读,不进行商业发布、发表及从事营利性活动。如本文内容影响到您的合法权益(内容、图片等),请及时联系本站,我们会及时删除处理。

作者: 云小编

云排名智能化采编助手,如您有疑问请参阅 https://www.idcseo.com/aboutus

为您推荐

香港“All in”人工智能:一场不得不参加的长跑,一个不能输的竞赛

香港“All in”人工智能:一场不得不参加的长跑,一个不能输的竞赛

“从现在的趋势来看,特别是人工智能,特区必须迎头赶上,这是一个香港不得不参加的长跑,也是一个不能输的游戏。”在11月21...
新一代气象超算国家级(北京)系统稳定运行 支撑多个核心业务系统运行 效率提升30%至50%

新一代气象超算国家级(北京)系统稳定运行 支撑多个核心业务系统运行 效率提升30%至50%

日前,记者从国家气象信息中心获悉,新一代气象超算国家级(北京)系统已实现稳定运行,目前已为中国气象局全球同化预报系统(C...
博通宣布完成威睿收购案,将在私有云和混合云服务加强布局

博通宣布完成威睿收购案,将在私有云和混合云服务加强布局

11月23日消息,博通公司(Broadcom)于当地时间11月22日发布声明,宣布完成对威睿(VMWare)公司690亿...
全国云计算技术行业产教融合共同体在京成立 京东科技任理事长单位

全国云计算技术行业产教融合共同体在京成立 京东科技任理事长单位

11月20日,全国云计算技术行业产教融合共同体在京东集团北京总部成立。该共同体由工业和信息化部人才交流中心、中国中小企业...
北大未名二号高性能计算集群暨华为全球样板点上线

北大未名二号高性能计算集群暨华为全球样板点上线

11月14日消息,据华为官方消息,11月13日,为纪念北京大学计算中心成立60周年,“高校数字化转型创新发展高峰论坛-算...
返回顶部