随着第四次工业革命的来临,人工智能正在成为推动人类进入智能时代的决定性因素,特别是生成式AI的出现让越来越多企业都看到了实现商业价值的更多可能,越来越多的组织都在积极利用生成式AI为业务赋能,加速数智转型的进程。
生成式AI的诞生与云计算密切相关,作为云计算领域的领导者,亚马逊云科技也开创了属于企业级生成式AI的全新范式,帮助企业客户在各自的领域创造「颠覆格局」的AI产品。在12月12日亚马逊云科技2023 re:Invent中国北京活动上,亚马逊云科技发布了多款生成式AI的相关应用,开始全面发力生成式AI。
亚马逊云科技大中华区产品部总经理 陈晓建
亚马逊云科技大中华区产品部总经理陈晓建表示:“在过去的几十年里,亚马逊云科技一直在 AI 领域进行创新,从将 AI 广泛应用于亚马逊庞大的零售和业务运营中积累了大量宝贵经验,为帮助客户利用生成式 AI 的力量重塑业务提供了策略指导。”
为什么企业数字化转型中需要生成式AI?
“听过很多道理,依然过不好这一生。”这是韩寒在电影《后会无期》中的一句经典语录,也是当下许多企业在数字化转型中的真实写照。
虽然很多企业都明白数据是现代企业最为宝贵的资产,但是在挖掘数据价值时却感到一筹莫展。这就好比淘金客明明已经找到了一座金矿,但是却苦于难以将里面蕴藏的金沙转化为财富。
人工智能的出现无疑给了挖掘这座数据“宝藏”的企业提供了最佳的方式,当真正能够让AI应用落地到企业应用中才会发现知易行难。
那么问题就来了:什么样的公司,才可以帮助企业改变这种尴尬局面?
答案就是亚马逊云科技。云计算是帮助企业进入生成式AI领域的最佳“桥梁”,作为一家云计算服务器提供商,亚马逊云科技在云计算领域的优势也顺理成章地就能延续到了生成式AI领域。
陈晓建表示:“作为全球云计算的开创者和引领者,亚马逊云科技在每年的re:Invent全球大会上都会发布众多新服务、新功能和新应用。我们在基础设施、计算、存储、数据等领域持续重塑云计算,并围绕当今最具变革性的技术生成式AI推出重磅新服务及功能。我们希望通过这些技术创新,帮助更多企业加快创新速度,利用生成式AI全面重塑未来。”
三层架构 亚马逊云科技全面发力生成式AI
生成式AI正在以意想不到的方式去提供人类的生产力,同时也在激发人类的智慧和创造力。那么企业客户怎么去兼顾规模和成本,怎么去选择最适合的生成式AI模型,怎么去利用我的私有数据去训练模型,怎么让生成式AI的模型成为我所在这个专业领域的专家呢?
为此,亚马逊云科技为生成式AI提供三层架构,包括在底层利用基础模型构建的应用程序;在中间层利用基础模型进行构建的工具;在顶层提供利用基础模型构建的应用程序。陈晓建表示:” 亚马逊云科技投身生成式AI领域,其实与我们之前在云计算和其他领域的做法一脉相承。我们的目标是在每一层都持续创新,帮助客户更轻松、安全地构建和应用生成式AI,进一步降低利用生成式AI的门槛。”
首先,在底层基础设施方面, 亚马逊云科技希望在基础模型的训练和推理阶段,提供最好的基础模型的基础设施。在芯片方面,亚马逊云科技是第一个把GPU带入到云上的云供应商,现在GPU服务器已经广泛用于HPC、视频、AI的工作负载等等多种应用。如今亚马逊云科技还是全球第一家将NVIDIA最新的芯片H100 GPU和Amazon EC2 P5实例推出市场的主要云提供商,这些Amazon EC2 P5实例提供了惊人的性能,在训练上比Amazon EC2 P4实例要快4倍,而成本只是P4的60%。同时亚马逊云科技对于自研芯片Trainium和Inferentia进行了更新,Amazon Trainium是用于机器学习的训练芯片,而Amazon Inferentia是在这些模型上进行推理和优化的芯片。Adobe、德国电信等客户都在使用通过Amazon Trainium来部署他们GenAI新应用。此外,亚马逊云科技搜索团队也在使用Amazon Trainium产品,来构建他们自己的大规模深度学习模型。
光有硬件还不够,还需要有软件和硬件的配合。亚马逊云科技推出了Amazon Neuron软件开发工具包,可以帮助用户通过很少的代价带来更好、更快捷地使用定制化的训练和推理芯片。Amazon Neuron支持Tensorflow、PyTorch这样常用的ML框架,客户通常只需要几行代码,就能够利用他们已有的知识构建训练和推理管道,来移植到这些全新的硬件上来。
此外,亚马逊云科技推出了Amazon SageMaker HyperPod工具,能够将训练时间大幅缩短40%。通过Amazon SageMaker HyperPod,能够自动管理多达上千台机器的大规模训练环境,自动检测和定位硬件故障,并且能够更换故障的实例和更改配置来自动规避所遇到的这些问题。它们还能自动备份,从上次所保持的检查点来恢复训练。
在中间层工具方面, 亚马逊云科技推出了面向于生成式AI应用的构建者的工具Amazon Bedrock平台,Amazon Bedrock提供了广泛的模型选择,它不仅有一些业界领先的开源模型,还包括了亚马逊云科技自己开发的Amazon Titan模型。Amazon Titan里提供了一系列功能强大和经济实惠的模型,是亚马逊云科技通过精心选择的训练方式和数据,为用户提供最好的解决方案。
同时,本次re:Invent亚马逊云科技还宣布了Amazon Bedrock支持Anthropic的最新的Claude2.1模型,Claude2.1不仅提供了业界领先的200K标记上下文窗口,同时还大幅提升了准确性。根据Anthropic CEO在本次re:Invent大会的介绍,与此前模型相比,Claude 2.1 在开放式对话中的错误陈述减少了50%。支持 Meta 的 LLama 2 70B,适用于大规模任务,如语言建模、文本生成和对话系统。
另外,在其他开源模型方面,Amazon Bedrock已经支持了Meta提出的Llama 2 70B的700亿参数的大语言环境,这个模型适用于构建大规模的任务,比如说语言建模、对话生成、对话系统等等。
同时,微调是Amazon Bedrock另外一项重要的定制化技术,经常用它来把这个产品跟自己数据进行结合,亚马逊云科技目前已经可以推出对Meta Llama2、 Cohere环境进行微调的能力,Anthropic Claude模型微调能力也会尽快推出
Amazon Bedrock 的 Guardrails 功能现已推出预览版,使客户能够为生成式 AI 应用程序实施保护措施。这些应用程序根据客户应用场景和 “负责任的AI” 原则进行定制,因此这一功能可以增强用户交互的安全性和隐私性。Guardrails 功能可以提高 Amazon Bedrock 上的模型对应用程序中不良和有害内容的响应方式的一致性。客户可以将 Guardrails 功能应用于 Amazon Bedrock 上的所有大型语言模型,以及微调模型并与 Amazon Bedrock 代理功能结合使用。
在顶层应用方面, 亚马逊云科技宣布推出了一个全新的亚马逊云科技生成式AI助手Amazon Q,Amazon Q是亚马逊云科技的专家,由亚马逊云科技17年来积累的知识和经验训练而成,可以在多种界面回答客户提出的各种亚马逊云科技相关的专业问题。Amazon Q可以在Amazon CodeWhisperer中回答开发人员的各种代码相关的问题并附上可一键实施的代码,并提供代码转换功能可以将应用维护和升级时的代码转换所需时间从几天缩短至几分钟。
Amazon Q也是企业业务的专家,它拥有40多个兼容流行数据源的内置连接器,并支持自定义连接器,企业可以轻松将其连接至其业务数据和系统中。Amazon Q可使用身份验证系统来确认用户职能和访问权限,并支持指定话题屏蔽或关键词过滤等管理控制功能。
Amazon Q也是商业智能专家,Amazon Q支持将其引入多种服务和应用中以提供基于生成式AI的帮助。将Amazon Q引入BI应用Amazon QuickSight中,它能够在几秒钟内响应用户要求,创建精准且美观的月度业务变化的相关描述,该功能现已提供预览。
Amazon Q也是联络中心专家。将Amazon Q引入云联络中心应用Amazon Connect中,它能够根据实时对话检测客户问题,并能够自动回复、给出建议以及提供相关资料,该功能现已正式可用。
以上,就是亚马逊云科技生成式AI所提供的三层架构的工作,它不仅是针对于底层开发人员,针对于能够使用大模型环境的人员,还针对于对大模型并不了解的只是想使用生成式AI的业务人员,亚马逊云科技都能提供完整的解决方案。
为生成式AI打造一个坚实的数据基座
亚马逊云科技认为,强大的数据基础对于生成式AI至关重要,一个强大的数据基础应该是全面的、集成化的,可治理的。只有拥有一个有效的数据底座是提升企业竞争力的有效的途径。因此,企业需要一个强大的数据基石,不仅需要全面的数据能力,还需要数据能力能够在不同的环境之中可以打通,在不同的产品之间可以流通,并且整个数据的能力在应用之中一定是需要被可治理和可管理的。
为此,亚马逊云科技为客户提供的是一个完整的全面的端到端的数据服务。全面的数据服务满足不同类型的数据处理需求。亚马逊云科技推出了Amazon OpenSearch Serverless向量引擎、Amazon DocumentDB和Amazon DynamoDB的新向量搜索功能、Amazon Memory DB for Redis向量搜索预览版,提升生成式AI应用在响应和延迟方面的性能表现。亚马逊云科技还正式推出图数据库分析引擎Amazon Neptune Analytics,帮助Snapchat这样的应用在几秒钟内对数十亿个连接进行图形分析。
其次,为了让跨数据存储的数据访问与分析更快速、更便捷,亚马逊云科技推出四项Zero-ETL集成特性,通过全新的Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon Relational Database Service(Amazon RDS)for MySQL与Amazon Redshift的Zero-ETL集成特性,使得在Amazon Redshift中连接和分析多个关系型和非关系型数据库的数据变得更加容易。此外,客户现在还可以使用Amazon OpenSearch Service对Amazon DynamoDB数据进行近乎实时的全文和向量搜索。无论数据存储在哪里,这些Zero-ETL集成特性都能简化数据连接和操作流程,使客户灵活地利用亚马逊云科技广泛而领先的数据库和分析服务,深入挖掘新洞见的同时,更迅速地实现创新并做出更明智的数据驱动决策。
第三,在数据治理方面,亚马逊云科技为Amazon DataZone推出了AI描述建议功能预览版,它能够为企业的数据集自动生成更易理解的业务描述,并提供该数据集的使用建议。亚马逊云科技还推出了Amazon Clean Rooms ML预览版,可帮助企业及其合作伙伴在集合数据上应用机器学习模型,而无需相互复制或共享原始数据,并为其推出了第一个专门帮助公司为营销用例创建相似细分市场的模型。
亚马逊云科技坚持从企业客户角度来创造各种工具,同时降低运维的复杂性。通过全面的工具,将数据集成和数据治理,就能将数据转换为资产,为生成式AI提供支持。反过来,更多的数据也促使生成式AI不断迭代和演进,使得生成式AI与数据之间形成闭环。
亚马逊云科技助力企业走上生成式AI的”快速路”
在生成式AI的语境下,亚马逊云科技re:Invent发布的新产品涵盖了从算力到模型,再到场景化应用的全面的创新。基于过去数十年间对于各行各业企业级客户的深入了解,无论客户是在亚马逊云科技上进行构建、使用内部数据和系统,还是应用一系列数据和业务应用程序,其都能提供强大的生成式AI的支持。
不过,围绕生成式 AI 的新生态构建,要想从概念化为实践,仍然是一件充满困难的事情,需要行业共创。
艾瑞咨询研究总监王成峰也认为,亚马逊云科技要继续为生成式AI的发展提供强大能力支撑,不仅包括与英伟达等芯片商合作带来的更先进算力资源,也要通过Amazon Bedrock产品提供“精选”多模型接入的能力平台,更加强调生成式AI领域的生态打造。
亚马逊云科技深知技术创新的重要性,这家企业用了很多年的时间坚持做一件事:帮助各行各业的公司积极掌握最新科技,探索不断变化的未来。根据PitchBook的数据, 目前有超过1000家独角兽公司或估值超过10亿美元的创业公司,其中超过80%的独角兽公司都将工作负载运行在亚马逊云科技上。
在北京大会现场,我们可以看到全球各行各业的领先企业都在和亚马逊云科技合作来推动他们的业务,在金融服务行业,与摩根大通、高盛、纳斯达克等开展合作,在医疗保健领域,与辉瑞、诺华、罗氏、美敦力等开展合作,在汽车制造领域就更多了,亚马逊云科技与宝马、奔驰、丰田、本田、大众,以及西门子、施耐德等主要厂商开展合作,这只是共同合作的各行各业客户里面的其中一小部分。
最后,陈晓建说:“ 今天,我们从负责任的AI到数据安全能力进行了多维度的更新。我们始终将企业的严苛要求置于产品设计理念的首位。作为云计算的开拓者和引领者,亚马逊云科技坚信并实践着这一理念,确保我们是企业构建和应用生成式AI的最佳选择。”
相信,假以时日,亚马逊云科技将在生成式AI的道路上取得与云计算领域一样令人刮目相看的成果。
目前,亚马逊云科技2023 re:Invent中国行城市巡展活动于今天正式开启,将覆盖北京、上海、广州、深圳、成都、青岛、南京、西安、杭州、长沙 10 座城市,为中国构建者全面展示2023 re:Invent全球大会上的最新服务及技术、前沿趋势以及最佳实践。