【中文科技资讯】12月22日消息,MEET 2024智能未来大会刚刚落下帷幕,其中终端侧AI成为备受关注的焦点话题。
为何终端侧AI备受瞩目?在会议现场,高通技术公司产品管理高级副总裁颜辰巍总结了三大原因:
随着模型参数不断膨胀,相关应用和用户数量的增加,云计算推理的成本和综合成本急剧上升,难以支持生成式AI规模化发展。
其次,数据产生的地方就应该是AI推理的地方,这不仅更经济,还更能保护用户隐私。
一些应用场景缺乏5G数据连接,因此需要本地计算能力。
基于这些观点,颜辰巍认为:
只有当终端设备能够运行基于AI大模型的应用时,终端侧与云侧才能良好结合,生成式AI才能大规模推广,充分发挥其潜力。
为了更全面地阐述颜辰巍对终端侧AI的见解,量子位在保持原意不变的前提下,对他的演讲内容进行了整理。
MEET 智能未来大会由量子位主办,是智能科技领域顶级商业峰会,专注于研究前沿科技技术的应用和落地。今年,MEET2024大会受到数十家主流媒体和直播平台的报道,吸引了超过300万行业用户在线参与,总曝光量超过2000万。
颜辰巍的演讲要点包括:
当数十亿用户日常使用生成式AI时,云计算显然无法支持其规模化扩展。
只有当终端设备能够运行基于AI大模型的应用时,终端侧与云侧才能很好地结合,生成式AI才能大规模推广,发挥其全部潜力。
随着基础模型的创新,许多用例可以在终端上完全运行,这将彻底改变人们的互动方式。
终端侧AI模型的发展不应局限于文本或单一输入/输出形式,多模态生成式AI将是未来的发展方向。
颜辰巍还介绍了高通的硬件和软件解决方案,包括骁龙X Elite平台和第三代骁龙8移动平台,它们能够支持终端侧AI的高性能需求。他还提到了高通的AI软件栈和开发工具,以及多模态生成式AI的重要性。
终端侧AI被认为是AI的未来,它将与云计算协同发展,为生成式AI的广泛应用创造更多机会。高通将继续努力推动终端侧AI的发展,与合作伙伴合作,为用户提供更快速、高效和安全的AI应用体验。