高通在MWC上更新高通在AI方面的进展,推出全新Qualcomm AI Hub为开发者缩短AI功能开发时间。

全新的Qualcomm AI Hub包含预先优化的AI模型库,可在搭载Snapdragon和高通平台的设备上无缝部署。这个模型库提供包括Whisper、ControlNet、Stable Diffusion和Baichuan 7B在内,超过75个热门的AI和生成式AI模型供开发者使用。

这些模型都已经针对设备上AI的出色性能、更低的内存利用率和更好的能源效率进行了优化,适用于不同的外形规格,并封装在各种运行时间环境中。每款模型都经过优化处理,充分利用高通AI引擎(NPU、CPU和GPU)中所有核心的硬件加速,使推论速度快4倍。

AI模型库自动处理从来源框架到热门运行时间环境的模型转换,并直接与高通AI引擎指引(Qualcomm AI Engine direct)软件开发组件(SDK) 配合使用,接着配合硬件达到硬件感知优化(hardware-aware optimization)。

开发者可将这些模型无缝集成至其应用程序中,缩短上市时间,并且充分发挥实现设备上AI所带来的优势,包括即时性、可靠性、隐私性、个性化和节省成本等。

预先优化的模型现已于Qualcomm AI Hub、GitHub和Hugging Face上提供。Qualcomm AI Hub会持续将新模型加入模型库,并即将支持其他平台和操作系统。只要立即注册,开发者就能在基于高通技术公司平台的云计算托管设备上自行运行模型,并优先访问Qualcomm AI Hub提供的新功能和AI模型。

Qualcomm AI Research首次在Android智能手机上运行,展现大型语言和视觉助理(Large Language and Vision Assistant,LLaVA)模型功能,这是一款具有超过70亿个参数的大型多模态模型 (LMM),可以接受包括文本和图像在内的多种类型数据输入,并能与AI助理生成关于图像的多轮对话。

这个LMM在设备上以反应灵敏的代码(token)速率运行,从而增强隐私性、可靠度、个性化和成本。具有语言理解和视觉理解能力的LMM可支持许多使用案例,例如识别和讨论复杂的视觉模式、对象和场景。

Qualcomm AI Research还首次展示了在Android智能手机上的低秩调整(Low Rank Adaptation,LoRA)。使用LoRA运行Stable Diffusion让用户可以根据个人或艺术偏好创造出高品质的定制化图像。LoRA减少了AI模型的可训练参数数量,实现更优秀的效率、可扩展性、和定制化的设备上生成式AI使用案例。除了可为不同的艺术风格微调语言视觉模型(LVM),LoRA还可广泛运用于如大型语言模型等各种定制化的AI模型,打造量身定制的个人助理、改善语言翻译等更多应用。

Qualcomm AI Research也在Windows PC上展示全球首见在设备上使用超过70亿个参数的LMM ,此模型可以接受文本和音频输入(例如:音乐、交通声音等),然后生成有关此段音频的多轮对话。