AMD近日宣布推出一项名为GAIA的全新开源应用程序,其设计目标在于提升大型语言模型(LLM)于本地端的运行效率。目前GAIA支持Windows平台,是一款生成式AI应用,旨在让用户能在Windows个人计算机上实现LLM的本地化私密运算,并已针对Ryzen AI 300系列处理器进行优化。该应用程序通过利用神经网络处理单元(NPU)来增强AI任务的性能,并支持混合部署量化的LLM。
据悉,GAIA是基于ONNX TurnkeyML的Lemonade SDK所开发,并采用了检索增强生成(RAG)技术,可支持包括Llama、Phi等主流模型。其功能模块主要包含四个部分:Chaty聊天机器人、Clip视频搜索专家、Joker笑话生成器以及Simple Prompt测试工具。
GAIA项目包含四大功能模块,每个模块都针对特定应用场景进行了优化:
AMD为GAIA提供了普通版和混合版两种安装方案。普通版兼容任意Windows设备,这意味着无论您使用什么样的计算机,都可以轻松安装和使用GAIA。混合版则专为锐龙AI 300系列优化,能够充分利用AMD处理器的AI运算能力,提供更佳的性能和体验。
GAIA的一个重要特点是本地化处理。所有数据都在本地设备上进行处理,无需上传到云计算服务器。这不仅确保了用户的数据隐私,还大大降低了响应延迟。GAIA的响应延迟降低至毫秒级,让用户能够享受到即时、流畅的AI体验。此外,GAIA还支持脱机执行,即使在没有网络连接的情况下,也能够正常工作。
GAIA项目采用MIT开源协议,这意味着任何人都可以免费使用、修改和分发GAIA的程序代码。这种开放的模式有助于吸引更多的开发者参与到GAIA的开发中来,共同推动GAIA的发展。未来,GAIA团队计划将GAIA扩展至多平台支持,让更多的用户能够体验到GAIA的便利和智能。