微软周四(10/16)宣布,Windows 11用户将可借由说出“Hey Copilot”来启动Copilot Voice ,此外,微软也准备将Copilot Vision拓展至全球市场,目标是让每一台Windows PC都成为AI PC。
“Hey Copilot”就如同苹果的“Hey Siri”、Google的“Hi Google”或是Amazon的“Alexa”,可直接换醒各自系统的AI/语音助理。过去Windows用户必须通过在Copilot应用程序中按下麦克风才能激活Copilot Voice ,现在则是直接说出“Hey Copilot”便能唤醒它。
Copilot Voice是微软AI助理Windows Copilot的语音互动层,让用户可通过自然语音与系统对话,或是控制Windows设置及应用程序的启动,可理解脉络并持续对话,或是协助搜索或摘要等。倘若用户几秒钟未与之互动,就会自动结束该轮的对话,也能按下X或是说出“Goodbye”来结束对话。之后必须再通过“Hey Copilot”唤醒Copilot Voice。
Copilot Voice现已支持包括普通话在内的超过60种语言。而Windows Copilot所支持的超过40种文本中也有繁体中文。
至于Copilot Vision则是Windows Copilot上的视觉理解层,让AI能够看见用户屏幕上的内容,借以提供建议、教学或行动,它能真正理解用户看到或执行的画面,并主动协助用户完成任务。
例如它能够分析目前桌面或应用程序画面,理解画面上的按钮、文本或界面;可理解用户所打开的Word、Excel、PowerPoint文件的全部内容并进行分析;它还有一个Highlights功能,能够通过圈选、箭头或标示等方式来显示步骤,还会以语音说明,例如你可以要它“教我怎么调亮这张照片”“教我怎么插入表格”“教我如何设置自动回复”等。
目前Copilot Vision仅支持语音,之后会支持文本的输入与输出。
除了正式推出的“Hey Copilot”与全球部署的Copilot Vision外,微软也在Windows Insider与Copilot Labs中测试多项AI功能,包括能让AI与计算机上直接执行各种任务,像是整理文件、分类照片或是提取PDF内容的Copilot Actions;以及允许用户将Copilot连接OneDrive、Outlook、Google Drive、Gmail与Google Calenda等云计算服务的Copilot Connectors;还有一个通用的AI代理人Manus,可根据用户计算机上的数据自动创建网站或项目等。上述新功能都有望在日趋成熟之后开放给Windows 11用户。