苹果正在为 Siri 开发屏幕感知功能

最新的 iOS 18.2 beta 2 已于周一开始向开发者推出。该更新带来了大量新功能，包括设置中的 ChatGPT、备注中的 “创建图片”、查找我的升级、邮件应用徽章等。稳定版更新预计将在下个月的某个时候发布。

现在，我们还发现苹果正在为其聊天助手 Siri 开发一项高级功能。作为  Apple Intelligence 功能的一部分，苹果为开发者提供了 API，可以让 Siri 更好地了解屏幕上发生的事情。据报道，有一种新的 API 可以让开发者将其应用程序上的屏幕内容提供给 Siri 和苹果智能。摘自苹果公司的文档：

当用户对屏幕上的内容提出问题或希望对其执行操作时，Siri 和 Apple Intelligence 可以检索内容，以回答问题并执行操作。如果用户明确提出要求，Siri 和 Apple Intelligence 可以将内容发送到支持的第三方服务。例如，某人可以查看一个网站，并通过说或输入类似 “嘿 Siri，这个文档是关于什么的？” 这样的短语，使用 Siri 提供一个摘要。Microsoft 365 的新 Copilot 功能将于七月推出

在最新的 iOS 18.2 测试版更新中，与 Siri 集成的 ChatGPT 可让你询问有关图片、视频、PDF 和演示文稿的问题，并获得更多相关信息。例如，你可以问 Siri：“这个文档是关于什么的？” Siri 会截图给 ChatGPT，并提供你所需的信息。

不过，正如 MacRumors 所指出的，ChatGPT 集成与苹果文档中描述的屏幕感知功能并不相同。苹果将屏幕感知功能概括为 Siri 理解、分析屏幕上的内容并采取行动的能力。例如，如果有人给你发了一条联系人号码的短信，你可以要求 Siri 将其添加到你的联系人列表中。

有趣的是，即使在最新的 iOS 18.2 beta 2 更新中，上述功能也无法使用，ChatGPT 目前只能访问屏幕截图。看来，这可能是明年才会出现的几项 Siri 功能的一部分。