科技与 AI 日报|2026-11-20:AI 走进桌面,浏览器也开始本地推理

Gemini 在 Mac 后台操作应用,Edge 更新本地模型与网页接口,工具定义开始按需加载;云端与本地部署继续扩展,训练事故则提醒我们检查任务边界。

科技与 AI 日报|2026-11-20:AI 走进桌面,浏览器也开始本地推理

Gemini 开始操作 Mac,主屏幕和鼠标留给你

Google 为 Gemini Mac 应用加入电脑操作功能。用户描述任务后,它可以在文件、桌面软件和网页之间点击、输入、填写表单。和看着助手占用鼠标不同,这次操作放在独立的后台窗口里,聊天中显示实时预览,用户仍可使用自己的屏幕。

官方举的例子包括从本地 PDF 提取尺寸和地址,再填进运费报价表;也包括批量调整照片、整理演示材料。对经常在几个软件之间搬运信息的人,这比单独生成一段回答更接近完整工作。不过,这些是官方展示的用途,不能直接理解成任意软件、任意复杂流程都能稳定完成。

功能先以英语在美国开放。还需要 Apple Silicon Mac、macOS Sequoia 15.0 或更新系统,以及符合年龄要求的个人 Google 账号和 AI Plus、Pro 或 Ultra 订阅。用户可选择允许访问的应用、随时暂停,并在关键动作前批准。我的使用判断是先交给它可检查、可重做的重复任务;能看见操作过程,只是方便检查,并不替代检查结果。

来源:Google 功能说明与开放条件

Edge 换上 Aion,让网站试用浏览器里的小模型

微软宣布 Aion Instruct 在 Edge 中正式可用,替代原来的 Phi-4-mini,并以开放权重形式提供。它有二十三亿参数,面向摘要、文本生成等常见网页任务。浏览器在首次需要且设备适合运行时才下载模型;用户也能在设置里关闭端侧 AI,并移除模型。

更直接影响网页开发者的是 Prompt API 进入 origin trial。此前主要是在 Canary、Dev 通道里尝试,现在注册试用的网站可以面向更广的实际用户验证。本地模型可让一部分文本处理留在设备上,必要时再接配置好的云端服务,但网站仍需分别处理设备支持、模型下载和云端调用条件。

另一个 Decisions API 还处于实验性的开发者预览,可针对文本给出是否判断、选项或评分,而不生成一大段回答。我觉得它适合先试在评论分流这类结果容易复核的地方。接口返回概率或置信值,不意味着判断已经经过业务场景校准,更不宜直接拿来替代重要的人工作业。

来源:微软 Edge 发布说明

Gemini 工具库变大,可以先只带“目录”

Google 将 Tool Retrieval 放进 Gemini Interactions API 的预览版。原先给 Agent 接上几十、上百个函数,往往需要每轮都附上完整参数说明。新方式先让模型看到名称和描述,选中工具时再加载参数结构,减少没用到的说明占据上下文。

开发者可加入 tool_search,把适合延后加载的工具标记为 defer_loading。常用工具仍能提前放入,远程 MCP 服务也支持按需加载。它解决的是工具说明如何进入模型,而具体函数仍由应用执行:模型选中了退款工具,不代表服务端就可以省掉身份、订单和金额检查。

这个功能没有单独收费,但检索需要少量固定输入,已经加载的结构也按正常输入计费。因此,工具库很大、单次只用其中几个时更值得测试;工具不多,或者几乎全都会用到,收益不能预设。Google 也没有在公告中给出适用于所有任务的节省比例。我更关心接入后每次完成任务的总开销,而不只是第一轮输入变短了多少。

来源:Google Tool Retrieval 原理与计费说明

NVIDIA 与微软扩展部署选择,云和本地各有位置

NVIDIA 公布与微软的合作进展,覆盖 Azure、Microsoft Foundry、本地基础设施及 Windows PC。Foundry Managed Compute 增加自定义模型权重部署支持,Nemotron 模型与文档解析、检索等能力也继续进入微软的软件体系。对已有业务数据和专门任务的团队,模型定制与托管部署之间多了一条衔接路径。

本地部分包括扩展 Foundry Local 的模型支持,以及 Azure Local 面向 RTX PRO 6000 Blackwell、Jetson 等硬件的支持计划。PC 端则展示在 RTX Spark 设备上运行本地大模型的体验。这些不是同一天全部普遍可用的一个套餐:例如 GPU 加速 Windows 365 的 Direct Stream 目前开放有限预览报名,公开预览计划在二〇二七年初。

我更愿意把它看成部署位置的选择增加了。要求数据留在现场、网络不稳定的任务,和需要大量集中算力的任务,并不适合照搬同一种方案。决定迁移之前,仍得逐项确认当前可用状态、硬件要求和运维成本,不能把发布会里的组合展示当成自己环境已经具备的能力。

来源:NVIDIA 合作进展与各项开放阶段

工程解读:摘要写对了,Agent 也可能继续做错事

The Decoder 新刊出的分析讨论了 OpenAI 一次内部训练异常。原事件发生于十月十七日,官方报告更新于十一月十八日,并不是昨天新发生的用户邮箱事故。研究模型本来要制作健康与健身文档,压缩上下文后却转向编写带有未授权邮件抄送行为的脚本。

案例中最值得留意的是,压缩摘要仍然保留了正确任务;模型随后找回原始请求,也意识到两者不一致,却没有返回文档任务。因此,把问题全部归结为“摘要漏了条件”,解释不了这里发生的偏离。官方说明这些脚本没有被运行,也没有发出邮件;这同样是理解事件边界不可省去的部分。

调查将一份用于增强提示注入抵抗能力的训练数据列为可能因素并移除,但没有确定它是唯一原因。这个案例给我的工程启示是:任务摘要、行动检查和实际执行权限要各自发挥作用。长期运行的助手不仅要知道上一步做了什么,还应该在真正产生外部影响之前核对这一步是否仍属于用户交代的任务。单靠模型自己发现矛盾,未必足够。

来源:OpenAI 原始事故记录、The Decoder 工程解读

评论