资讯/2026年10月2日
新工具

Gemini推出视觉引导,提供实时描述与取景提示

谷歌在兼容Android设备上推出Guided Vision,让Gemini Live通过摄像头描述物品、读取文字并给出口头取景建议。功能面向视障及需要视觉协助的用户,支持Android 9及以上;官方明确它不用于导航、障碍物检测或替代助行工具。

G1 个来源432026年10月2日无障碍实时视觉移动工具

要点

  1. 可主动提示调整镜头
  2. 支持Android 9及以上
  3. 不承担出行安全导航

发生了什么

谷歌在兼容Android设备上推出Guided Vision,让Gemini Live通过摄像头提供实时描述,并用口头提示帮助用户调整镜头。功能支持Android 9及以上,在Gemini Live支持的地区与语言范围内开放。1

它特别面向视障和需要视觉协助的人,也适合用来理解实时多模态产品如何围绕具体需求设计。

具体是什么

传统拍照问答要求用户先拍到合适画面。Guided Vision的一个重点,是在画面过高、过近或偏离目标时提示重新取景,再继续回答问题。官方列出的场景包括读标签、找物品和描述外观。1

这让交互从“给模型一张图”变成连续合作。模型能否告诉用户缺少什么信息,与它能否识别已经看见的内容同样重要。

对于开发者,这个思路可以迁移到许多拍摄输入工具:当材料不足时先改善输入,而不是急着给出确定答案。

怎么用

在支持条件下更新Gemini,进入个人设置开启Use Guided Vision in Live,然后在Live中共享摄像头。1 初次试用建议选择熟悉、低风险的物品,例如一张普通菜单或包装上的非关键文字。

先观察系统是否能正确描述,再故意让目标偏离画面,检查取景提示是否清楚。对细小文字,可以改变距离和光线,比较结果是否一致。

如果为别人制作使用教程,应该把完整操作路径、设备要求和失败情况一起展示。不要只剪出识别成功的几秒钟,让观众误以为所有环境都能得到同样结果。

测试时也要考虑不同人的语言习惯和操作能力。提示需要具体可执行,不能只是反复说“请把镜头拍清楚”。

意味着什么

我的判断是,优秀的AI交互不只是模型能力强,还要帮助用户把需要的信息送进来。对于看不清屏幕或不方便操作的人,语音反馈与连续对话可能比更多按钮更有意义。

这也给内容创作者提供了更具体的测评方向:检查系统在失败时如何帮助用户,而不是只评价一次识别准确率。

小团队开发同类工具时,可以先选择一个清楚的任务,把输入指导、结果解释和退出方式做完整,再逐步扩大范围。

局限与风险

谷歌明确说明它不是医疗设备、助行工具或白手杖替代品,也不用于导航、出行安全指导和障碍物检测。1 这些限制应保留在介绍中,不能只传播产品演示。

本文没有在设备上实测。摄像头画面可能包含他人或私人信息,使用时应确认拍摄范围。涉及行动安全或重要决定时,不能仅依赖生成式视觉描述。

为什么值得看

展示了实时多模态交互如何围绕具体需求设计,而不是只让模型描述一张图。

谁会受影响

无障碍工具开发者、相关内容创作者和需要视觉协助的用户会受到影响。

今天就能怎么试

在支持地区更新Gemini,进入个人设置开启Use Guided Vision in Live,再打开Live共享摄像头试读普通物品标签。

未实测

原始来源

1Guided Vision in Gemini Live: built for accessibility · Google AI Blog · 2026年10月2日✓ 已打开核对

本条由 AI 根据上面的原始来源整理,经编辑审核后发布。数字和结论以原文为准,发现错误欢迎反馈。

相关动态

新工具深度OpenAI·2026年9月29日

OpenAI推出常驻智能体Dots,支持跨应用持续办事

OpenAI发布由GPT-6 Astra驱动的Dots,为智能体配备云端电脑、浏览器和应用连接。它能持续跟进项目、吸收反馈,并在ChatGPT、Slack或Teams沟通。首批面向符合地区条件的Pro、Business Premium及管理员开启测试的企业用户。

O3 个来源55常驻智能体团队协作
新工具深度OpenAI·2026年10月7日

ChatGPT开始推送GPT-6,可生成交互式回答界面

OpenAI于10月7日开始在ChatGPT的Chat体验推送GPT-6与Intelligent UI,回答可包含按钮、图表、表单和互动工具。付费档先开放,免费与Go档次日开始推送;该公告说明此次更新不改变Work和Codex所使用的模型。

O1 个来源43交互界面知识创作
新工具深度DeepSeek 更新日志·1 小时前

DeepSeek开放搜索与抓取接口,支持智能体接入

DeepSeek于10月17日开放自研网页搜索能力,Search返回结构化检索结果,Fetch把单个网页转换为Markdown。两者复用DeepSeek API密钥,按有结果的成功请求计费,每1000次5元;空结果、失败及超时不收费。

D2 个来源21.346023716789972网页搜索开发接口
新工具深度Hugging Face Blog·2026年10月4日

微软业务智能体评测接入 HF,直接检查数据库结果

ThinkingBox 在 507 个有状态业务流程中检查智能体最终留下的数据库记录和副作用,并对每项任务重复运行二十次。HF 博文展示了工具调用看似正常却写错状态的案例,提醒平均成功率、至少成功一次和次次成功不能混为一谈。

H1 个来源68业务自动化智能体评测
Gemini推出视觉引导,提供实时描述与取景提示 · 潮汐情报