拍张冰箱照片告诉你今晚吃啥按照标题的顺序
【金色港湾资讯网为您推荐阅读】
此前曾推出过能上传图片的“代码解释器“功能，具备了一些初步处理图像和文本照片的能力。但毫无疑问，今天这个“随手拍、随心问”才更贴近大多数用户的AI助手使用场景。
按照标题的顺序，今天更新的功能主要有两点：基于图片的对话，以及实时语音对话。
先说关注度非常高的图片聊天功能。按照的说法，用户现在可以拍一张冰箱的照片，然后让来推荐菜谱；在旅行时拍摄一张地标的照片，让来讲述这处景点的有趣之处。当然，也能拍一张数学题的照片，让来解答。
在官方给出的例子中，给到一张自行车的照片，问它如何把座椅调低。然后表示看你车的型号，有的车有快拆杆，有的是用螺栓固定，然后给出了详细的步骤。
随后官方装作不懂，拍了一张螺栓的照片，并用官方画图工具圈出来以示强调，然后问这是不是快拆杆。表示你这个是螺栓，得去找一个内六角扳手。
随后官方又拍了一张工具箱的照片，问到底是哪一个扳手。也顺利地认出了扳手，并准确提示用户到底要拿哪一个尺寸。
会说话啦！
除此之外，也将语音识别、转录和音频生成功能打包，推出了AI语音聊天的功能，这项功能只适用于iOS和安卓客户端。官方表示，用户可以用这项功能为家里的小孩讲睡前故事。或者家里吃着饭，突然为某个问题吵起架来，这个时候就可以把拍在桌面上解决争论。
介绍称，这项功能使用了开源语音识别系统，将用户说的话转录成文本。同时还用上了一项新的文本转语音模型，并与专业配音演员合作，提供5种可供用户自行选择的声音。
更先进的AI也有新的风险和局限性
表示，新的语音技术能够仅通过几秒钟的真实语音创造出逼真的合成声音。这种功能打开了创造力的大门，也带来了新的风险——例如不法分子可能伪造公众人物进行欺诈。所以的决策是通过“语音聊天”这样的特定用例来推出这项功能。
同时也在与更多的机构展开合作。例如流媒体公司就在试用这项功能来进行语音翻译，通过使用播客主持人的声音将播客音频翻译成其他语言，帮助播客主持人扩大他们的全球影响力。
图像也会带来新的挑战，例如幻觉问题，以及使用者在高风险领域却依赖模型对图像的解释。因此在上线前，也对极端主义和科学能力等领域进行了风险测试。
另外对看到这篇文章的中文读者来说，图片对话的体验大概率值得期待，但语音对话可能要打一些折扣。表示，该模型擅长转录英文文本，但在一些其他语言，特别是那些使用非罗马字母的语言中表现不佳，建议非英语用户不要使用来进行此类用途。
海量资讯、精准解读，尽在新浪财经APP
