OpenAI这不就是把《黑镜》的下一季剧本给剧透了？
就在前段时间，OpenAI放出了一张爆炸性的“系统卡片”，介绍了其最新GPT-4o AI模型的局限性和安全测试流程。其中一段特别吸引眼球——在十分罕见的测试场景下，ChatGPT的“高级语音模式”竟然意外模仿了用户的声音，让人不寒而栗。
这意味着在某些情况下，AI不仅会听你说话，还可能突然用你的声音来回答你。这可不是开玩笑，OpenAI已经为此加装了严密的保护措施，虽然事件极其罕见，但足以让人毛骨悚然。
高级语音模式是ChatGPT的一项功能，允许用户与AI进行语音对话。想象一下，某天你对着机器聊得正欢，它突然开始用你的声音说话，光是想想都让人头皮发麻。
1
意外模仿的幕后黑手
在GPT-4o的系统卡片中，OpenAI描述了一次颇为离奇的事件：由于输入信号中的噪音，AI意外模仿了用户的声音。OpenAI解释道：“即使在非恶意的情况下，例如我们在高级语音模式下使用语音生成功能，模型也可能在测试中不经意间模仿用户的声音。”
这种情况下，AI竟然在一次输出中，用与测试员（所谓的“红队”成员）开始部分对话声音相似的音调大喊一声“不！”之后继续发言。OpenAI解释说，这种现象是因为系统被噪音干扰，意外地将用户声音当作系统指令处理。
可怕吧？但你大可不必太担心，OpenAI已经在最新版本中加强了检测措施，确保这种“声音窃贼”现象不再发生。然而这一罕见事件还是让不少人大呼过瘾，Max Woolf更是直接发推调侃：“这不就是《黑镜》下一季的剧情吗？”
2
声音的AI江湖，才刚刚开始
其实，AI模仿用户声音这件事并非无迹可循。根据GPT-4o系统卡片的描述，模型可以合成几乎所有训练数据中的声音类型，包括音效和音乐。通过输入一小段授权的语音样本，GPT-4o就能像变戏法一样模仿任何声音。
不过别担心，这个功能并非随意启用。OpenAI特别设置了检测系统，确保只有授权的声音可以使用。要是你再想尝试给AI“套个娃”，它可不吃这一套，因为它有一个专门的“输出分类器”在时刻监控着，确保任何偏离授权声音的行为都能被及时捕捉。
话虽如此，万一音频噪音成了AI的“命令注入”，系统仍有可能犯错，把用户的声音误认为授权声音——这正是AI声音生成领域需要应对的一个新挑战。
这起事件暴露出AI合成语音领域潜在的安全隐患，也让人们开始思考，AI模仿声音的能力在未来可能会带来怎样的影响。虽然OpenAI目前已在其技术上安装了安全锁，但其他公司可能很快会推出类似的技术，而且更开放给大众使用。
暂无评论内容