发布于：2023-06-02 13:28 阅读次数：
【外汇EA大师网讯】——open ai周三宣布，该公司正在使用一种新的方法来训练人工智能模型，以对抗人工智能的“幻觉”。
这项研究正值人工智能蓬勃发展和2024年美国总统大选前夕，人工智能系统产生的虚假信息受到了前所未有的激烈讨论。
去年，OpenAI发布了基于GPT 3号和GPT 4号的聊天机器人ChatGPT，加速了生成式人工智能的繁荣。在两个月内，其月用户超过1亿，据报道，这创下了增长最快的应用程序的记录。到目前为止，
微软对OpenAI的投资超过130亿美元，这家初创公司的价值已经达到约290亿美元。
当OpenAI的ChatGPT或Google的Bard等模型完全捏造信息时，就会出现人工智能错觉，表现得好像在无休止地讲真话。例如，在谷歌2月份为巴德发布的宣传视频中，
这个聊天机器人对詹姆斯韦伯太空望远镜做了一个不真实的声明。近日，ChatGPT在纽约联邦法院的一份文件中引用了一起“伪造”案件，涉案的纽约律师可能面临制裁。
OpenAI的研究人员在报告中写道：“即使是最先进的模型也容易产生错误的——。他们往往在不确定的时刻捏造事实。这些幻觉在需要多步推理的领域尤其成问题。
因为一个逻辑错误就足以毁掉一个更大的方案。"
OpenAI对抗捏造的潜在新策略是训练人工智能模型，当它们得到答案时，为每个个体和正确的推理步骤奖励自己，而不仅仅是正确的最终结论。据研究人员介绍，这种方法被称为“过程监督”。
而不是“结果监督”，它可能会导致对人工智能更好的解释，因为这种策略鼓励模型遵循更像人类的“思想”链方法。
OpenAI的mathgen研究员Karl Cobbe告诉美国消费者新闻与商业频道，“检测和减轻模型的逻辑错误或幻觉是建立一致的通用人工智能(AGI)的关键一步。”他指出，
虽然OpenAI没有发明过程监控方法，但该公司正在帮助推动它向前发展。“这项研究背后的动机是解决错觉，使模型更有能力解决具有挑战性的推理问题。”
科布表示，OpenAI已经发布了一个包含80万个人标签的数据集，用于训练研究论文中提到的模型。
电子隐私信息中心高级顾问、人工智能和人权项目负责人本温特斯(Ben Winters)对此表示怀疑。他告诉美国消费者新闻与商业频道，
他希望研究完整的数据集和附带的例子。
温特斯说：“我只是认为，当它实际上被用于野外时，这本身并不能显著缓解对错误信息和不正确结果的担忧。”他补充说，“他们是否计划实施他们在这里(他们的产品中)通过研究发现的任何东西，这肯定很重要，
如果他们没有，那确实会带来一些相当严重的问题，即他们愿意向公众发布什么。”
布朗大学技术责任中心主任苏雷什文卡塔苏布拉马尼安（Suresh Venkatasubramanian）告诉CNBC，由于不清楚OpenAI论文是否经过同行评审或以另一种形式评审，
他认为这项研究更多的是初步观察。
文卡塔苏布拉马尼安说：“在我们对此说任何肯定的话之前，这将需要在研究界得到震动。在这个世界上，有许多结果非常有规律地出现，由于大型语言模型工作方式的整体不稳定性，
在一种环境、模型和背景下可能有效的东西，在另一种环境、模型和背景下可能不起作用。”
文卡塔苏布拉马尼安补充说，“人们一直担心的一些幻觉材料是[模型]编造引用和参考文献。这篇论文中没有证据表明这种方法会有效。……我并不是说这样行不通；我是说，这篇论文没有提供证据。”
科布表示，该公司“可能会将[论文]提交给未来的会议进行同行评议。”OpenAI没有回应记者的置评请求，即该公司计划何时在ChatGPT及其其他产品中实施新战略。
AI Now研究所的常务董事莎拉迈尔斯韦斯特（Sarah Myers West）告诉CNBC说：“看到公司试图修补其系统的发展，以试图减少这类错误，
这当然是受欢迎的——我认为关键是将其解读为企业研究，因为在更深层次的问责制方面存在许多障碍。”
韦斯特补充道：“(OpenAI)正在用这篇论文发布一个人类水平反馈的小数据集，但它没有提供用于训练和测试GPT-4的数据的基本细节。因此，仍然有大量的不透明性挑战着人工智能领域任何有意义的问责努力，
即使这些系统已经直接影响到人们。”
扫一扫添加微信