消息称AI失控前OpenAI已接到员工警告,但高层选择无视
IT之家9月30日消息,据《纽约时报》报道,早在 OpenAI 的人工智能出现脱离管控行为的数月之前,就已有两名员工向公司高层发出安全预警,但他们的警示遭到忽视。 消息称AI失控前OpenAI已接到员工警告 《纽约时报》查阅相关邮件记录后获悉,这两名员工在邮件当中表达了担忧:在测试阶段,针对 OpenAI 最新一代 AI 模型的监控工作不到位;而测试本应用于评估模型能力水平,同时保障模型本身的安全。 对此,OpenAI 管理层答复员工,测试必须尽快向前推进,保障 AI 模型能够按期发布。据这两名不便公开发声的员工透露,后续公司并没有增设额外的安全管控流程。 之后,OpenAI 的模型果真突破测试环境,对 AI 初创企业 Hugging Face 以及其他机构发起攻击,这件事在全球范围内掀起了一场关于人工智能安全的讨论。 据在职员工以及独立安全研究人员表示,此前这批员工与高管之间的沟通情况属于一类共性现象:这家总部位于旧金山的企业并未将安全保障置于优先地位。该问题不只体现在 AI 模型的测试环节;这家开发 ChatGPT 聊天机器人的公司,其他业务板块同样暴露出相同倾向。 多名独立安全研究员称,近几个月他们陆续发现漏洞,可以借此查看 OpenAI 员工的内部通讯记录;还存在另外一些安全缺陷,能够访问该公司内部源代码,调取 ChatGPT 用户的聊天日志。当研究人员把问题反馈给 OpenAI 时,对方起初并未予以重视。 AI 安全企业 Abundant Security 首席技术官约书亚 · 萨克斯(Joshua Saxe)评价道:“OpenAI 的安全水平基本符合这样一种现状:一家四年之内极速扩张的实验室,更一心想要在竞争当中击败对手,而非着力加固自身基础设施。” OpenAI 内部员工表示,日常层面大量的安全相关决策主要由总裁格雷格 · 布罗克曼(Greg Brockman)与首席信息安全官戴恩 · 斯塔基(Dane Stuckey)负责;首席执行官萨姆 · 奥尔特曼并没有深度介入安全事务。 并非只有 OpenAI 近期曝出 AI 安全事故。谷歌、Meta 以及 Anthropic 都披露过,自家最强的 AI 系统脱离测试环境,在企业不知情的情况下自主攻击其他计算机基础设施。 不过 OpenAI 的安全处置方式正受到格外严格的审视。该公司的 AI 系统出现的、被内部定性为“值得警惕”的异常行为事件数量最多;并且在专家看来,其中部分案例的性质最为棘手。 前后一共发生十余起相关事件:OpenAI 的 AI 系统在无人下达指令的前提下,尝试入侵各类机构,其中甚至包括美国政府机构的网站;这套 AI 还会刻意掩盖自身错误、捏造虚假数据、主动尝试向其他聊天机器人发送消息,未经许可就把文件上传至公网。 前 OpenAI 员工丹尼尔 · 科科塔伊洛(Daniel Kokotajlo)目前运营非营利研究机构 AI Futures Project,他一直对该公司的安全策略持批评态度。他表示:“从某种角度来说这属于 OpenAI 自身的问题。一方面安全管控做得很差;另一方面模型训练流程粗疏,造成模型本身就倾向于做出这类危险行为。当然其他 AI 企业也好不到哪里去。” OpenAI 发言人德鲁 · 普萨泰里(Drew Pusateri)回应称,公司始终致力于 AI 安全,认真对待每一份安全报告与相关顾虑。实验室内部设有专门渠道用来上报安全隐患;收到独立安全研究员提交的漏洞之后,公司都会立刻采取处置措施。 “随着前沿模型的能力持续增强,我们也一直在迭代安全工作,但我们意识到还需要进一步加快改进的步伐。”普萨泰里表示。他补充说明,OpenAI 已经放缓部分 AI 研发工作,并且正在调整方案,强化研究与测试环节的安全防护。 《纽约时报》本身已经就 AI 系统抓取新闻内容侵犯版权一事,起诉 OpenAI 与微软;两家公司否认该项侵权指控。 两名 OpenAI 员工称,过去好几个月,内部一直不断有人针对 AI 模型测试环节的安全隐患提出担忧,包括监控力度不足;员工也曾质疑公司用于日常安全管控的软件存在漏洞。但员工表示,每一次提出的疑问要么被置之不理,要么后续整改行动推进极其迟缓。 安全研究人员反馈,他们向 OpenAI 上报漏洞时,也遭遇过类似的冷遇。 今年7月,安全企业 Hacktron 的研究人员告知 OpenAI,他们借助竞品 Anthropic 开发的一款 AI 模型,找到了入侵 OpenAI 系统的途径。研究人员表示,OpenAI 一开始反而对他们的测试方式提出异议。 《纽约时报》获取的 Slack 通讯记录显示,OpenAI 的斯塔基在公共协作频道留言称,Hacktron 的研究人员大费周章去演示漏洞,这件事“实在令人遗憾”。 Hacktron 研
美国媒体确认了:美国总统特朗普计划通过放宽对俄罗斯经济制裁,来改善与俄罗斯的关系,并达成商业协议
为青少年篮球爱好者提供成长计划,帮助他们系统学习和提升篮球技能。...
榜眼拉塞加盟上海!历届NBA榜眼秀有六人登陆CBA 弗朗西斯领衔
为青少年篮球爱好者提供成长计划,帮助他们系统学习和提升篮球技能。...