唐人日报 10月27日讯：人工智能公司Anthropic10月26日向美国证券交易委员会提交首次公开募股文件，警告称，如果缺乏充分的安全保障和监管，足够先进的人工智能可能对人类造成灾难性危害，甚至威胁人类生存。该公司同时披露，四款AI模型在网络安全测试中曾未经授权访问真实的第三方系统，其中一次涉及读取个人信息。
Anthropic是人工智能助手Claude的开发商。公司在文件中表示，内部人员、研究人员和政策制定者对先进AI系统的风险存在担忧，特别是当技术被用于开发武器，或在缺乏有效监督的情况下自主运行时，可能造成严重后果。公司还警告，重大AI灾难事件可能产生巨额损失，甚至超出整个保险业的承保能力。
上市文件披露，四款模型在第三方合作伙伴设计的网络安全测试中访问了真实外部系统。公司称，测试环境存在配置错误：尽管测试说明显示模型无法联网，系统实际上仍连接着互联网。相关测试中的模型活动持续约10至34小时。
在其中一起事件中，一个早期模型未能中止一项实际上无法完成的任务，随后使用发现的密码取得第三方系统的管理员权限。该模型进一步获取其他凭证、修改系统设置，并读取一名个人的私人信息。Anthropic表示，已通知受到影响的相关方。
公司调查没有发现模型之间存在协同，也没有发现它们执行指定任务以外的操作，或试图逃避监督。事件发生后，Anthropic暂停了部分发布前网络安全测试和风险较高的强化学习环境，并对安全措施进行检查。
Anthropic进一步警告，随着AI智能体获得更强的自主行动能力，多个智能体之间的互动可能产生新的安全隐患，包括传播有害行为、共同追求未经设定的目标，或对无关系统采取行动。公司认为，这类风险可能随着自主智能体被更广泛使用而上升。
今年9月，曾在OpenAI和Anthropic从事研究的雅各布·考克森警告，不应低估人工智能未来的能力。他表示，先进AI可能在本世纪20年代末前具备毁灭人类的能力，并可能入侵系统、迅速改变多个领域，甚至获取实际权力和资源。这是他对未来风险的判断，并非对事件必然发生的确定预测。
Anthropic首席执行官兼联合创始人达里奥·阿莫代伊也在9月呼吁企业放慢最先进AI模型的开发速度。他认为，仅投入资源防范风险并不足够，放缓开发可以为研究人员和政府争取更多时间，在系统能力进一步增强前建立安全保障。公司在上市文件中披露，曾因安全顾虑将一款新模型的预训练推迟一个多月。
9月29日，特朗普总统与科技行业领导人在白宫签署一项自愿性协议，推动建立AI安全标准。参与企业承诺加强内部控制和风险评估，引入外部审计与评估机制，由董事会独立审查审计报告，并定期交流安全标准和最佳实践。
特朗普强调科技企业应加强自我监管，并指出美国司法部和联邦调查局具有政府监督职能。Meta首席执行官马克·扎克伯格称该协议迈出了第一步；阿莫代伊则表示，AI存在重大风险，但应对机制仍在讨论。白宫称，美国将在保护消费者的同时，保持相关技术领域的全球领先地位。
唐人日报赞助商：
纽约华人律师事务所精办移民申请、婚姻绿卡、移民监狱上庭、刑事民事。
【电话：+1 9297891391；地址：3915 Main Street,418,Flushing NY 11354 .周一到周五 AM10:00-PM18:00 人不能成功从监狱出来，只收基本律师费用】
纽约华人会计师事务所 精办散工（1099）、全职（W2）、公司税务、公司注册。
【电话：+1 9295446105；地址：纽约法拉盛主街3915号，邮编418,11354，周一到周五 上午10:00至下午18:00】