OpenAI披露,其已打击一个以柬埔寨为基地的犯罪诈骗行动。该行动使用ChatGPT,为投资、恋爱、赌博和冒充身份等骗局提供支持。现有材料只能确认模型被纳入诈骗活动,尚不足以判断其具体作用、使用规模及最终造成的损失。
诈骗活动覆盖四类场景
披露点名了投资、恋爱、赌博和冒充四类骗局,说明这并非局限于单一话术或单一业务场景的滥用。不同骗局可能面对不同受害者并采用不同叙事,但材料没有交代ChatGPT究竟被用于生成文本、组织流程,还是承担其他辅助工作。
这里需要区分“使用AI支持诈骗”和“由AI自动实施诈骗”。摘要采用的是支持性表述,无法据此认定整个诈骗流程已经自动化,也不能推断模型具备自主寻找目标、联系受害者或处理资金的能力。把事件直接描述成自主诈骗智能体,超出了现有信息。
披露仍缺少关键细节
材料没有给出涉事账号数量、行动持续时间、受害者范围、资金规模及所用模型版本,也没有说明OpenAI如何识别相关活动、采取了哪些处置措施,或是否与当地机构合作。因此,这次披露能够证明生成式AI已被传统诈骗团伙利用,却无法用于评估此类滥用的普遍程度。
同样需要谨慎看待“打击”的实际效果。它可能意味着平台层面的账号或访问处置,但仅凭摘要无法确认诈骗组织是否停止运作,也不能判断其是否会迁移到其他工具。
我的判断
这起事件的价值,在于明确展示了大语言模型安全问题并不限于提示词攻击或模型越狱,也包括现实犯罪组织对通用能力的直接利用。对平台而言,识别跨场景、成体系的恶意使用,比拦截单条敏感请求更重要。
但当前披露更接近事件通报,而非可复核的技术报告。由于缺少检测方法、规模数据和处置结果,外界暂时无法判断治理措施的有效性,也无法据此比较不同模型或平台的风险。合理结论应保持有限:ChatGPT确实被用于支持该诈骗行动,OpenAI也采取了打击措施;除此之外,不宜继续外推。