联网能力,让 LLM Chat 成为轻易突破的入侵入口

来源: 投稿
2024-06-18 10:25:03

https://x.com/Kinsgar_L/status/1802605685580144915

大模型生成内容,这个“生态”里,接下来必定会发生世界级安全事故,就看具体类型是普通人轻易中招导致重大损失,还是技术人大意中招,又或者是大模型应用的 WorkFlow 上自动化中中招了。

这断言基于 4 个核心要点:

1、当前大模型生成内容的无法一眼/亿眼丁真性,并且短期内还是无解的。

2、大模型训练语料的清洗问题。对于内容准确性还无法做到多么牛皮。

3、【特别是 AI Chat 联网能力,带来了严重的隐患,这搜索引擎相当于一个轻易突破的入侵入口】。

4、生成内容没有评论交互环境。这是与传统内容生成产品(UGC、PGC)最大的,但又是完全不必要的区别点。

假如大模型直接返回了这种命令,阁下又该如何应对?

已经实测过,在网站发布了内容,被搜索引擎抓去,可以【快速地】进入大模型生成内容里。当然被索引进来生成的权重问题是另一个研究话题了。就算 Gemini 有核验功能,也只能索源,增加了一点置信度而已,但本质问题还存在。

www.oschina.net 这个 WizMap 的页面信息我看它是上午 10 点多更新的,中午的时候我这个跟 Gemini 的问答就已经把它的信息抓过来生成给我了。

怎么解?

1、技术上演进,当然包括各方面,幻觉问题、理解大模型内部 DNA/逻辑等。

2、垂直领域专业化,比如限定范围、人工。

3、联“网”限定,谁说这个网一定得是搜索引擎这种,换个思路,联一个指定的可控 RAG 之类的“内容数据库”即可。这部分本质也是上边第 2 点“限定范围”的一种具体处理。

4、产品形态上去处理其实更好做:AI Chat 产品上增加【生成内容评论交互环境】,内容的本质上是做 UGC、PUC 整合,整体是“社区化”。对比一下就很明显了:为何像知乎那么多抖机灵回答,我们不会太在意前边讲的这种安全问题,sudo rm -rf / 这种回答知乎上不是没有,而是有评论环境“指正”,给了一些“容错率”,而这也是在 AI Chat 之前的现状,该怎么样还是怎么样,AI Chat 在这方面做到这一步已经足够理想了先,别奢求一步把这种“传统问题”都解决了。(直接搞得定那当然更好啊😆)

5、产品上,Gemini 的核验功能,实际上是一种不错的辅助,但不足够,需要更多策略来进行“辅助”,包括更直接的索引针对源内容的“评价”(也就是前边说的评论交互的信息)、包括索引时需要“官方信息”权重更高之类的更严格的一套权重算法。

6、产品上,对于可直接复制去运行这样的生成内容,配套严格的测试环境之类的能力。

特别是【生成内容评论交互环境】这个产品形态,目前似乎没有人在集成去做。包括原有的问答产品,本身已经是社区化了的,本身是最好去做出 AI Chat 产品差异化的,本身是最好去做好这个一眼/亿眼丁真问题的。这是最令人失望的。。。但其实这样“庞大”的“内容社区化”,其实也不好做,还是要基于“限定范围”这个方向。

另一个断言:类似 SQL 注入、XSS 这样专门的针对前边提到的利用大模型联网“漏洞”的攻防体系会诞生。这一套攻防的核心点:

搜索引擎抓取权重研究,包括平台本身权重的利用、攻击内容(兼顾问与答)资源稀缺性研究等。

一旦大模型联网索引本身采用另一套权重算法,那么需要新的研究。

一旦 AI Chat 产品采用“社区化”,产品形态增加了评论交互能力,那么攻防研究重点也将增加到“AI 评论”本身这个大方向。而其实,这个方向已经在不断发生。。。一言难尽:

这么一绕,总体来说,产品形态去整合 AIGC 与 UGC、PGC,做生成内容评论交互环境还是有一些问题要处理。但既然 Stack Overflow 有能力去“辨别” AI Chat 生成的内容,那么这条路还是可以走。当然,不要把希望【全】押在“有能力辨别 AIGC 的内容”,这本身不很光明。

一通逼逼之后,发现现成的就有一个案例,但比较小,还达不到我所谓的“世界级”:一家名为 Reworkd 的初创公司在尝试商业化过程中,通过使用 ChatGPT 生成的代码进行项目迁移,导致服务因为代码错误无法正常订阅,造成超过 1 万美元的损失和服务 5 天的停机。。。UUID 生成逻辑有问题,看出来了吗?

https://www.oschina.net/news/297642

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
分享
返回顶部
顶部