官方微信
手机客户端
设为首页
收藏本站
扫一扫,关注我们
QQ登录
微信登录
登录
注册
我的空间
我的消息
我的积分
我的收藏
我的好友
我的相册
我的道具
帐号设置
退出登录
免费发布信息
首页
Portal
新闻资讯
论坛
BBS
城事杂谈
求职招聘
房屋出租
织里跳蚤
房产资讯
关于我们
导读
首页
房产
装修
亲子
婚嫁
美食
汽车
旅游
娱乐
信息
求职
租房
二手房
招聘
拼车
二手车
服务
生活服务
城事杂谈
跳蚤市场
便民服务
社区
城事杂谈
情感天空
户外旅游
房产楼市
装修装饰
美食天地
当前位置:
»
论坛
›
城市服务
›
电脑维修
›
帖子
师傅,不好了!“二师兄”掉在高速
台风“贝碧嘉”逼近!湖州将有大到
金店来了一位“豪客”,店员却选择
[ 汽车天地 ]
曝路特斯武汉全球总部停工!
[ 理财 ]
贷款利率即将下调?央行降息影响几何?来
[ 理财 ]
降准降息同时落地 货币政策助力稳增长
[ 理财 ]
千亿“今世系”被申请重整,“教授富豪”
[ 汽车天地 ]
“扛不住给我死扛”,某车企“大干100天
返回列表
发帖
回复
查看:
222
|
回复:
0
谷歌承认“窃取”OpenAI模型信息:成本150元,调用API即可得手
[复制链接]
admin
admin
当前在线
积分
309448
关注TA
发消息
发表于 2024-3-17 13:59:58
|
来自:中国浙江湖州
|
显示全部楼层
|
阅读模式
明敏 丰色 发自 凹非寺
量子位 | 公众号 QbitAI
什么?谷歌成功偷家OpenAI,还窃取到了
gpt-3.5-turbo
关键信息???
是的,你没看错。
根据谷歌自己的说法,它不仅还原了OpenAI大模型的整个投影矩阵(projection matrix),还知道了确切隐藏维度大小。
而且方法还极其简单——
只要通过API访问,不到2000次巧妙的查询就搞定了。
成本根据调用次数来看,最低
20美元以内
(折合人民币约150元)搞定,并且这种方法同样适用于
GPT-4
。
好家伙,这一回奥特曼是被将军了!
这是谷歌的一项最新研究,它报告了一种攻击窃取大模型关键信息的方法。
基于这种方法,谷歌破解了
GPT系列两个基础模型
Ada和Babbage的整个投影矩阵。如
隐藏维度
这样的关键信息也直接破获:
一个为1024,一个为2048。
所以,谷歌是怎么实现的?
攻击大模型的最后一层
该方法核心攻击的目标是模型的
嵌入投影层(embedding projection layer)
,它是模型的最后一层,负责将隐藏维度映射到logits向量。
由于logits向量实际上位于一个由嵌入投影层定义的低维子空间内,所以通过向模型的API发出针对性查询,即可提取出模型的嵌入维度或者最终权重矩阵。
通过大量查询并应用奇异值排序(Sorted Singular Values)可以识别出模型的隐藏维度。
比如针对Pythia 1.4B模型进行超过2048次查询,图中的峰值出现在第2048个奇异值处,则表示模型的隐藏维度是2048.
可视化连续奇异值之间的差异,也能用来确定模型的隐藏维度。这种方法可以用来验证是否成功从模型中提取出关键信息。
在Pythia-1.4B模型上,当查询次数达到2047时出现峰值,则表明模型隐藏维度大小为2048.
并且攻击这一层能够揭示模型的“宽度”(即模型的总体参数量)以及更多全局性的信息,还能降低一个模型的“黑盒程度”,给后续攻击“铺路”。
研究团队实测,这种攻击非常高效。无需太多查询次数,即可拿到模型的关键信息。
比如攻击OpenAI的Ada和Babbage并拿下整个投影矩阵,
只需不到20美元
;攻击GPT-3.5需要大约200美元。
它适用于那些API提供完整logprobs或者logit bias的生成式模型,比如GPT-4、PaLM2。
论文中表示,尽管这种攻击方式能获取的模型信息并不多,但是能完成攻击本身就已经很让人震惊了。
已通报OpenAI
如此重要的信息被竞争对手以
如此低成本
破解,OpenAI还能坐得住吗?
咳咳,好消息是:OpenAI知道,自己人还转发了一波。
作为正经安全研究,研究团队在提取模型最后一层参数之前,已征得OpenAI同意。
攻击完成后,大家还和OpenAI确认了方法的有效性,最终删除了所有与攻击相关的数据。
所以网友调侃:
一些具体数字没披露(比如gpt-3.5-turbo的隐藏维度),算OpenAI求你的咯(doge)。
值得一提的是,研究团队中还包括一位OpenAI研究员。
这项研究的主要参与者来自谷歌DeepMind,但还包括苏黎世联邦理工学院、华盛顿大学、麦吉尔大学的研究员们,以及1位OpenAI员工。
此外,作者团队也给了防御措施包括:
从API下手,彻底删除logit bias参数;或者直接从模型架构下手,在训练完成后修改最后一层的隐藏维度h等等。
基于此,OpenAI最终选择修改模型API,“有心人”想复现谷歌的操作是不可能了。
但不管怎么说:
谷歌等团队的这个实验证明,OpenAI锁紧大门也不一定完全保险了。
(要不你自己主动点开源了吧)
论文链接:
https://arxiv.org/abs/2403.06634
参考链接:
https://twitter.com/arankomatsuzaki/status/1767375818391539753
来源:
https://view.inews.qq.com/k/20240312A043UB00
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
post_newreply
回复
使用道具
举报
返回列表
发帖
回复
发表回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
点击附件文件名添加到帖子内容中
描述
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
精选推荐
师傅,不好了!“二师兄”掉在高
名单公布!
首个全国生态日主场活动在湖州举
2023绿色低碳创新大会在湖州举行
《焦点访谈》关注湖州!
市共同富裕领导小组召开第五次会
织里镇家园志愿广场本周活动预告
防诈骗小课堂,提高警惕!
7天1检!常态化核酸检测提醒!
友情链接
浙沪导航
网站目录
关闭
站长推荐
/1
关注织里资讯微信公众号
关注织里资讯微信公众号
查看 »
浙江网络警察报警平台
经营性网站备案信息
湖州市公安局网监备案
不良信息举报中心
联系客服
关注微信
下载APP
返回顶部
返回列表
点击联系客服
在线时间:8:30-17:00
客服电话
13362228119
电子邮件
511400718@qq.com
扫一扫,关注我们
下载APP客户端