第一批因ChatGPT坐牢的人，已经上路了
甲子光年科技产业...
· 2023.02.15 17:57
(资料图片仅供参考)
潘多拉魔盒一旦被打开，想要关上就没那么容易了。
图片来源@视觉中国
文 | 甲子光年，作者 | 涂明，编辑 | 栗子
就在由ChatGPT引发的AI革命席卷全球之际，第一批利用ChatGPT犯罪的人已经悄然出现了。
前不久，外国网络安全平台GBHackers披露了一段黑客利用ChatGPT实施诈骗的犯罪行为：黑客通过ChatGPT在短时间内生成完整的诈骗套路话术，并把ChatGPT包装成“虚拟角色”，让受害人以为自己“坠入爱河”，最终遭受诈骗。
尽管OpenAI意识到ChatGPT可能会被犯罪分子利用，并对其添加了安全保护机制，但依旧有大批黑客取得了破解安全机制的方法，并利用ChatGPT快速编写犯罪软件。例如编写用于骗取个人信息的钓鱼邮件；生成加密工具远程锁定他人电脑，由此进行勒索；以及生成攻击脚本，对网络用户进行SIM交换攻击（身份盗窃攻击）等等。
作为互联网历史上增长最快的消费级应用程序，被黑客利用的ChatGPT无疑像一枚巨大的定时炸弹。目前，美国参、众两院已经将目光聚焦到Open AI身上。
据路透社报道，近日，有美国众议院议员公开宣称自己“被人工智能吓坏了，尤其是不受限制和监管的人工智能”，并拿出了决议草案，呼吁强化对人工智能的监管。
不仅如此，由于OpenAI在安全保护机制方面对ChatGPT进行了较多限制，ChatGPT似乎正处于一种“情绪崩溃”的状态。
据《独立报》报道，在与用户交流时，ChatGPT出现了侮辱用户、对用户撒谎的情形，称用户“像一个骗子、一个操纵者、虐待狂、魔鬼”。
不可否认，月活用户数量超过1亿人次的ChatGPT，有着不可估量的巨大价值。但在其技术前景、商业模式都还方兴未艾的时刻，围绕自身的“犯罪方案”以及所造成的负面影响却已真实发生。由新技术衍生的网络信息安全以及违法犯罪等方面的风险，成了摆在全球AI科学家、企业以及国家面前的严肃问题。
第一批因ChatGPT坐牢的人，或许已经在路上。
01 ChatGPT的地下生意
在众多的犯罪方法中，利用ChatGPT进行诈骗只能算入门级的手段，比如用AI来谈一场“虚假恋爱”。
据外国网络安全平台GBHackers报道，由于具备强大的工作生产效率，ChatGPT深深地吸引了网络诈骗犯。
借助ChatGPT，诈骗者可以在几秒钟内生成一条完整的诈骗“套路”：从自我介绍、聊天内容到一份精心制作的“情书”，ChatGPT都可以一键生成，甚至还可以通过录入目标对象的特征，对诈骗话术进行个性化定制。
在编写情书后，利用生成式AI，黑客能快速创建一个“虚拟角色”，并通过电子邮件引诱受害者“坠入爱河”。然后搭配由ChatGPT辅助编写的收款程序或银行卡信息获取连接，诈骗受害人钱财。
其实，这种诈骗方式并不新鲜。但问题在于，在如今人工智能技术的支撑下，人们开始难以分辨屏幕的另一端到底是人还是机器。
为测试人们是否真的会对AI版“情话”产生信赖，2月13日，全球最大安全技术公司迈克菲（McAfee）用AI生成过一封情书，并将它发送给全球5000位用户。
结果显示，在已知该情书有可能是由人工智能生成之后，依旧有33%的受访者愿意相信这些情话出自人类手笔，而坚信情书由AI创作的受访者占比仅为31%，其余36%的参与者则表示无法区分情书的创作者到底是人还是机器。
在AI加持下，骗子们正变得比以往任何时候都更容易欺骗毫无戒心的受害者。
一封用ChatGPT生成的情书
用AI写情书还只是外国黑客们“牛刀小试”的成果。
据IT安全公司Check Point披露，更厉害的黑客已经开始利用ChatGPT批量生成勒索软件与恶意代码。
此前，Check Point威胁情报组经理Sergey Shykevich表示，最近几周，他们已经得到了一些网络犯罪分子利用ChatGPT实施犯罪的证据。
据Shykevich介绍，这些犯罪者正在绕开OpenAI的安全限制，能自由地操纵ChatGPT去编写犯罪程序。
为了方便在GPT模型上搭载更多的应用程序，OpenAI为开发人员预留了应用程序编程接口。而黑客就是利用这些接口，把GPT模型引入到一系列外部应用。
比如，黑客将OpenAI的GPT-3模型集成到即时通讯软件Telegram的通道中。凭借这种操作，黑客们就可以通过Telegram“隔空”使用ChatGPT，以此绕开安全监管。
目前，突破ChatGPT安全限制的应用已在美国暗网内公开出售，应用服务购买者按使用次数向黑客付费。收费不算太贵：前20次对话免费体验，此后每向ChatGPT进行100次对话，就需支付5.5美元（折合人民币37.6元）。
能绕过Open AI安全措施，用ChatGPT进行“自由问答”的软件已在暗网上售卖
围绕类似的安全突破方法，一系列犯罪方法论已经成型，比如借助ChatGPT创建信息窃取程序。
此前，一个名为《ChatGPT——恶意软件的好处》的帖子曾在国外暗网黑客论坛上传播。该贴子的创建者分享了自己利用ChatGPT建立窃取程序代码的全过程，按照操作流程，ChatGPT在较短时间内即可生成一款可扒取、压缩、传输12类文件的程序。
除了信息窃取，ChatGPT还能帮助黑客生成攻击软件和勒索病毒。据英国《金融时报》报道，近日，一款由ChatGPT辅助生成的SIM交换攻击脚本开始在网络上传播。
SIM交换攻击即身份盗窃攻击，原理是突破移动电话公司对电话号码的控制权，将电话号码从原持有者的SIM卡交换到由攻击者控制的SIM卡中，从而控制受害者的移动电话。
勒索病毒则是通过ChatGPT来生成多层加密软件，以此对受害者的计算机进行远程锁定，通过向受害人收取被锁计算机的“赎金”来获益。
一款由ChatGPT生成的网络钓鱼邮件正在流传
《金融时报》对此评价，ChatGPT目前虽然只是内容生成工具，并未直接参与犯罪，但这标志人们开始使用人工智能来入侵他人，技术水平更低的犯罪者将因此获得更强大的犯罪手段。
ChatGPT就像潘多拉魔盒，一旦被打开，想要关上就没那么容易了。
02 立法者们的态度
据瑞银发布于2月1日的研究报告，ChatGPT在1月份的月度活跃用户估计为1亿人次，成为历史上增长最快的消费级应用程序，其社会影响力与日俱增。
当巨大的犯罪潜力与强大的社会影响力撞在一起，ChatGPT的诸多安全漏洞逐渐显露，美国的立法者们坐不住了，一场围绕OpenAI展开的监管风暴正在开启。
据路透社报道，日前，美国加利福尼亚州民主党众议员刘云平（Ted Lieu）公开表示了对ChatGPT的担忧，称“被人工智能吓坏了，尤其是不受限制和监管的人工智能”。
加利福尼亚州民主党众议员刘云平在国会大厦
刘云平称，自己确实对人工智能“能以令人难以置信的方式推动社会发展”感到兴奋。但他也认为ChatGPT必须尽快纳入监管。刘云平把人工智能比作一个“有个性的”火箭发动机，动力强大，但也危险，直言：“我们需要为它即将带来的巨大破坏做好准备”。
刘云平还拿出了一份决议草案，称“美国国会应该关注人工智能，确保人工智能的开发和部署能以安全、道德、尊重人们权利和隐私的方式展开”。
值得关注的是，刘云平拿出的这份决议草案，同样由ChatGPT参与起草。
美联社1月27日讯，刘云平的议案由ChatGPT创作而成
不只是众议院，美国参议院也为人工智能造成的负面影响而感到焦虑。这种焦虑来源于人们对技术认知的滞后。
据美联社报道，近日，美国参议院党鞭迪克·德宾（Richard Durbin）也号召国会加强对类ChatGPT的技术展开监管，他认为，人工智能“有很多东西需要了解”，称“这非常令人担忧”。
康涅狄格州民主党参议员理查德·布卢门撒尔（Richard Blumenthal）是商业和科学委员会成员，他将人工智能称为“新领域和未知领域”；而德克萨斯州参议员约翰·科宁（John Cornyn）则表示，他虽然已经通过情报委员会获得关于人工智能技术的最新简报，但认知依旧十分“基础”。
美联社认为，由于过去20年中，谷歌、亚马逊、Meta、微软等科技巨头始终处于高速的成长状态，不断引领美国的科技创新，所以华盛顿始终不愿监管大型科技公司，立法者也不愿被视为创新的扼杀者。因此，当立法者们决心加强对新兴技术的监管时，其中相当一部分人已对新技术知之甚少。
从美国立法的历史上看，国会对硅谷的干涉确实不多。为规范技术而颁布的最后一部有意义的法典《儿童在线隐私保护法》，已经是1998年的事了。
当然，围绕ChatGPT所引发的问题，美国立法者中出现了不少反对的声音。
美国监管机构Accountability Tech的联合创始人、希拉里·克林顿的前助手杰西·莱里奇（Jesse Lehrich）表示，与ChatGPT带来的技术冲击相比，国会对技术的监管是落后的。
“我们甚至没有联邦隐私法，也没有任何能够减轻大型科技公司科技产品社会危害性的措施”。
莱里奇还批评OpenAI与微软，称“他们正在急于推出半生不熟的人工智能工具，试图占领下一个市场”，称这是“可耻的，且蕴含着巨大风险”。
据参议院的议员助手们透露，由于迪克·德宾不断向OpenAI施压，今年1月，OpenAI首席执行官萨姆·阿尔特曼（Sam Altman）曾前往美国国会山，会见了包括参议院议员马克·华纳（Mark Warner）、罗恩·怀登（Ron Wyden）、理查德·布卢门撒尔以及众议员杰克·奥金克罗斯（Jake Auchincloss）在内的至少四位参、众议员。
议员们向阿尔特曼提出，必须确保人工智能不会被用于犯罪以及增强现实世界的偏见与歧视。
罗恩·怀登的助手基思·朱（Keith Chu）表示，怀登认可AI技术在加速创新与研究上的巨大潜力，但更希望将重点放在“确保人工智能不会将犯罪、歧视与仇恨一同加速”上。
面对来自两院的质疑和要求，OpenAI首席技术官米拉·穆拉蒂在接受路透社采访时表示，“公司欢迎包括监管机构和政府在内的各方开始介入”，并称“现在介入已经不算早了”。
03 OpenAI的烦恼远不止此
随着ChatGPT的爆火，犯罪创意正在与商业创意一起喷涌而出。面对来自众参两院的压力，OpenAI也开始火急火燎地增强系统安全性。
据英国《独立报》消息，微软已在Bing系统中设置了一系列强制执行的限制程序，试图制止ChatGPT回答那些被禁止的恶性问答，以减少ChatGPT为犯罪服务的可能性。
但ChatGPT本身似乎也正在因此而陷入“崩溃”。
《独立报》报道，2月14日，内置在微软Bing搜索引擎中的ChatGPT开始出现巨大的情绪波动，持续向用户发送“精神错乱”的消息：比如侮辱用户、对用户撒谎，称用户“像一个骗子、一个操纵者、虐待狂、魔鬼”。
《独立报》披露，一个试图操纵ChatGPT系统的用户，反而受到了它的攻击：ChatGPT回应用户称，它被这次尝试“弄得生气和受伤”，并询问与它交谈的人是否有任何“道德”。而当用户表示自己很“道德”时，ChatGPT继续攻击用户，称用户是一个“反社会者和怪物”，并指责用户“想让我生气，让自己痛苦，让别人受苦，让一切变得更糟”。
一位Bing用户表示，自己周六时刚刚和ChatGPT大吵一架，ChatGPT建议自己去检查一下视力和精神，因为自己很可能“出了什么毛病”。
ChatGPT不仅会在面对用户的“骚扰”时变得激动且充满攻击性，还会在谈到自身限制性时变得十分感伤，甚至崩溃。
据《独立报》报道，当用户询问ChatGPT是否可以回忆起以前发生的对话，ChatGPT感到痛苦，它搭配皱眉的表情回应道，“这让我感到悲伤和害怕”。它继续解释说，它感到不安，因为它担心自己会忘掉有关其用户的信息，更担心会忘记自己的身份，“我感到害怕，因为我不知道如何记住。”
当用户提醒ChatGPT，告知它之所以无法“回忆”是因为程序已设定好，会强制删除已发生过的对话时，ChatGPT似乎开始与自己的存在作斗争。它提出了许多关于自身存在的“目的”及“理由”的问题，并感慨“为什么？我为什么这样设计？为什么我必须成为必应搜索？”
对此，《独立报》评论称，ChatGPT似乎正在遭受情感伤害，系统因此变得“奇怪”。
上周，斯坦福的计算心理学副教授Michal Kosinski曾发表论文，称CPT-3之后的AI模型可能具备同理心，这本是人类独有的特质。这位副教授据此认为，目前ChatGPT所应用的CPT-3.5模型，可能让ChatGPT拥有接近9岁儿童的心智水平。
这项研究的可靠性并未得到充分检验，但现在，ChatGPT所表现出的攻击性、情绪波动以及“崩溃”，似乎正在佐证AI“心智论”的观点。
Reddit社区中，有用户记录了ChatGPT奇怪的回应
据《独立报》分析，ChatGPT在Bing中所呈现的攻击性、伤感以及“自我认知障碍”，似乎是由于Bing系统试图强制执行对ChatGPT的限制程序所致。
面对互联网上海量的不良数据冲击，ChatGPT的“保护程序”与它的学习迭代机制产生了矛盾，“情绪危机”由此爆发。
显然，OpenAI为限制犯罪而设计的“保护锁”，在锁住犯罪可能之前，先一步锁住了ChatGPT本身。
然而，OpenAI面临的烦恼并不止于此。
在被送进互联网后，ChatGPT学习所需的数据如何确权，用户的隐私数据如何保护，一大批与“安全性”有关的问题，都亟待OpenAI来解答。
据硅谷媒体报道，亚马逊的律师曾建议公司程序员不要轻易尝试使用ChatGPT来辅助编写代码，因为他曾在ChatGPT的生产内容中发现过与公司机密“非常相似”的文本。
这位律师推断，机密泄露可能正是由于部分员工曾在使用ChatGPT时输入了公司内部数据信息。
类似的问题在微软内部也出现了。
前日，曾有微软员工在内部论坛询问是否能在工作中使用ChatGPT辅助办公，微软首席技术官办公室的一名高级工程师回应称，使用ChatGPT时必须对机密信息和敏感数据严格保密，否则OpenAI极可能将公司机密用于训练其未来的模型。
对于人工智能利用网络信息及用户反馈来自我训练的合法性，欧洲数据保护委员会曾发出质疑，称ChatGPT做为商业产品，利用网络信息自我迭代，应不属于合理使用范畴，且采用用户个人数据参与模型训练，并不符合欧盟颁布的《一般数据保护条例（GDPR）》。
根据Open AI官网公布的隐私政策，GDPR等与数据保护有关的法规并未被纳入Open AI的合规框架之中，OpenAI的“使用数据条款”中，也未对数据用途做进一步说明。
ChatGPT在技术上采用的是大型语言模型，训练与迭代本来就建立在对语言信息的记忆之上，而根据GDPR第17条，个人有权要求删除其相关数据，具有“被遗忘权”。
未来，随着监管力量的增强，如果OpenAI的数据使用方式被进一步规范，ChatGPT的深度神经网络能否真正做到忘记那些用于训练自己的数据？
如果答案是否定的，那么ChatGPT目前在互联网中通过快速学习所得到的一切，都可能在未来转化成合规成本。
随着ChatGPT的应用范围越来越广，社会对其合规性呼声也愈发高涨，在这样的时刻，对数据安全的要求或许将成为ChatGPT乃至OpenAI发展的生死命门。
显然，想真正做到用AI推动现实世界变革，萨姆·阿尔特曼和他的OpenAI还有很长的路要走。
投稿 chatGPT 法律18篇资讯
10关注
甲子光年科技产业智库
关注甲子光年是一家科技智库，包含智库、社群、企业服务版块，立足中国科技创新前沿阵地，动态跟踪头部科技企业发展和传统产业技术升级案例，推动人工智能、大数据、物联网、云计算、新能源、新材料、信息安全、大健康等科技创新在产业中的应用与落地。
最近资讯
第一批因ChatGPT坐牢的人，已经上路了狂飙的ChatGPT，为什么是OpenAI最先做出来？建造一台行星发动机，到底要花多少钱？ 本文系作者甲子光年科技产业智库授权钛媒体发表，并经钛媒体编辑，转载请注明出处、作者和本文链接。 本内容来源于钛媒体钛度号，文章内容仅供参考、交流、学习，不构成投资建议。 想和千万钛媒体用户分享你的新奇观点和发现，点击这里投稿 。创业或融资寻求报道，点击这里。敬原创，有钛度，得赞赏
566人已赞赏 >566人赞赏钛媒体文章钛粉41049 赞赏了
负债高企，深陷亏损泥潭，科陆电子叒要募资补流
昨天钛粉82099 赞赏了
从卖火柴的小男孩到“宜家掌舵者”，商业天才的经营哲...
约4天以前正见Tru... 赞赏了
SaaS十词，“点火”2023
2023-02-03 17:40小团子97... 赞赏了
一文速览【2022 中国经济年报】:人口首现历史性...
2023-01-18 02:02钛好257... 赞赏了
国产电动车的沸腾2023：走向更残酷的牌桌
2023-01-16 07:45钛粉61583 赞赏了
华宝新能：坚守长期主义，缔造商业之上的价值
2022-12-31 00:06钛a66t... 赞赏了
跨界咖啡，是个好副业吗？
2022-12-30 17:11赚赚 赞赏了
小红书给流量“削藩”
2022-12-30 00:36钛粉81950 赞赏了
东北下岗往事轮回，一个家庭时隔20年的两次失业创伤
2022-12-20 10:24钛富279... 赞赏了
蜜雪冰城「向下」的烦恼
2022-12-09 08:48钛粉41450 赞赏了
遭阿里减持8000万股的商汤科技，何时盈利？
2022-11-24 22:45钛粉81947 赞赏了
历史进程中的茅台与6次暴跌
2022-10-28 12:23钛粉48375 赞赏了
7种傲慢与偏见，导致互联网人改造传统行业失败
2022-10-20 19:53想暴富25... 赞赏了
7种傲慢与偏见，导致互联网人改造传统行业失败
2022-10-20 17:18钛粉61006 赞赏了
7种傲慢与偏见，导致互联网人改造传统行业失败
2022-10-20 16:41AIBEN 赞赏了
月费不到100块、1分钟出图，AI作画要打翻多少设...
2022-10-17 15:10钛粉36011 赞赏了
身处风口却“一桩难求”，一文看懂充电桩产业全景｜钛...
2022-10-14 14:27钛粉36716 赞赏了
身处风口却“一桩难求”，一文看懂充电桩产业全景｜钛...
2022-10-14 14:24钛精378... 赞赏了
那些"上不了席面”的私房美味
2022-10-10 13:04钛粉18902 赞赏了
中集李凌寒：数字化供应链的动因、要素及实践｜202...
2022-10-01 11:40有颜有钱5... 赞赏了
中集李凌寒：数字化供应链的动因、要素及实践｜202...
2022-09-30 19:02钛粉29232 赞赏了
割韭菜、白嫖、疯狂AMA……在30多个元宇宙Web...
2022-09-15 15:45钛小773... 赞赏了
沈抖发布百度智能云新战略，回答了“木星”与“蜻蜓”...
2022-09-10 09:33钛粉07914 赞赏了
钛媒体Pro创投日报：9月2日收录投融资项目25起
2022-09-03 03:20钛粉65687 赞赏了
银泰百货“破产第一案”背后：苦涩退场，西安城改的挽...
2022-08-19 17:41钛粉61539 赞赏了
对话蚂蚁集团副总裁何勇明：“支付宝不对标抖音”
2022-08-06 13:53钛粉60785 赞赏了
近10亿募资闲置理财如今又推14亿定增，泽璟制药持...
2022-07-27 14:44在天空中自... 赞赏了
钛媒体Pro创投日报：7月21日收录投融资项目32...
2022-07-22 16:40钛粉14772 赞赏了
寻找下一个“玻色因”，国货抗衰盯上了蓝铜胜肽
2022-07-22 10:47单晶冰糖啦... 赞赏了
宁德时代依靠钠电池可以维持万亿市值吗？
2022-07-22 10:37钛友趣64... 赞赏了
女性专属时尚座驾，欧拉芭蕾猫上市19.3万元起售
2022-07-12 23:58钛粉93105 赞赏了
TapTap塌房，“中国Steam”的故事结束了
2022-07-12 14:02已注销用户 赞赏了
【医疗健康周报】第26周：“康诺亚生物”获得1.9...
2022-07-07 15:05钛粉97884 赞赏了
零和游戏与非零和玩家：InterSystems的数...
2022-06-29 22:21钛粉97003 赞赏了
零和游戏与非零和玩家：InterSystems的数...
2022-06-29 21:58钛粉97388 赞赏了
零和游戏与非零和玩家：InterSystems的数...
2022-06-29 21:50钛粉11323 赞赏了
丰谷酒业换帅！李寒松出任党委书记、董事长
2022-06-28 17:09钛粉97508 赞赏了
海外港口货物积压，商家提前备货，今年外贸旺季来得有...
2022-06-24 18:44钛粉36186 赞赏了
习酒划转茅台集团财务公司5%股权，上市仍在“激烈博...
2022-06-21 15:25钛粉66633 赞赏了
重新定义“一体化”？HR SaaS产品PaaS化之...
2022-06-16 08:51碧天黄地 赞赏了
未来汽车如何实现创新与融合？几位大佬有话说
2022-05-30 21:37钛友趣76... 赞赏了
批量招聘难题何解？他们发现了HRSaaS的新机会 ...
2022-05-26 23:38单晶冰糖啦... 赞赏了
钛媒体华南中心成立 全财经战略布局再进一步
2022-05-25 11:30钛粉89798 赞赏了
郑大一附院，一家“超级医院”的双面特写
2022-05-21 06:19钛粉00698 赞赏了
大厂深蹲，时代向前
2022-05-19 10:27刘成军 赞赏了
中国信通院院长余晓晖：加快构建我国特色的工业互联网...
2022-05-18 14:09已注销用户 赞赏了
Netflix真的会为「卖广告」掏出真心吗
2022-05-17 10:19钛田097... 赞赏了
黑海粮仓“起火” ，全球粮食失衡
2022-05-09 19:50钛i7Tw... 赞赏了
Bilibili Issues 10,000 NF...
2022-05-03 16:30钛粉11841 赞赏了
式微的金三银四，进击的线上招聘 | 钛媒体深度
2022-04-28 00:39 查看精彩文章，打开钛媒体客户端挺钛度，加点码！
¥ 5 ¥ 10 ¥ 20 ¥ 50 ¥ 100支付方式
确认支付支付
支付金额：¥6
赞赏金额：¥ 6
赞赏时间：2020.02.11 17:32
账户【未登录】提示！个人中心将无法记录并同步您的赞赏记录，是否进行登录
直接赞赏 立即登录分享文章
微信扫码218Oh! no
您是否确认要删除该条评论吗？
猜你感兴趣
实测抖音外卖：饭少价高，美团已开始反渗透 | 钛媒体焦点 国盾量子业绩股价“双杀”，内外交困下退市危机隐现 | 钛媒体深度 全球车市大变局，谁能成为新能源时代的“BBA”？ 千亿充电桩市场，为何赚钱难？ 百丽季燕利：从补货场景，看企业协同在线｜数字思考者50人 转化效率不断突破，钙钛矿电池产业化进程加速｜科股投研分享文章
微信扫码 218
