ChatGPT 之后，对抗信息熵增
新莓daybre...
· 2023.02.15 08:05
(资料图片)
全网都是ChatGPT，被讨论，被神话，被视为是新一轮工业革命。但也有人发出警醒，ChatGPT也在被误解。
图片来源@视觉中国
文 | 新莓daybreak，作者 | 史圣园
ChatGPT 点燃了全球对未来的想象，还让沉寂已久的退休大佬决定重出江湖。是的，就是这两天被刷屏的王慧文。
这位曾经美团的核心人物，在社交媒体公开发表宣言。从最初的「必须参与」，到5000万美元带资入组，不在意岗位、薪资和title，求组队。第三天干脆宣布创建一个「全新生命体」，发出AI英雄榜，招募顶级人才。
这是ChatGPT传入中国后，最高调的起步公司。它面临的对手是那些国内外科技巨头。
微软推出基于 ChatGPT 的 New Bing 一天后，谷歌匆忙搬出 Bard 应战。虽然发布会的演示尴尬出错，市值一夜蒸发超过 7000 亿元，但微软和谷歌被认为是最有可能将ChatGPT大放光彩的公司。
国内公司也纷纷表态，百度、阿里、腾讯等大厂均表示自己在相关方向上有所布局。
百度三月即将上线「文心一言」，并接入百度搜索；阿里达摩院正在研发对话机器人，并计划与钉钉等生产力工具深度结合；腾讯虽未透露出具体的应用计划，但也底气十足地表示，自己在大模型（LLM）、机器学习（ML）和自然语言处理（NLP）等领域有着技术储备，进行应用探索。
总之，全网都是ChatGPT，被讨论，被神话，被人穷尽溢美之词，被视为是新一轮工业革命。但也有人发出警醒，ChatGPT也在被误解。
大力出奇迹
「我相信大厂声称自己正在布局 ChatGPT ，除了有保住股价的考虑，肯定也有了解这些前沿技术的团队。但是懂得大致的技术框架，和真正做出来跟 ChatGPT 效果一样好的东西，是两件事情。」一位 AI 公司的技术合伙人说。
OpenAI 对外发布了许多 ChatGPT 相关的研究性论文，讲述大致的思路，但不会透露技术细节。上述合伙人提醒，「其他公司想要复刻，还是需要自己摸索。而一旦涉及到技术细节的摸索，就要有特别大的投入。」
他认为，OpenAI 的伟大之处在于，在结果未知的情况下，就敢于下注。「一般公司为了活下去，不得不去考虑投入产出比。」模型的参数越多，意味着训练、调试时间的成倍增加。时间的翻倍，意味着硬件成本、人力成本的翻倍。
据《财富》杂志报道，2022年，OpenAI公司的收入预计不足3000万美元，净亏损5.45亿美元。而随着ChatGPT的火爆，可能进一步增加亏损，因为用户每一次调用，就会让OpenAI付出更多的计算资源和带宽成本。
本质上，ChatGPT 是一个表现令人惊艳的统计语言模型。
它的原理是，不断将前文的文本片段作为条件，预测下一个词语出现的概率，选中概率较高的单词，从而生成通顺的语句和段落。
ChatGPT 的技术——GPT 3.5，是由 Transformer 的技术线发展而来的。而 Transformer 的第一篇研究文章，其实是由谷歌发布的。
2017 年 6 月，谷歌发布论文《Attention is all you need》，推出能调用 6500万参数的 Transformer 模型，并首次将其用于理解人类语言；2018 年，谷歌又推出了 3亿参数的 BERT 模型。
只不过谷歌走得并不坚定，精力远比OpenAI分散。
OpenAI 在扩大模型的道路上一路狂奔。GPT-3 模型有 1750 亿个参数，训练的数据量高达 5000 亿个 token（约合 3000 亿个词）。
谷歌则在多种技术路线间摇摆不定，万亿参数的Switch Transformer并没有得到持续投入；Flan-T5模型一度有着胜过GPT-3的表现，但由于优化进度缓慢，还是由OpenAI先做出了ChatGPT这款产品，将大语言模型的神奇能力展现在我们面前。
北京智源人工智能研究院理事张宏江进一步解释，1750亿参数量，约有700G大小，一次训练成本大致花1200万美金。所以，大模型的发展不光是算法上的进步，在数据、算力上的要求也非常巨大。
这是一个「大力出奇迹」的故事。AI 模型的训练，并不是「一份耕耘，一份收获」的线性逻辑。
学术界有一个术语，叫做「涌现」（emergence），参数到了一定的程度，模型效果会迎来质的飞跃。但这个程度，究竟是10亿、100亿、1000亿，在实践之前都无从得知。对于 GPT 来说，「参数越多，效果越好」只是个「后验性」的结论。
OpenAI 的孤注一掷，等来了它的「涌现」；而谷歌的多线并行，却也是当时的「局部最优解」。
在大语言模型的训练上，「没有人比其他人领先超过两到六个月。」谷歌在相关研究领域硕果累累，并未落后于 OpenAI 半个身位，但精力分散拖累了它将学术成果落实为具体应用的步伐。
应用会更容易吗？
尽管ChatGPT技术内核的突破有非常高的门槛，但是OpenAI的大模型对产业的影响是绝对深远的。
张宏江将其形容为，是从小农经济到大规模生产的一个很重要的变化，就像当初电网的变革一样，此前自己发电，而今天要用 AI，不需要再做模型，而是用已有的大模型，以一种服务方式提供给用户。
ChatGPT 超过Tiktok，成为迄今为止用户最快破亿的应用。积累 1 亿用户，ChatGPT 用了两个月， Tiktok用了九个月，而 Instagram 则用了两年多。
OpenAI 的首席执行官 Sam Altman 曾在推特上表示，用户与 ChatGPT 每次交互的计算成本为「个位数美分」。随着用户破亿，其每月计算成本高达数百万美元。
基于此，OpenAI 开启了新一轮融资，也在探索如何直接用 ChatGPT 变现。
2月1日，OpenAI 正式官宣 ChatGPT Plus —— ChatGPT 的个人付费订阅服务。用户支付 20$/月的费用，即可享受高峰时段的优先访问、更快的响应时间，还能优先尝鲜新功能。
to C 的付费制还在试点和探索阶段，to B 的付费 API 调用则是 OpenAI 现阶段的主要收入来源。
2021 年底，OpenAI 对公众开放了 GPT-3 的 API 接口，开发者和相关公司可付费调用，实现自然语言理解和生成的任务。除此之外，OpenAI 还开放了 Codex、DALL·E 的 API 接口，分别完成自然语言转代码、自然语言转图像的任务。路透社的数据显示，OpenAI 2022 年收入达数千万美元，2023 与 2024 的预计年收入分别为 2 亿美元和 10 亿美元。
一个大模型，即使像 ChatGPT 一般有惊艳的表现、足够的通用性，也无法用来解决所有问题。从新技术的诞生，到可用的行业产品，再到后续的运营和用户服务，还需要很多下游应用企业结合行业场景来进行微调和开发，形成「整体产品」方案。
Jasper 就是这样一家基于 GPT-3 API 的生成式 AI 公司，提供电商、广告、博客等场景下营销文案、种草文案的自动生成服务，以及后续的搜索引擎优化工具。2022年，Jasper 募资 1.25 亿美元，估值达 15 亿美元。
再比如 Notion，接入 GPT-3 API 后，在文档工具中实现了自动续写、翻译、语法检查等功能。
即便是基于垂直行业的语料库对模型进行微调，也需要不小的研发成本：GPT-3 的每一次升级和迭代，这些下游企业也要跟进调整，需要一定的财力支撑。
国内关于ChatGPT概念的不少公司也拿到投资，而且类似文本生成、图像生成、音频生成、视频生成、虚拟人、元宇宙等场景在中国的落地能力，也许会跟海外同步，甚至更快。
不过，目前的大模型，更多偏向于单点式的应用，优化生产环节中的某一个小问题，并未带动整个工作流的革新。
第一次工业革命，蒸汽机实现了机器替代人工；第二次工业革命，电力技术驱动了规模化生产。之所以能够被称之为「工业革命」，都是因为技术为生产力带来了质的提升。目前来看， AI 原生产品还没有能够大范围囊括某一领域的工作流，并且提供完整解决方案。
冲击会抵达哪里？
如同过去所有新的生产力工具一样，ChatGPT 问世以来，关于它会冲击哪些行业的讨论不绝于耳。
作为当今最为先进「统计语言模型」，ChatGPT 在问答和对话上的表现出色。它能够模仿人类的交互方式，提供和整合信息，从而辅助创意和决策。
ChatGPT 有效缩短了「信息→决策」的路径，受到其影响最大的，是与「满足信息需求」有关的生意，尤其是帮助「人找信息」的生意。
其中无法回避的，首当其冲就是搜索引擎。因为很多人认定，基于ChatGPT有可能诞生出比 Google 更出色的搜索引擎。
ChatGPT已经明确回答，它不会替代搜索引擎。实际上，比起功能替代，未来的信息搜索应当是两者的结合。
ChatGPT 的优势在于，它可以综合生成更为完整、拿来即用的答案，还可以通过多轮对话回答后续问题，但我们无法忽视它的硬伤——真实性和逻辑性问题。
首先，ChatGPT生成的答案中难以避免地出现事实性错误。按照既定的语言模型和规则，ChatGPT 可以生成相应的文本，却无法自查自纠；且生成的序列越长，出现错误引用的概率也会随之增加。这也就是为什么谷歌 Bard 言之凿凿地说詹姆斯·韦布空间望远镜拍摄了太阳系以外的行星的第一批照片（实际并非如此），微软 New Bing 进行 GAP 的财报分析时引用了许多错误数据。
其次，ChatGPT 虽然很少在语法上犯错，但它在推理（reasoning）任务上的表现不够令人满意，颇有种「数学是语文老师教的」感觉。至少在目前，我们无法指望它能够通晓逻辑、厘清事实。而它通过对话喂给我们的唯一答案，也限制了我们从多处来源交叉验证信息的能力。
朱啸虎就提出警醒，ChatGPT最大的风险是在网上创造出巨量的似是而非的内容，那以后就不仅仅是「物理学不存在了」，如何判断信息的真实性越来越难，熵爆炸式增长。
实际上，较为理想的产品形态是，由 ChatGPT 精选优质信源，拼接为完整答案，并给出引用来源供我们核实。或者在搜索结果页面的基础上，由ChatGPT来总结要点。
除了微软Bing外，初创公司 Perplexity 也尝试结合 ChatGPT 和搜索引擎，做出更智能的信息搜索工具。
Perplexity 的结果展示，包括三个部分：Perplexity（生成的直接答案）、Sources（引用来源）、Related（相关问题）。你还可以在前文的基础上进行追问，获得更聚焦的信息增量。
此类信息搜索产品，若想提供好的使用体验，也需要ChatGPT在未来能够做到「知之为知之，不知为不知」。否则，甄别错误信息的成本将是巨大的，在关键任务中造成的风险也难以估量。
目前，学者们正在琢磨着怎么给 ChatGPT 打上「知识补丁」（Knowledge Patch）。比如问到它拿不准的问题时，它能够输出「抱歉，我不了解」这样谦虚而自知的回答，而不是言之凿凿地胡编乱造。
「所有的行业都值得用AI重做一遍」，技术的进步会带来新的生产力工具，也会带来新的问题。ChatGPT 让我们获取信息变得更容易，同时对我们的判断力提出了更高的要求。客观、理性、全面地分析信息，还是只能靠我们自己。
互联网 US 谷歌-0.05%投稿 chatGPT 人工智能105篇资讯
210关注
新莓daybreak
关注理解人，发现问题本质。
最近资讯
ChatGPT 之后，对抗信息熵增出行回暖，网约车平台又舍得补贴了字节瘦身的阵痛 本文系作者新莓daybreak授权钛媒体发表，并经钛媒体编辑，转载请注明出处、作者和本文链接。 本内容来源于钛媒体钛度号，文章内容仅供参考、交流、学习，不构成投资建议。 想和千万钛媒体用户分享你的新奇观点和发现，点击这里投稿 。创业或融资寻求报道，点击这里。敬原创，有钛度，得赞赏
566人已赞赏 >566人赞赏钛媒体文章钛粉41049 赞赏了
负债高企，深陷亏损泥潭，科陆电子叒要募资补流
约13小时以前钛粉82099 赞赏了
从卖火柴的小男孩到“宜家掌舵者”，商业天才的经营哲...
约4天以前正见Tru... 赞赏了
SaaS十词，“点火”2023
2023-02-03 17:40小团子97... 赞赏了
一文速览【2022 中国经济年报】:人口首现历史性...
2023-01-18 02:02钛好257... 赞赏了
国产电动车的沸腾2023：走向更残酷的牌桌
2023-01-16 07:45钛粉61583 赞赏了
华宝新能：坚守长期主义，缔造商业之上的价值
2022-12-31 00:06钛a66t... 赞赏了
跨界咖啡，是个好副业吗？
2022-12-30 17:11赚赚 赞赏了
小红书给流量“削藩”
2022-12-30 00:36钛粉81950 赞赏了
东北下岗往事轮回，一个家庭时隔20年的两次失业创伤
2022-12-20 10:24钛富279... 赞赏了
蜜雪冰城「向下」的烦恼
2022-12-09 08:48钛粉41450 赞赏了
遭阿里减持8000万股的商汤科技，何时盈利？
2022-11-24 22:45钛粉81947 赞赏了
历史进程中的茅台与6次暴跌
2022-10-28 12:23钛粉48375 赞赏了
7种傲慢与偏见，导致互联网人改造传统行业失败
2022-10-20 19:53想暴富25... 赞赏了
7种傲慢与偏见，导致互联网人改造传统行业失败
2022-10-20 17:18钛粉61006 赞赏了
7种傲慢与偏见，导致互联网人改造传统行业失败
2022-10-20 16:41AIBEN 赞赏了
月费不到100块、1分钟出图，AI作画要打翻多少设...
2022-10-17 15:10钛粉36011 赞赏了
身处风口却“一桩难求”，一文看懂充电桩产业全景｜钛...
2022-10-14 14:27钛粉36716 赞赏了
身处风口却“一桩难求”，一文看懂充电桩产业全景｜钛...
2022-10-14 14:24钛精378... 赞赏了
那些"上不了席面”的私房美味
2022-10-10 13:04钛粉18902 赞赏了
中集李凌寒：数字化供应链的动因、要素及实践｜202...
2022-10-01 11:40有颜有钱5... 赞赏了
中集李凌寒：数字化供应链的动因、要素及实践｜202...
2022-09-30 19:02钛粉29232 赞赏了
割韭菜、白嫖、疯狂AMA……在30多个元宇宙Web...
2022-09-15 15:45钛小773... 赞赏了
沈抖发布百度智能云新战略，回答了“木星”与“蜻蜓”...
2022-09-10 09:33钛粉07914 赞赏了
钛媒体Pro创投日报：9月2日收录投融资项目25起
2022-09-03 03:20钛粉65687 赞赏了
银泰百货“破产第一案”背后：苦涩退场，西安城改的挽...
2022-08-19 17:41钛粉61539 赞赏了
对话蚂蚁集团副总裁何勇明：“支付宝不对标抖音”
2022-08-06 13:53钛粉60785 赞赏了
近10亿募资闲置理财如今又推14亿定增，泽璟制药持...
2022-07-27 14:44在天空中自... 赞赏了
钛媒体Pro创投日报：7月21日收录投融资项目32...
2022-07-22 16:40钛粉14772 赞赏了
寻找下一个“玻色因”，国货抗衰盯上了蓝铜胜肽
2022-07-22 10:47单晶冰糖啦... 赞赏了
宁德时代依靠钠电池可以维持万亿市值吗？
2022-07-22 10:37钛友趣64... 赞赏了
女性专属时尚座驾，欧拉芭蕾猫上市19.3万元起售
2022-07-12 23:58钛粉93105 赞赏了
TapTap塌房，“中国Steam”的故事结束了
2022-07-12 14:02已注销用户 赞赏了
【医疗健康周报】第26周：“康诺亚生物”获得1.9...
2022-07-07 15:05钛粉97884 赞赏了
零和游戏与非零和玩家：InterSystems的数...
2022-06-29 22:21钛粉97003 赞赏了
零和游戏与非零和玩家：InterSystems的数...
2022-06-29 21:58钛粉97388 赞赏了
零和游戏与非零和玩家：InterSystems的数...
2022-06-29 21:50钛粉11323 赞赏了
丰谷酒业换帅！李寒松出任党委书记、董事长
2022-06-28 17:09钛粉97508 赞赏了
海外港口货物积压，商家提前备货，今年外贸旺季来得有...
2022-06-24 18:44钛粉36186 赞赏了
习酒划转茅台集团财务公司5%股权，上市仍在“激烈博...
2022-06-21 15:25钛粉66633 赞赏了
重新定义“一体化”？HR SaaS产品PaaS化之...
2022-06-16 08:51碧天黄地 赞赏了
未来汽车如何实现创新与融合？几位大佬有话说
2022-05-30 21:37钛友趣76... 赞赏了
批量招聘难题何解？他们发现了HRSaaS的新机会 ...
2022-05-26 23:38单晶冰糖啦... 赞赏了
钛媒体华南中心成立 全财经战略布局再进一步
2022-05-25 11:30钛粉89798 赞赏了
郑大一附院，一家“超级医院”的双面特写
2022-05-21 06:19钛粉00698 赞赏了
大厂深蹲，时代向前
2022-05-19 10:27刘成军 赞赏了
中国信通院院长余晓晖：加快构建我国特色的工业互联网...
2022-05-18 14:09已注销用户 赞赏了
Netflix真的会为「卖广告」掏出真心吗
2022-05-17 10:19钛田097... 赞赏了
黑海粮仓“起火” ，全球粮食失衡
2022-05-09 19:50钛i7Tw... 赞赏了
Bilibili Issues 10,000 NF...
2022-05-03 16:30钛粉11841 赞赏了
式微的金三银四，进击的线上招聘 | 钛媒体深度
2022-04-28 00:39 查看精彩文章，打开钛媒体客户端挺钛度，加点码！
¥ 5 ¥ 10 ¥ 20 ¥ 50 ¥ 100支付方式
确认支付支付
支付金额：¥6
赞赏金额：¥ 6
赞赏时间：2020.02.11 17:32
账户【未登录】提示！个人中心将无法记录并同步您的赞赏记录，是否进行登录
直接赞赏 立即登录分享文章
微信扫码2Oh! no
您是否确认要删除该条评论吗？
分享文章
微信扫码 2
