其他
Vol.07 人人都会拥有一个属于自己的大语言模型
卷首语
最近在朋友圈看到有个朋友对所有AI的新进展都打一个标题，“天天工业革命，夜夜文艺复兴”。的确，过去一周我们迎来了GPT4，微软的Office Copilot，Google也号称发布了PALM和Workspace里的AI助手。Midjourney也发布了能把手画好的V5模型。
不过，这一周的文章我们更多在回忆过去：
我最近在回顾老文章，2017年的时候，Andrej Karpathy说神经网络会是Software 2.0。那个时候，完全没有感觉，但是今天回头看，堪比Software is eating the world的神预测。
任鑫在分析 Jasper.ai 该怎么办。过去几周的进展，堪称“杀死”了一堆公司，比如grammarly, deepl。而 jasper.ai 作为 OpenAI最早的合作伙伴之一，其实也有很大的危机。但是如果视角把他从一家科技公司变成咨询公司，似乎他反而可以颠覆整个旧世界。
而随着 llama, alpaca 等一系列的开源模型的出现，我觉得我们进入了NLP的“Stable Diffusion”时刻，我大胆做个预测，6个月后，开源版本的GPT会追上GPT-3。
最后，任鑫来回顾一个更加哲学的命题，“我是谁？我的自我意识是什么？”随着神经网络的涌现能力出现，人和AI的差别是什么？是会不会梦见电子羊么？
——徐文浩
1
EVOLUTION
从软件吞噬世界到软件2.0
反而回头去看看一些旧文，反而能获得对于事务本质的洞察。2011年的时候，Marc Andreessen 就写了 Why Software is Eating The World。但是那个时候，我们今天习惯于使用的大量的App和平台还没有诞生，没有滴滴打车（要2012年9月才上线），没有抖音（2016年9月上线），也没有美团外卖（2013年11月上线）。回过头去看，Mar Andreessen的这篇文章极其有洞察力，预测了软件吞噬一切的时代的到来。
Why Software Is Eating the World | Andreessen Horowitzhttps://a16z.com/2011/08/20/why-software-is-eating-the-world/
今年，随着ChatGPT的大火，通用人工智能和AI又大火了起来。那么回头看Karpathy Andrej在2017年的这篇Software 2.0的文章就特别有意思。那个时候，Transformer虽然已经提出了，但是无论是BERT还是GPT都还没有出现。那个时候我已经读到了这篇文章，虽然我做过很长时间的机器学习相关的应用，也理解他所说的，但是那个时候心里的感受是“无非又一个标题党的比喻”而已。
但是今天回头看ChatGPT的能力，的确有了 Software 2.0的意思。需要完成一个功能，我们不再是撰写一段专门的业务代码，而是扔一段自然语言到一个大语言模型的黑盒子里面，直接等他给到答案。软件的“底层”组件已经不是人撰写的确定性逻辑的代码，而是一个Transformer，一个黑盒子的神经网络。而且，我们不再需要为一个任务单独设计一个神经网络了。在超越了依赖于标注数据，必须对单个模型进行训练之后，神经网络的确可以称得上是Software 2.0了。
Software 2.0
https://karpathy.medium.com/software-2-0-a64152b37c35
不仅是把AI的能力融入到现有的应用里面去，可能进一步思考，是否整个系统从最底层都应该从神经网络建立起来了？即使原本使用Software 1.0开发的部分，是不是也应该彻底用Software 2.0替代掉？从这个角度想的话，现在来做大模型的团队是太少了，而不是太多了。
更多思考，我们这周直播里具体聊聊吧，周二晚八点，大家记得预约～
2
AI BUSINESS
Jasper.ai 怎么活下去
Jasper.ai 本质上就是 GPT-3 上面（他们在 YC，所以 2020 年就拿到了点内测资格）做了一些 Prompt Engineering 然后包装了一层界面，专门用于文案和营销领域。这些功能，用ChatGPT 都能实现，只是不方便而已。而从定价看，Jasper 收非常贵，300,000 个单词要 232 美元：
$0.8 的成本，232 的价格……这个毛利率接近 100%了。怪不得现在每天还看到十个八个新的类似 Jasper 的工具出来。
不仅毛利率高，而且收入增长飞快，据传 2022 年收入就已经达到了 9000 万美元。结合那个夸张的毛利率，这确实是个好生意。
这些美好故事发生在 ChatGPT 发布之前。那时大家心目中的人工智能就是人工智障，Jasper 借由 GPT-3 优化出来的功能确实足以让万众惊艳（其实这个惊艳背后 80% 功劳是 GPT-3 的）。
那么，在 ChatGPT 大火之后，Jasper.ai 活得怎么样呢？
从 Twitter 上看到一张图，显示 Jasper.ai 的自然流量，在 ChatGPT 上线后断崖式下降。当然，反面是听了一期播客，Jasper.ai 的投资人说他们的收入在高速上升。后者利益相关，总觉得难以相信。
既然可以直接用 ChatGPT，那 Jasper 还剩下什么呢？
可能是：场景 + JTBD（用户任务）。
Jasper 提供更多适合具体场景（比如 Facebook 广告）的模板，用户只需要使用这个模板就可以直接生产出适合这个场景和任务的文案，而不用去 ChatGPT 慢慢调。
从这个角度讲，他们拿 100% 毛利率也不是很夸张。可以把他们当做是一家行业咨询公司，但是这家咨询公司不仅可以把最佳实践带给你的公司，而且能够确保实践落地到位。换这个角度，就觉得还挺便宜。
站在 AI 世界的零和博弈角度，Jasper 不仅仅会受到 ChatGPT 的冲击，更会受到武装了 ChatGPT 的众多 AI-Driven 应用冲击，前景堪忧；但站在时代的角度，AI 世纪的序幕才刚刚拉开，这个时间段内，Jasper 的对手并不是另一个拿火枪（AI）的创业公司，而是旧世界。
3
MODE
大语言模型的Stable Diffusion时刻
Large language models are having their Stable Diffusion momenthttps://simonwillison.net/2023/Mar/11/llama/
在Stable Diffusion刚开源的时候，其实效果是比DALL-E 2 和 Midjourney要差上很多的。但是整个社区的进化非常快，而且呈现的是一个持续加速的过程。ControlNet，Visual-ChatGPT以及各种各样的模型插件，到今天你已经很难说Midjourney一定比Stable Diffusion好了。
而大语言模型在过去一周似乎也有这个趋势，Meta的llama开源并被泄漏之后，很快有人做了 llama.cpp 的项目，让整个65B的模型可以在内存足够的笔记本电脑上加载出来。接着，together.xyz又放出了OpenChatKit，通过一个在20B参数的GPT-NeoX上通过4300万条指令进行微调过的模型，提供对话能力。即使今天，OpenAI仍然拉下大家一两个身位，但是如果按照Stable Diffusion的发展趋势来看，6个月之后，我们就可以有一个80分的开源GPT-3了。
Announcing OpenChatKit — TOGETHERhttps://www.together.xyz/blog/openchatkit
离我们在自己的笔记本上拥有一个属于自己的大语言模型的时间已经不远了。
4
AI & HUMAN BEING
自我意识其实是幻觉？
虽然现在大家讨论比较多的，是什么时候 AI 会产生自我意识。但其实我心里的推测是，大概率世界会朝相反的方向发展……随着 AI 的发展和我们对其运作原理的理解加深，我们能够愈发证明自我意识是个幻觉。
既然只是个幻觉，也就不用假惺惺在那边讨论“AI 什么时候能有”了，需要幻觉的时候制造一个就好。
为什么说是幻觉呢？
首先，自我意识究竟是什么？
把手放在冰水里 1 分钟，然后放在温水里 10 秒钟，我们感受更遭，但事后回忆起来感觉更好；把手放在冰水里 40 秒，直接拿出来，我们遭罪时间更短，但事后回忆评价起来感觉更糟（因为结束时手还疼）。
哪个是我的感觉呢？
一个是体验中的我，一个是叙事的我。哪个是我们谈论的自我意识？这两个一样么？
Benjamin Libet 在 2008 年做过一个实验，让受试者手里拿个按钮，眼睛看着秒表，自主选择任何一个时间按下这个按钮，然后报告做出决策的时间。
通过脑电波监测表明，其实我们以为自己是在第 10 秒做出的决定，但其实在第 7 秒的时候身体和大脑就已经产生了想法。体验自我作出决定，做好之后通知了叙事自我，让叙事自我编个故事解释自己为什么这么做。
我们平时自己以为的“意识”，其实不过是叙事自我（陈述自我）。而我们以为自己是总统，其实只不过是新闻发言官而已——其实决定不是我们做的，我们只是编瞎话把逻辑搞圆罢了。
当然，纯粹编瞎话没什么价值。大自然让我们进化出叙事自我，应该不只是为了听到更多故事，而是因为可以为这个种族创造竞争优势。
我自己的理解是“叙事自我”可以帮助我们做“模拟器”。体验自我只能生活在当下，但叙事自我可以生活在过去和未来（想想我们自己，多少心思是在怀念或者悔恨过去，多少心思是在焦虑或者 YY 未来）。叙事自我通过讲故事的方式，让一个“假的自己”在“假的时空”（大脑模拟器）中做不同选择，获得不同反馈和结果，并用这些数据来训练自己的神经网络，让自己下一次直觉决策的正确性提高。
如果创造一个意识，只是为了让他在模拟器中玩游戏创造训练数据……这事儿 AI 有啥不能干的呢？
待办清单
直播预约
加入社群：
长按图片扫码，加入知识星球
全平台搜索关注
商务合作：公众号菜单栏 - 联系我