查看原文
其他

ChatGPT会对未来5年的NLP算法从业者带来怎样的冲击?

张俊林等 AINLP 2023-03-21

周末看到知乎的一个问题,有点意思,值得NLPer思考,选取几个回答,欢迎留言。


问题:ChatGPT的诞生意味着模型大一统的可行性,这会对未来5年的NLP算法从业者带来怎样的冲击?


我个人从ChatGPT上看到了很多可能性,也对未来职业生涯更加悲观,或许纳米酱说得对,薅资本主义羊毛,攒够几百万回家考公务员才是正道。

链接:https://www.zhihu.com/question/575391861



作者:张俊林
链接:https://www.zhihu.com/question/575391861/answer/2832979762
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

一言以蔽之:对于NLP研究人员,前景非常不乐观。

ChatGPT这种Instruct based方法,能取得如此惊艳的效果,是出乎很多人意料的,当然,我个人认为它能力的强大,主要还要归因到背后依托的GPT 3.5太强了,这体现了模型规模的魔力。而这意味着很多目前独立存在的NLP研究领域,将被纳入LLM的技术体系,进而不再独立存在,逐步消失。

目前大多数NLP子领域,仍然是以独立研究领域存在的,比如“机器翻译”、“文本摘要”、“QA系统“等,只是切换成在“预训练+fine-tuning/few shot prompting”框架下,面对领域独有问题,陆续提出新的改进方案。目前研究表明,很多NLP任务,随着LLM模型规模增长,效果会大幅提升。据此,我觉得也许我们可以得到如下推论:大多数某领域所谓“独有”的问题,大概率只是缺乏领域知识导致的一种外在表象,只要领域知识足够多,这个所谓领域独有的问题,就可以被很好地解决掉,其实并不需要专门针对某个具体领域问题,冥思苦想去提出专用解决方案。也许事实的真相超乎意料地简单:你只要把这个领域更多的数据交给LLM,让它自己学习更多知识即可。

在这个背景下,未来的技术发展趋势应该是:追求规模越来越大的LLM模型,通过增加预训练数据的多样性,来涵盖越来越多的领域,LLM自主从领域数据中通过预训练过程学习领域知识,随着模型规模不断增大,很多问题随之得到解决。研究重心会投入到如何构建这个理想LLM模型,而非去解决某个领域的具体问题。这样,越来越多NLP的子领域会被纳入LLM的技术体系,进而逐步消失。

我认为,判断某个具体领域是否该立即停止独立研究,其判断标准可采取以下两种方法,占其一即可:第一,判断某个任务,是否LLM的研究效果超过人类表现,对于那些LLM效果超过人类的研究领域,已无独立研究的必要。举个例子,GLUE与SuperGLUE测试集合里的很多任务,目前LLM效果已超过人类表现,与这个数据集合密切相关的研究领域,其实就没有继续独立存在的必要。第二,对比两种模式的任务效果,第一种模式是用较大的领域专用数据进行Fine-tuning,第二种是few-shot prompting或instruct-based方法。如果第二种方法效果达到或超过第一种方法,则意味着这个领域没有继续独立存在的必要性。如果用这个标准来看,其实很多研究领域,目前fine-tuning效果还是占优的(因为这种模式领域训练数据量大),看似还可独立存在。但是考虑到很多任务随着模型规模增大,few shot prompting/instruct效果持续增长,随着更大模型的出现,这个拐点很可能短期就会达到。

如果上述猜测成立,将意味着如下残酷事实:对于很多NLP领域的研究人员,将面临往何处去的选择,是继续做领域独有问题呢?还是放弃这种看似前途不大的方式,转而去建设更好的LLM?如果选择转向去建设LLM,又有哪些机构有能力、有条件去做这个事情呢?我们很多人可能早晚要面对这些问题,并给出自己的选择。

当然,我个人表示情绪稳定,对我基本没啥影响,因为在T5出现之后,我就知道自己已经没有能力做LLM这个事情了。



作者:郑楚杰
链接:https://www.zhihu.com/question/575391861/answer/2833726655
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

  1. 对于 R&D 可能影响不大,毕竟做的事一直都是 follow 国际大厂的前沿工作,他们出什么就跟进什么就好了

  2. 对于垂直领域的  可能会产生较大冲击。当 LMaaS 普遍后,竞品都基于同样的基础模型,能力下限大大提升,行业门槛大大下降。仅存的护城河就是里的数据积累(但效用会随着 LLM 变得更强而下降)

  3. 对于 NLP 研究者(包括 AI Lab、高校研究室)、特别是垂直领域可能冲击最大。通用 LLM 方法让垂直领域的细分/长尾问题上的 incremental improvement 很难再有大的价值和影响力,你费老大劲都只能缓解的问题可以被 LLM 直接解决

由于我自己还在读博,关于 3 可能感受更深,再说两句

以往国内学术界/工业界对于 LLM 的传统认知是「计算开销大、生成慢、落地难,过于 magic」,即使到现在这也是「LLM 没有未来」的一个主要论据。但我们需要注意到几方面事实:

  1. OpenAI 提供的 LMaaS 服务(toB 和 toC)已经具备很高的速度(很低的 latency),并构成了行之有效的盈利模式

  2. 2022 年的大量前沿研究都在探索和拓展 LLM 的极限和边界,这进一步促进了 1

  3. 2 中的这些研究都是出自国际大厂,国内几乎已经缺席了 LLM 的前沿研究

  4. 由于实力的不对等,OpenAI、Google、DeepMind 等 LLM 头部玩家可能不再会公开最前沿的 LLM 研究进展(转为挤牙膏模式)

以上事实意味着:当国际大厂用上了更低成本、更好性能的 LLM 技术使其落地时(尤其是极富潜力的生产力场景),国内可能还在认为 LLM 落地难而止步不前,而这仅仅是因为前者没有公开技术或指明可能性。换而言之,等 GPT-4 出来后,国内的专家们可能又会说「大模型落地难,实际应用还得靠中小模型」,但「OpenAI 的大模型成本或许比你的中小模型还要低」,更不用说 OpenAI 的中小模型(如 6B~13B)的性能已经远超一众超大模型(如 130B~175B)。在这一趋势下,国内与国际前沿的技术鸿沟会越来越大,甚至无法追赶

那么对于研究人员来说,如何判断自己研究的问题在 LLM 时代下还有没有价值?

@张俊林

的回答其实说得已经很好了。我个人认为最核心的两个依据是:

  1. 这个问题是否是通用领域问题?如 LLM 的可解释性、训练与提示技巧、模型压缩和加速

  2. 这个问题是否会被 scaling 解决?如果  可以解决,或者方法带来的提升随着 scaling 而减小,那么研究的价值和影响力可能就会极为有限。如果对学术/技术影响力有更高的追求,在资源和条件允许的情况下,则应该转向通用领域的问题开展研究




作者:潘浩杰
链接:https://www.zhihu.com/question/575391861/answer/2833613607
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

我倒是看到了新的希望,如果是纯做NLP中台(而不是直接做搜索广告等)现在在业界本就是锦上添花的角色,且一些中台服务如机器翻译等基本趋近饱和。

但LLM在国外如火如荼,Model as a Service 在国内也越来越重视。新的范式会引起新的变革,对业内从业者而言就可以有新的事情可以尝试。

我认为最受冲击的可能是思维还停留在deep learning for nlp时代的,或者BERT for everything时代的,新的浪潮下转弯不够快就很容易落伍。比如我17-18年做chatbot的时候,都是seq2seq+pgn生成出来一堆跟上下文无关、缺乏多样性、刷blue和rouge指标的没有意义的response,其后几年脑海里都是“文本生成不可信任,nlp唯一killer application只有翻译,新的工作不就是xxx”,现在跟很多小同学交流才发现自己才工作两年多就已经慢慢落后了。

另假如对NLP有更深的信仰,希望能有更拟真的对话AI的同学而言,就更是利好信息了。



作者:多头注意力
链接:https://www.zhihu.com/question/575391861/answer/2833012173
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

题主用了冲击一词,应该认为影响比较负面。我倒是认为不一定,特别是应用端,以下是几点想法:

  1. 大模型再牛也需要调包侠写代码。模型应用到业务还是有很多工作需要做的。评论区有朋友说直接调用API只需要开发同学就行了,没错,【调用】这个动作确实很容易,但chatgpt 并不是个像查天气,查邮编这样确定性的api,prompt 的设计,结果的校验都是需要不少工作的。

  2. 技术有突破有利于行业繁荣,特别是在一个比较短的时间内(题主问五年内)。参考2013年后卷积神经网络带来的行业热潮和2017年后预训练语言模型带来的行业热潮。

  3. 从业者的工作方式肯定会改变。重要的是跟上趋势,不要抱着原来的技术和方法不放。这个情况也不是没有经历过,词向量时代大家花大量时间减少OOV ,bert 出来后几乎没人关心这个了。当时bert 出来大家也感叹以后炼丹容易了,会冲击行业,但实际结果并没有。如果在现在一个nlp 工程师还不会使用预训练语言模型,那可能对他的职业发展确实是有【冲击】。

  4. 工具的进步是会释放创意潜力的,所谓学以致用,可以多思考怎么用。

至于研究者,比较认可

@张俊林

的回答,影响会大一些。


进技术交流群请添加AINLP小助手微信(id: ainlp2)

请备注具体方向+所用到的相关技术点

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区,专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享,主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等,欢迎关注!加技术交流群请添加AINLP小助手微信(id:ainlp2),备注工作/研究方向+加群目的。




阅读至此了,分享、点赞、在看三选一吧🙏

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存