面对大模型，高校 AI 研究者该怎么办？

luyuanhong

面对大模型，高校 AI 研究者该怎么办？

作者：陈德旺 | 发表时间：2023-5-8 10:44 | 个人分类：大模型 | 系统分类：科研笔记

2016 年 DeepMind 公司的 AlphaGO 横空出世，不仅击败了围棋世界冠军，也击败了很多高校研究围棋算法的人工智能（AI）研究者。2023 年，OpenAI 公司的 ChatGPT 火遍全网，不仅让很多文字工作者和编程人员感到阵阵寒意，也让多年从事自然语言处理的高校 AI 科研工作者自愧不如。

最近几年，在人工智能发展的标志性成果中，越来越多的大成果是公司做出来的。公司开展的是目标明确的高度有组织科研，与高校自由探索式科研为主有着明显的区别。而且，这些AI顶尖公司不仅能整合资源解决关键科学难题，搞出核心技术，还经常在 Nature 、Science 等顶级期刊发表论文，甚至有些是封面论文。有些 AI 公司甚至敢于开源代码，不怕被高校 AI 科研人员超越，真是艺高人胆大。可以说，在 AI 研究中，高校的 AI 研究论文在数量上虽然占据绝对领先地位，但是在引领行业发展、发挥关键性作用方面却越来越小、越来越边缘化，值得我们深思。

顶尖 AI 公司为什么这么成功? 我认为有以下四个因素。首先，科研有巨大投资，动辄几十亿美元的投资可以用于购买大量 GPU 形成大算力，从而可以构建大模型、训练大模型；据说有时一次训练就要耗费千万美元，真是财大气粗。其次，科研团队不仅是精兵强将，而且是兵多将广，可招聘几十个科研经验丰富的多学科交叉大团队，给予足够高的薪水，使团队人员全力以赴从事科研，而无需浪费大量时间申请不同的科研项目；第三、科研目标非常目标明确，团队围绕着一个目标开展工作，而不是各有各的小目标；第四、高度协作的有组织科研，团队成员的分工非常明确，还有专门的组织协调人员以提高沟通效率，解决后勤保障等问题等。

高校科研的特点主要有以下四点。首先是经费不足，申请科研经费的难度越来越大，经费额度也太小，买不了几块 GPU 卡。其次，高校科研团队的规模较小，一般为一个导师带几个研究生，不过 10 余人。而且，导师和研究生都不是专职科研人员，有很多上课和考试的任务。第三，高校科研团队的组织松散，即使的大一点的科研团队，每周坚持开一次会，其他时间大家都是各自为政，难以紧密协作，以自由探索式科研为主。第四，高校科研团队经验不足，虽然导师有一些科研经验，但是缺乏时间；研究生都是科研新手，处于学习探索阶段，经验不足导致科研进展非常缓慢。

在如此不利的情况下，高校的人工智能科研该何去何从呢？我认为也有四点对策。首先，是不搞大模型，专注于小模型，不与资金雄厚的公司竞争。其次，改进大模型，简化模型结构，使之轻量化，降低算力需求；第三，高校 AI 科研团队内部开展合作，力争有组织科研，形成大团队，避免重复投资，集中人力物力搞大模型；最后，与 AI 公司开展合作，利用公司的大模型和大算力，开展科研工作。

总之，人工智能核心技术方面，很久没有看到高校团队的不可或缺的贡献了。希望 AI 研究的战略科学家们，能居安思危，采取有效行动，将自由探索式科研与有组织科研有机结合。这样才能适应 AI 科研发展趋势，做出突出贡献，搞出标志性成果，重现高校引领 AI 科研方向的辉煌。