-
中国高校为何难出大模型?下一代AI仍依赖基础科研的突破
ChatGPT诞生至今已过去9个多月,大模型在产业界和学界的最新进展有哪些?
在8月24日举行的2023世界人工智能大会(WAIC)青年优秀论文奖颁奖仪式暨青年科学家论坛上,谈到大模型为何难以首先诞生在高校,同济大学计算机系副主任何良华教授认为,学界之所以很难出现ChatGPT这样的模型,主要是算力和数据的问题。
何良华说,大模型非常吃算力,高校也难以去购买大量的算力。而有了算力之后,要把参数训练得比较成熟,需要海量的数据,但是学界是拿不到这么多数据的。除了这两个问题,还和学界自身的需求有关。“我们都期望在理论上做一些创新。比如我的学生如果跟我说现在需要几千张卡(算力)来做一个事情,我所有的经费给他也不够,课题也难以立项。因为它既不是应用,又不是理论,找不到这样一笔经费,研究只能中断。”
和团队率先在国内发布了具备 ChatGPT 能力语言模型MOSS的复旦大学计算机学院教授邱锡鹏表示,大模型更顶尖的研究机构在业界,这是一个不可回避的事实。从DeepMind再到OpenAI,都是如此。美国的很多著名高校,从研究实力上看已经落后于这些顶级的研究院了。
邱锡鹏解释,学校和研究院的差异还是在于自由的探索。对于很多研究院来讲,长期的目标还是奔着盈利,包括国内很多企业之前也建了很多研究院,过不了几年就发现可能面临着盈利、变现的压力,导致做的研究不是特别纯粹。在他看来,OpenAI的团队是一个以前没有出现过的形态,这种制度设计非常好,能使团队既能坚持本心做研究,同时也没有那么大的压力。
“在学校的话还是要发挥学校的长处,做的研究没有太多的盈利要求或面临短期变现的压力,也可以思考得更长远。特别在如今高算力要求的情况下,在学术界和产业界的研究院之间,还是可以发挥学术界的优势。”他说。
上海科技大学生物医学工程学院常任助理教授钱学骏则认为,工业界做出的很多有影响力的工作,可能不是学界追求的主要目标。“学界可能更想(发明)一种思路上的创新(新想法、新应用),而不是通过大算力、大数据,各方面的优势集中做出来了,对学界来说这些也不够有优势,无法获得大量数据。”
华为诺亚方舟实验室AI研究员谢恩泽说,怎么构建高质量的数据集,可能是对于大模型能力一个很重要的补充。训练大模型本身来说,用多大参数的模型、配多大的数据量,以及用多长时间,这些协同也是很重要的。而这些只有在少数几个大厂才有机会接触到这些资源。
今年以来,生成式人工智能的发展成为地方政府和科技大厂瞄准的关键词。科技部人工智能发展研究中心5月底发布的《中国人工智能大模型地图研究报告》显示,当前国内10亿参数规模以上的大模型已发布79个。
在不久前的浦江基础科学发展论坛上,清华大学人工智能研究院常务副院长孙茂松教授对第一财经表示,我国乃至全球发展大模型最终的突破关键,是基础科学的突破。
他说,对于大模型,当前的问题在于并不清楚OpenAI的机理是如何运作的,就连推出ChatGPT的OpenAI公司首席执行官萨姆·奥特曼也表示,虽然做出了GPT但也不清楚发生的原理,“实际上就是对这个机理还不清楚”。他认为,现有的人工智能模型已经能做到说话通顺,但这个问题的内在实现逻辑仍然十分复杂。如果弄清楚了大模型里的规律、ChatGPT背后的机理,就有可能克服现有人工智能大模型的局限性,建立下一代人工智能的理论和模型。
- 原标题:中国高校为何难出大模型?下一代AI仍依赖基础科研的突破
- 责任编辑: 连政 
-
水稻并非在中国单次起源,但80%基因来自中国
2023-08-23 06:58 -
印度“月船3号”月球探测器与“月船2号”轨道器建立通信连接
2023-08-21 22:05 航空航天 -
大藤峡工程最后一台机组并网发电
2023-08-21 20:05 超级工程 -
印度公布登月着陆时间及具体步骤
2023-08-20 21:23 航空航天 -
俄“月球-25 ”号探测器与月球表面发生碰撞:已失联
2023-08-20 17:09 航空航天 -
我国首个大型巡天空间望远镜正在研制
2023-08-19 15:16 -
国际首套!中国300兆瓦先进压缩空气储能系统膨胀机顺利下线
2023-08-17 15:37 能源战略 -
英特尔显卡成亚运会官方指定图形处理器
2023-08-17 15:28 亚运经济 -
我国二氧化碳精准合成己糖技术取得新进展
2023-08-16 22:37 科技前沿 -
我科学家成功打印出“金属力学超材料”
2023-08-16 07:51 科技前沿 -
天津大学成功研发5.5G/6G“技术心脏”
2023-08-16 06:54 5G -
吴艳华总师率团出席俄罗斯月球-25号探测器发射活动
2023-08-15 16:04 航空航天 -
三大运营商上半年营收万亿,云业务成增长亮点
2023-08-14 00:28 观网财经-科创 -
全球人工智能发展,可能还会走上核武竞争的老路
2023-08-13 08:33 这就是中国 -
如果一家公司或者一个人,利用人工智能把整个世界毁灭……
2023-08-12 09:45 人工智能 -
碧桂园已筹备债务重整 近期启动相关程序
2023-08-11 08:17 观网财经-房产 -
“为了这组高清图,我们前后花了10年时间”
2023-08-10 08:24 -
LK-99只是电阻很高的劣质材料?北大等团队研究结果公布
2023-08-08 22:05 -
香港大学获822.6毫克嫦娥五号月壤样本
2023-08-08 14:12 香港 -
国产薄煤层采煤机打破世界纪录
2023-08-08 07:45 科技前沿
相关推荐 -
习近平同俄罗斯总统普京会谈 评论 0习近平举行仪式欢迎俄罗斯总统普京访华 评论 63俄罗斯总统普京抵达北京 评论 228黄循财宣誓就任新加坡第四任总理 评论 80“杰出但不突出”?为什么选他接班李显龙 评论 96最新闻 Hot
-
他公开“发难”,对内塔尼亚胡“最直接的政治挑战”
-
“过去我们所有LNG船都来自韩国,现在我们选择中国造船厂”
-
枪手身份曝光!71岁男性,“有政治动机”
-
“已有50多国确定参加乌克兰和会,正争取中国等参加”
-
雷蒙多称:今年秋天对中国联网汽车“下手”
-
太阳刚刚爆发近20年来最强耀斑,对地球……
-
“可怕的消息!对中国这样,将打击每个美国家庭”
-
“美以私下说好了:他来,不动手”
-
她竟称“希望中国以理性方式回应”
-
法国突发!囚车遭劫致2名狱警死亡,马克龙“震惊”
-
“太讽刺了!”TikTok内容创作者出手
-
俄新防长:中印可以做到这一点,但欧洲不行
-
性骚扰女生的失德教师欲删除自己的网络词条,法院判决驳回
-
“别学美国对华这种‘坏主意’”
-
“我对俄中经济关系的宏伟前景充满信心”
-
又一位宣布辞职!“作为欧洲犹太人的后裔,我无法保持沉默”
-