如何评价OpenAI的超级对话模型高性能计算ChatGPT?
蓝海大脑高性能计算液冷服务器研究人员表示:
先从Jason Wei的这条推开始。现如今还有很多old-time NLPers停留在BERT时代,思考BERT训练的LM能做的一些任务,而他自己很少看到新加入的NLPers有这个问题。从我个人的理解,他这里说的new-joiners,大概指的是在GPT3出现之后加入到NLP领域并进行探索的人,当然包括他自己。
而从这个角度,国内的情况更为夸张。首先,GPT3的API需要收费,并且国内IP是没法直接访问的,我个人也和很多国内NLPers进行了交流,大家对于GPT3甚至后GPT3时代语言模型的进展了解寥寥,大家对于GPT3、GPT3.5(davincci001/002)有什么样的能力了解都这么少,更遑论训练出这样的模型了。这确确实实让我强烈的感受到了"卡脖子"的感觉。
近期看到很多人不管是在朋友圈还是知乎回答,一遍又一遍的验证了这条推特的说法。我甚至还看到有人觉得训练出这样的模型“不算太难”,据我了解,在GLM130B出来之前,国内甚至没有一个能对标2020年6月OpenAI发布的GPT3的模型,更别说他们后续远远更强大的GPT3.5(davincci001/002)和近期新闻满天飞的GPT4了,让我自己真实的感觉到信息茧房的可怕。但ChatGPT的火爆让我觉得很幸运,至少在这个时刻,更多的人可以看到他们模型的能力,也就有更多的人可以看到差距,激发更多人去思考。
蓝海大脑 京ICP备18017748号-1