OpenAI在推出GPT-3后,分享过一个AI大模型的「伸缩法则」,简单说就是算法参数越大,数据量越高,AI大模型的效果就越好,但他们当时认为算法参数才是重点。
随着谷歌也加入到研究中,大家发现,数据才是更关键的部分,参数规模如何与数据规模匹配,数据质量的高低,对结果都有显著影响。
这也就是说,中国chatGPT的开发既要解决算法上的问题,还要积累一个与超大规模算法匹配的优质数据库,前者靠聪明的大脑或许能加速不少,但后者就是实打实的苦功夫,会成为不少AI企业面对的最大难点。
OpenAI在推出GPT-3后,分享过一个AI大模型的「伸缩法则」,简单说就是算法参数越大,数据量越高,AI大模型的效果就越好,但他们当时认为算法参数才是重点。
随着谷歌也加入到研究中,大家发现,数据才是更关键的部分,参数规模如何与数据规模匹配,数据质量的高低,对结果都有显著影响。
这也就是说,中国chatGPT的开发既要解决算法上的问题,还要积累一个与超大规模算法匹配的优质数据库,前者靠聪明的大脑或许能加速不少,但后者就是实打实的苦功夫,会成为不少AI企业面对的最大难点。