江苏龙网

  1. 主页 > 生活百科 > >

一文回顾深度学习发展史上最重要经典模型( 五 )

深度学习


 
2019/2020年及以后-BIG语言模型 ， 自监督学习？
整个深度学习历史上最明显的趋势也许就是惨痛的教训 。更好的并行化（=更多数据）和更多模型参数的算法进步一次又一次地赢得了“更智能的技术” 。这种趋势似乎延续到2020 ， 其中GPT-3  ， 通过OpenAI一个巨大的175十亿参数语言模型 ， 显示了出乎意料的良好的泛化能力 ， 尽管它的简单训练目标和标准架构 。
 
同样的趋势是诸如对比自监督学习（例如SimCLR）之类的方法 ， 它们可以更好地利用未标记的数据 。随着模型变得越来越大 ， 训练起来越来越快 ， 可以有效利用Web上大量未标记数据并学习可以转移到其他任务的通用知识的技术变得越来越有价值并被广泛采用 。




推荐阅读


上一篇：电脑装系统的原理知识介绍，想学电脑装系统，这些知识必须要懂

下一篇：Win10全新功能曝光：除了强行关闭，还能直接卸载