江苏龙网

  1. 主页 > 生活百科 > >

对话周伯文：当你真的明白了ChatGPT，你就不会想再做一个OpenAI( 二 )

ChatGPT


这篇论文和Transformer架构彻底改变了一切，它解决了模型长距离记忆的问题 。Ilya Sutskever在近期一次采访中回忆，OpenAI在论文出现第二天就立刻彻底转向了Transformer架构 。
而后，2020年5月OpenAI基于Transformer架构的GPT-3论文发表，2年后ChatGPT出现 。之后的一切都是历史 。
“从注意力到自注意力，从BERT到GPT-3，核心的思想都是当不再依赖输出或待预测词的下文等未来的信息时、当可以用更多的数据来更充分训练AI模型时，我们看到了AGI的影子“ 。
弄潮的人会更早意识到新浪潮到来，在看到GPT3后，当时已经在京东担任高级副总裁的周伯文给自己的职业生涯做了一个重要的决定：
创业 。
2021年下半年，他向工作了4年的京东提出离职 。他曾在这里一手搭建起京东的整个AI团队，领导了云与AI的整合和战略刷新，把生成式人工智能用到千人千面的个性化商品营销和爆款产品创新中，并收获了亮眼的提升数据 。2020-2021年生成式人工智能还是早期探索，很少有人愿意为此而重新出发，但他看到的未来让他无法等待 。
人生就是“connect the dots” 。周伯文喜欢乔布斯这个提法，而对他来说，把这些点连接起来的一刻到了 。
衔远科技的诞生
一个无限的符号 。左边是产品，右边是消费者 。
周伯文在2021年底的一天在一张A4纸上画下了这个图案，之后衔远科技诞生 。
Dots connected 。
这种基于生成式的交互智能就是ChatGPT成功背后的重要机制，但在ChatGPT还没出现的当时很少有人懂 。
离开大船，带来的是巨大的沉没风险，但他自己想的很清楚 。
“终局思考加上对技术阶段和成熟期的判断，让我在2021年决定干这件事情 。”在衔远科技位于中关村(5.800, -0.03, -0.51%)的办公室，周伯文对我说 。他的声音有些沙哑，今年以来他每一天的行程以小时划分，但精力依然充沛，提到技术的演进节点，不自觉会兴奋地提高音量 。

对话周伯文：当你真的明白了ChatGPT，你就不会想再做一个OpenAI

文章插图
周伯文
“展开来说，首先是技术验证，一方面是GPT3这些模型明显看出生成式的能力越来越强 。另一方面是我自己早期的一系列技术和效果验证 。用生成式AI来做的内容和产品创新等比人类专家的转化率提高30% 。”
两相结合，周伯文创办衔远科技要做的，就是用生成式人工智能去重构用户和产品的关系 。
“过去的模式虽然已有很多新AI技术的实践，但数智化产业在追求单点，成千上万个小的模型，解决一个个具体环节 。我希望做一个基础大模型，学习商品供应链各个环节，并以消费者为中心提升关键环节效率 。”
但果不其然的，这个模式在一开始并没太多人理解 。周伯文又再次需要做一个判断：这些技术思考和现实的商业模式之间的空隙，他是否又一次太超前了 。
“超前是我的常态，但我当时判断是，没有太超前 。”他对我说 。“我总是说，技术的突破，核心是你的愿景是什么 。”
周伯文的技术愿景显然指向通用人工智能，而这一次生成式人工智能的进展，让他更清晰看到通用人工智能的可能性，其中最关键的改变，就是人与人工智能的交互关系的变化 。
“过往大家都把人机对话认为是一种应用 。我为什么要去做交互呢？我不认为它是个应用，从人类历史早期开始，从孔子与72门徒到雅典学派，人类知识的积累、沉淀、传播，其实都是通过人和人的对话、交互实现的 。AI时代类似，我认为人机对话是一个学习与对齐的手段，通过交互，人可以不断地教AI，完成人和AI在复杂任务上的分工协同，并同时确保AI的目标和子目标都与人类对齐 。”周伯文说 。
在ChatGPT出现后，这种判断成了一种共识 。但在2022年初当他去清华大学提出想要做这个课题时，大家也感到新奇 。周伯文离开京东后，受聘为清华大学电子工程系长聘教授、清华大学惠妍讲席教授，并设立“协同交互智能研究中心”  。他同时拥有学界和创业者的双重身份，希望通过这两种身份围绕学术与产业的协同更好的助推AI创新发展 。
什么才是中国的OpenAI
在中关村不大的会议室里，周伯文给我展示他2021年底最早设计衔远科技的技术底座与商业模式时的幻灯片，网络投屏延迟有些高，“我们的网络资源都在训练模型，”他半开玩笑地说 。
这家公司正在按照他的愿景，稳步推进每一个技术细节，打造着模型和产品 。


推荐阅读


上一篇：分享4个功能丰富的图片编辑工具

下一篇：达利欧：人工智能“美妙而又危险”，关键问题在于人