笔趣书吧 > 都市小说 > 重生之AI教父 > 第14章 万事俱备

第14章 万事俱备(2 / 2)

推荐阅读: 漕贼 我,985废物,在线摆烂 建设人类宇宙 棉羊平时很温驯 佳人轻抚琴2潜龙乱世 浅评水浒传 网游:制霸全服,成为宇宙之主 狗在楚营 快乐系球王,愁苦瓜迪奥拉 病娇攻略拯救计划 塌房,然后被东京辣妹捡走 一人之下:炼炁为灵 祂,行走于人间 开局掠夺十二符咒,无敌诸天万界 家族修仙:我的悟性不断增强 巫师:从培养女猎魔人开始 他人练武我修仙 宠妃嘤嘤嘤,暴君跪地宠 斗罗之宁荣荣 成亲后,我修炼武道必有所成 苍生经 我一个鬼差,你让我跟校花领证? 东晋:从谢道韫咏絮开始 她们怎么还没怀疑我? 我在凡人修仙传打造长生家族 我有万般神通 美利坚梦魇 从怪猎开始的无限转职 从猎人考核开始成为最强猎人 美好四十年的时代 仙侠:开局破解千古棋局 我的炼药师女友 海贼的航海 灵幻风云传奇 凹凸:因为任务认识的朋友 搞怪特务 豪门双生花 名柯:行走在灰色地带的腹黑萝莉 末世全民接种 汉末战国 大明:朱雄英最强三代目 我那不合群的小青梅居然是赫敏! 人在战锤有惊世智慧 独自一人的怪谈游戏 书藏古今,我打造节目对话诸圣先贤 盗墓:我的金手指是穿越者 星落凝成月 初火影,后为仙 万古第一婿纯情犀利哥 原神,我荒泷一斗,不当搞笑男! 软糯只只一笑,腹黑狼崽子心乱了 救命!高冷蛇王缠上我 墓旁的相思 猫猫能有什么坏心思? 我的体内封百鬼 崩坏三:我杀了他们,但我是好人 开局:大帝修为,建立战神殿 档案组3 崩坏,在崩坏的世界里成为奥特曼 散文诗10000

将简洁好用的结构反复重复,这也大大地降低了孟繁岐所需要的开发工程量。

Alex是八层的结构,各自有一些独立的设计,在此时,8层已经是革命性的深度网络了。

更深的网络特别难以训练,因此原本直到14年,谷歌和牛津才分别把这个深度推进到22层和19层。

而Res的思想,彻底从根本上解决了网络变深就没法顺利训练的问题。它让50,100,150,甚至1000层网络的训练成为可能。

“从去年的8,到今年的100+层,甚至1000层也可以训练。在2013年的视角来看,这一剂猛药应该够劲了。”

不仅是深度上取得了开创性的突破,Res的性能也同样惊人。它是第一个-5错误率低于人类能力的结构,单模型达到了4.6%左右。

如果综合几个不同方式训练的Res,平均他们的输出再去预测的话,其-5错误率甚至低至3.7%。

“其实在IAGE上做得太准了反而是一件怪事。”考虑到后世的研究中,该数据集中的标签其实有不小的比例是错误的,越贴近百分之百的准确率反而越有一些荒诞的感觉。

Res的Res指residual,正经点说是残差,说得明白一些是一种短路或者是跳跃链接。

再说的浅显一点,假设原本的操作为f(x),Res就是把计算过程从f(x)改为f(x)+x。

这也是孟繁岐最早与付院长讨论的内容之一。

这种不带任何参数的支路链接,直接把操作前的内容加到操作后的内容上,是深度网络突然能够在上千层的深度下收敛的秘密所在。

在此之后的几乎所有AI文章,都很难绕得开这个思路。恺明本人单就这一篇文章,就在六七年的时间内收获了十五六万的文章引用。

不得不说这是一个天文数字。要知道即便是NaturecellSce三大世界级顶刊常客,着名华国美国双料科学院士抽出一个来,至今为止所有文章的总引用数量加在一起五万多都算是多的了。

当然了,单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。

很多基本学科曲高和寡,看得人少写得人也少。引用自然就上不去。

但就AI这个实用性实验性比较强的学科来说,内部去对比的话,引用的多少含金量还是相当之高的。

大家只会用代码投票,有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术,则会被一直引用下去。

学术界一直有这样的说法,搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。

恺明凭借几篇代表作奠定自己历史地位后,就总有个别人喜欢说什么“Res的思想早就有人提过了”,“几十年前的东西不算什么新东西”,“这篇文章也就是流量大罢了,和流量明星是一样的”。

酸味都要溢出屏幕了。

孟繁岐不是没读过一些理论类的文章,但他个人觉得新时代的AI,p话谁都会说,代码写出来才是本事。你说几十年前就有的东西,怎么不写一个Res突破人类水准呢?

Res的核心代码难写吗?不难的。

基于阿里克斯的框架,只需几个小时的时间,他就可以基本复现出Res论文中的所有结构。

弱小和无知不是生存的障碍,傲慢才是。

最新小说: 再逢秋[破镜重圆] 我的丛林鄙夷爱情 心动小屋[恋综] 槐风 狂野占有 裙边触礁 跟男顶流分手后,他又缠过来了! 而后有夏 顶级万人迷光环 强扭的顾太太超甜,被顾总宠上天 有效公关[娱乐圈] 咬荔枝 高跟鞋遇上绿茵场 替嫁后我怀了清冷佛子的崽! 婚后潮起 三伏天(校园) [娱乐圈]Untitled,2004 坏恋人 都市女子高跟鞋概论 娱乐圈换装夫妇光复国服 眷南风 男友说他深爱我[娱乐圈] 陆教授的恋爱法则 热恋预告[先婚后爱] 错位暗恋 我上恋综BOSS直聘 苍耳 香草绿茶 别爱无恙 寻找时间的灰度(已出版) 荡漾 当我拿错三次猫之后 晨昏博弈 婚后失控[先婚后爱] 少踩我尾巴[先婚后爱] 罗曼蒂克回忆录 敬之颠沛 玄幻:权掌天命当镇压世间一切敌 偃师圣手:开局被挖傀儡心 天生道体,废柴逆袭系统什么鬼? 玄幻:天命大反派 青春靓丽2020:5:28 绝世魂宠 从核战废土到仙侠世界 瘴骨凡仙 万古山海烬 开局建立青衣楼,幕后我为尊 狂剑绝刀 天医诡纹:阴阳禁区 雷灵帝路 末世神农系统 魔头求道 星骸圣胎录 洪荒我主宰谁与争锋 啥!祖师居然只是炼气期? 封神帝辛,人皇人族圣皇 我,重生天帝,亲手开启黑暗动乱 无限流:在各个里世界玩扮演 御魔巅峰 永恒万界主