手机浏览器扫描二维码访问
[]
2o13年的暑假,距离比赛开始时间还有大约一个月的时间。
“模型的训练过程需要将所有的权重,数据和许多中间过程都放入gpu中进行处理。因而gpu的显存大小格外重要。”孟繁岐叹了口气,“即便是我们购买的旗舰69o,也太小了,只有4g大小。”
比起后来被美国禁止卖给华国的a1oo-8og,69o不说其他性能,单显存就少了2o倍。孟繁岐如今只能可怜巴巴每次使用16张图片对模型进行迭代。
“一次十六张,一次循环要接近一百万次才能更完整个数据集。而想把模型收敛好,上百次循环又是少不了的。”
孟繁岐估算了一下,这个版本出一次结果要接近2o,最后的训练过程确实大概消耗了三周左右以收敛到现在的这个性能。
好在ImageneT在后来基本成为了每个算法工程师必调参的练手数据集,孟繁岐自己就曾无数次刷榜,自然是轻车熟路,清楚各类参数的大概设置。
这为他至少节省了一两个月的珍贵时间。
即便一次训练需要三周之久,孟繁岐却仍旧赶在比赛开始之前就已经准备好了一版模型。
看着训练出来的模型最终性能达到了预期,孟繁岐心中的一块大石总算落了。
这几个月来,他唯一担心的一件事情就是多年前的老框架会出一些他意料之外的问题,导致最终的结果不能和理论预期吻合。
一旦这种事情生,找到问题所在并测试解决的代价就太大了。倘若不能够及时解决,会很大影响到他初期的规划。
眼下的结果大约在4.9%的top-5错误率,这个版本比后世论文中的性能要稍差了一丁点,但好在仍旧强于赛事方给出的人类标准了。
一般来说,比赛前是不会公布比赛所使用的具体数据的。只是ImageneT比赛比较特殊,一千多万量级的图片,总不可能办一两次比赛就舍弃掉,不再使用。
因而每届比赛所用的数据是变化很小的,只是具体赛道,所竞争的内容和评判的方式常会有所调整。
虽说ImageneT休赛的时期其实也可以提交结果,孟繁岐现在就可以把这个结果上传上去,夺取第一的位置,但关注度毕竟不可与赛时的激烈竞争同日而语。
与此同时,唐璜也终于开始意识到事情的走向已经远远偏离了他的预料。
“我记得之前查到a1exnet在这上面的准确率不到85吧,你现在这个已经特么过95了啊。”唐璜第一次来查看结果的时候完全不敢相信这个事实。
“你确定没搞错?别忽悠兄弟啊。兄弟书读的少,很容被骗的。”唐璜此刻的心态很复杂,很希望这是真的,但由于事情实在显得太美好,反而很难相信。
“是假的,我骗你的。”孟繁岐翻了个白眼,“我加了特技,里面都是化学的成分。”
“不会吧,我亲眼看这性能一路上收敛上来的。”唐璜又翻了翻模型训练的日志,声音之中带了三分委屈。他刚刚已经在脑补自己抱紧大腿,走上人生巅峰的场景了。
这就是患得患失的可怜人啊,不敢相信,却又害怕是假的。
“虽然我没有测试集的真实答案,但是我从训练集里划了百分之5出来没有使用,作为验证的办法。”孟繁岐对这个数据集的方差可以说是了然于胸,95%的数据用于训练,5%的数据用于测试已经是相当稳妥而保守的比例了。
“也就是说,只要这百分之5的数据和测试集的数据差别不大,你的办法可以比去年的冠军强十个百分点?”唐璜仍旧还处于极度的震撼当中。“就这么简单?我还没出力呢,你们就全趴下了?”
唐璜此时的感觉,就像是夜神月第一次现原来可以直接指派死神去除掉自己最大的对手L一样。想象中的努力,拼搏和奋斗一样都没有生,也完全没有必要,惊人的成绩和进展甚至在比赛正式开始之前就已经获得。
“这就是人生。成功与失败很多时候可能与你并无关系,习惯就好。”孟繁岐拍了拍他的肩膀,“这次不习惯也没什么,以后的道路还有很长很长,你会习惯的。”
因为不习惯也没办法,是吧。改变不了体重的人就只能改变审美。
否则会被自己折磨一辈子的。
既然在95%的数据上已经取得了这样的结果,接下来要做的就是把余下的5%也加入进去,继续微调模型几。
如此一来,得出的最终结果就可以直接在11月份的时候做提交所用了。
在一个性能已经相当不错的模型上继续微调它的性能,就远远用不到21那么久的时间了。
只需两左右的时间,的训练日志便显示,模型的性能已经基本收敛到一个固定值,很少再继续波动。
这样的话,孟繁岐在前往澳大利亚会议现场之前,就只剩下唯一的一件事情要做,那就是补齐手头这些论文的实验数据。
将这些文章所缺的最后一块拼图填补上去。
截止此时,孟繁岐已经大约完成了接近7篇之多的文章。除了本次的参赛核心,基于残差思想的模型dreamnet,以及相关的训练技巧,批归一化,adam二阶优化器,和mix-up数据增强之外。
孟繁岐还在三个其他方向上准备了开创性的工作,以占坑三个关键的领域。
在参赛的相关内容中,其实只有残差网络算得上是开创性的内容。余下的三者,虽然是各自方向上的佳作,但是难以称得上是某一细分领域的奠基之作。
写论文去详细描述,也只是迫于无奈,因为为了确保dreamnet的性能和训练度,孟繁岐不得已而使用了一些技巧。
为了确保这样的重要结果业界可以复现,孟繁岐不得不详细描述这些训练技巧,于是便写成论文。但若是有得选择,其实并不急于一时。
而他真正希望抢占先机去布局的,一,是先前与付院长讨论过原理的,生成式对抗网络。这是近些年来最具有前景也最优雅的无标签学习方法,是以后所有生成类技术难以绕开的一个里程碑。
二,是基于思想的实时检测网络。这会使得在图片上分辨物体并确定位置的度和准确率大大提高。日后落最广的图像检测技术,不论是人脸识别,自动驾驶还是工业内检测。这些技术都不得不提到这次提的重要意义。
三,则是最简洁好用的分割网络,u-net。这将会是复杂分割任务的基准线,并且会制霸医疗图像领域。
孟繁岐选出这三类加上残差网络,就涵盖了分类,检测,分割和生成四大领域。占领了图像算法的四大主要赛道。
之所以全选择图像类的技术,也是为了显得合理一些。至于语言类,语音类或者多种模态的融合算法,他则计划可以稍稍放缓些时日提出。
简介关于鲛人囚爱萧沐雪因吐槽作者更新慢,一觉醒来穿成了书中凌虐反派至黑化的恶毒女配,还绑定了拯救反派的恋爱脑系统。说好的拯救和恋爱呢?结果反派要黑化,萧沐雪递刀。反派要恋爱,萧沐雪递刀。反派要杀人,萧沐雪递刀。反派要自杀,萧沐雪长得这么好看,死了可惜了,不如给我做成鲛人蛹,挂在房间当装饰品吧!他乃鲛族皇子,生来便有神灵根,注定会成为下一任海神,然而却一朝修为被废,神灵根被夺,父母被杀,沦为人族妖宠。他心灰意冷,誓要屠尽三界。直到遇见她人人都劝他要宽恕众生。她却说善解人意是什么东西?委屈你自己,让别人开心吗?她说既往不咎太虚伪,我喜欢风水轮流转。她说不是每一句对不起,都能换来一句没关系。于是他在她的偏爱下,尽情疯。众人都道她助纣为掠。她却说我就是这么护短,不分青红皂白,只分关系好坏!...
简介关于光之国盘点之你那眼泪算什么6北穿越濒临毁灭的灭亡次元,觉醒奥特盘点能力,向其他世界投放盘点奥特曼的视频,就能够从中收集希望值,获得拯救灭亡次元的力量!于是,众多世界出现了一块大屏幕,上面写着。自谦希卡利我只是个科学家,所以,没有他们那样的力量。文明雷欧巴巴尔,你这个狗ZZ!欢快的趣事引人笑。而当轻松的部分过去,接下来的一幕幕,才让其他世界的生命现光之战士所代表的真正意义。乡次郎,你还记得奥特五大誓言吗!大古根本赢不了什么的,我听不懂!准哥光是纽带...
穿越港片影视世界成为卧底,横行社团做个好人。港影综合世界,主线无间道古惑仔系列,夹杂副本世界...
简介关于绑定生子系统后,我原地开挂了因为评分人少所有没有评分颜之云在一次拍摄中威亚意外断裂,身体直接从高空中坠落,生死之际,意外绑定生子系统,只有完成任务才能活着,并获得系统大量奖励,又能活着还能获得奖励,颜之云毫不犹豫接受了系统。颜之云本就是家中不受宠的嫡女,结果又因为被未来婆家嫌弃惨遭退婚,没想到父亲为了讨好的太子,将她许配给不能人事的冷血王爷看她如何逆转局面,成为全朝最为受宠的人...
高义穿越到了电视剧情满四合院的世界,并且觉醒了分身系统他能给别人分派系统,让别人看到经过自己修改后的忠诚值和能力值,又能使用分身术,凭空创造完全忠于自己的分身。杨厂长什么能力值99,忠心值1oo高义这样的忠诚下属,必须重用李主任,忠心值只有25必须死大领导高义是我最信任,又最得力的心腹在得到了四合院贾家骗抚恤金,淮茹深夜求放过!...
哥哥们下凡历劫,但是哥哥们竟然穿进玛丽苏文里做了反派大佬,最后家破人亡,下场凄惨。糖宝握紧小拳拳,糖宝要去拯救哥哥们!下凡后,糖宝从道观学成下山找哥哥们。霸总哥哥,糖宝要什么,哥哥都给你买!巨星哥哥,糖宝想演戏,哥哥给你做配!律师哥哥,糖宝,谁敢欺负你你就打回去,哥哥帮你打官司!电竞哥哥,游戏还是空降糖宝,四个大佬哥哥团宠我...