今年刚考上研究生,现在每周有论文组会
目前在家自学,遇到很多问题
压力巨大
有没有同样学计算机的研究生毕业的学姐学长
或者深度研究学习过经验丰富的朋友
在线,有偿有偿。
其实现在学习深度学习发文章并不难,主要是要掌握好技巧,学习深度学习最重要的是实践,这里我不推荐一上来就啃花书,虽然花书被称为深度学习的圣经,但是其中没有实践,数学推导较多,看起来比较枯燥,坚持下来的少之又少。首先需要做的就是掌握基本的机器学习理论,比如反向传递、随机森林、SVM等,原理只需要了解即可,没必要复现与钻牛角尖,这里我推荐吴恩达的机器学习,因为任何一个算法深挖下去都有很多知识点,这个阶段要做的就是广,而不是深,因为现在很多框架都实现了相应的算法,我们没有必要重复造轮子,当然以后有时间了可以细细研究,如果现在花太多时间研究这些底层的算法,势必会本置倒末,当吴恩达的机器学习看完了,可以看看李沐的动手学深度学习(基于Pytorch),把里面的所有案例都实现了,这个不能偷懒,接下来就要根据自己的方向去PaperWithCode上找那些有复现代码的Paper,最好看最近三年的,发明一个算法很难,但是为了发文章达到毕业要求还是很容易,当然我不是鼓励水文章,但是事实就是如此,哪有那么多的创新,研究生2至3年的时间有创新我觉得少之又少,所以如果能借鉴其他领域的方法,将其应用到本领域中,使结果SOTA,那就是一个好idea,或者是“A+B”,借鉴好的模块,使模型精度提升,那么也是一个好的idea,例如最近较火的Transformer模块、可行变卷积模块,添加一下试试,看看精度有没有提升,有提升就可以发文章了,这也是工业界与学术界的不同,工业界考虑的是成本、效率和精度的平衡,而学术界考虑的侧重点是精度。根据以上描述,在研究生期间发出一篇论文问题不大,当时也需要多读论文,在读论文的时候做好记录,看得多了自然会想到一些创新点,发表一篇顶会也不是不可能。最后祝研究生生涯愉快,顺利毕业~
刚开始主要就是看论文找方向,最好是提供源代码的,然后慢慢尝试复现代码
深度学习太卷了,而且几乎没什么理论。只是前几天比较新而已,现在已逐渐被唾弃。当然,计算机专业除外。
找几个论文 有代码的那种 看看哪个可以稍微改一下代码就能让模型提升的就可以完成任务了,现在都是魔改的transformer,或者写对比实验的也不少,要借鉴。不要过度相信自己可无中生有,记住这是一个事,而不是你的人生,不要较真。
深度学习是机器学习领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能。
深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。
深度学习在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个性化技术,以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动,解决了很多复杂的模式识别难题,使得人工智能相关技术取得了很大进步。
应用
计算机视觉
香港中文大学的多媒体实验室是最早应用深度学习进行计算机视觉研究的华人团队。在世界级人工智能竞赛LFW(大规模人脸识别竞赛)上,该实验室曾力压FaceBook夺得冠军,使得人工智能在该领域的识别能力首次超越真人。
语音识别
微软研究人员通过与hinton合作,首先将RBM和DBN引入到语音识别声学模型训练中,并且在大词汇量语音识别系统中获得巨大成功,使得语音识别的错误率相对减低30%。但是,DNN还没有有效的并行快速算法,很多研究机构都是在利用大规模数据语料通过GPU平台提高DNN声学模型的训练效率。
在国际上,IBM、google等公司都快速进行了DNN语音识别的研究,并且速度飞快。
国内方面,阿里巴巴、科大讯飞、百度、中科院自动化所等公司或研究单位,也在进行深度学习在语音识别上的研究。
自然语言处理等其他领域
很多机构在开展研究,2013年,Tomas Mikolov,Kai Chen,Greg Corrado,Jeffrey Dean发表论文Efficient Estimation of Word Representations in Vector Space建立word2vector模型,与传统的词袋模型(bag of words)相比,word2vector能够更好地表达语法信息。深度学习在自然语言处理等领域主要应用于机器翻译以及语义挖掘等方面。
2020年,深度学习可以加速半导体封测创新。在降低重复性人工、提高良率、管控精度和效率、降低检测成本方面,AI深度学习驱动的AOI具有广阔的市场前景,但驾驭起来并不简单。