考虑一个具有阶梯型阈值函数的神经网络,假设:
(1)用常数乘所有的权值和阈值。
(2)用常数加所有的权值和阈值。
试说明网络性能是否会变化?
可以给出解释么
这些错误往往不是显性的语法错误,而是一些内容上的、逻辑上的错误。你有时候会发现你的模型能够work
,但实际上并不是这样。比如,我有时候会因为标签标错,然后在训练进行测试的时候才发现这个问题,只通过训练时反馈的信息无法看出任何异常。还有一次我训练分割模型,对数据集的标签进行增广时,由于缩放和旋转采用的方式是双线性插值,导致模型在训练过程中loss越来越大。 所以,如果你的模型在训练时报错,那么你是幸运的,因为在很多时候,它往往是悄无声息的。
总的来说,快速而暴力的训练方式在神经网络的训练中是不起作用的,必须要有耐心,并且循序渐进。