传统机器学习需要多少算力?

比如决策树、SVM、KNN这些算法,
这些模型里的计算量是否会很大?相比于神经网络需要的算力会不会小很多?

大小也要看输入设置啊。一般来说会比神经网络的算力需求小很多,这个建立在输入大小差不多的情况下,并且决策树不能很深,knn节点不能很多,特征点的选择不能多的离谱等。你总不能说一个千万级别节点的knn需求算力很小吧

  • 你可以参考下这个问题的回答, 看看是否对你有帮助, 链接: https://ask.csdn.net/questions/7674804
  • 我还给你找了一篇非常好的博客,你可以看看是否有帮助,链接:机器学习之KNN算法,朴素贝叶斯,决策树,SVM算法比较
  • 除此之外, 这篇博客: 手写数字的识别问题-SVM、朴素贝叶斯算法、决策树算法、KNN算法对比中的 六、总结 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
  • 1.SVM
    优点:适合小样本、非线性、高维模式识别。
    缺点:对于大规模数据开销大,不合适多分类;对缺失数据敏感;需要选择适当的核函数。

    2.决策树
    优点:简单易于理解,能够处理多路输出问题。
    缺点:容易过拟合;决策树的生成不稳定,微小的数据变化可能导致生成的决策树不同。

    3.KNN
    优点:简单易于理解,无需训练,无需估计参数准确性高;适合多标签问题。
    缺点:懒惰算法,预测慢,开销大类的样本数不平衡时准确率受影响;可解释性差。

    4.朴素贝叶斯
    优点:分类稳定,适合小规模数据和增量式训练,对缺失数据不敏感。
    缺点:属性相关性大时效果不好,需要知道先验概率,对数据的表达形式敏感。

  • 您还可以看一下 王而川老师的机器学习之深度学习基础--支持向量机(SVM)视频教学课程中的 间隔与支持向量小节, 巩固相关知识点
  • 以下回答由chatgpt基于相关博客总结生成:

    传统机器学习算法(如决策树、支持向量机、K最近邻等)与神经网络在计算量上存在一定的差异。

    传统机器学习算法的计算量相对较小。这些算法通常基于数学模型和统计方法,通过对训练数据进行学习和推理来进行预测。这些算法通常需要计算特征的相似度、距离、概率等数值,并使用这些数值进行分类、回归等任务。虽然在实际应用中可能需要对数据进行预处理、特征选择、参数调优等步骤,但相对于神经网络而言,传统机器学习算法的计算复杂度相对较低。

    而神经网络作为一种由多个神经元组成的复杂计算模型,其计算量相对较大。神经网络通常由输入层、隐藏层和输出层组成,每个神经元都需要进行乘法、加法和激活等操作。在训练过程中,神经网络需要通过反向传播算法计算权重的梯度,并使用梯度下降等优化算法更新权重。此外,神经网络模型的参数数量通常很大,这也会导致计算量较大。

    总之,相对于传统机器学习算法而言,神经网络需要更多的计算量。但是,随着硬件技术的进步和深度学习框架的优化,神经网络的训练和预测速度已经有了很大的提升,使其在很多任务中取得了优秀的性能。因此,在选择算法时,需要根据具体问题的需求和资源的限制来进行权衡和选择。