卷积神经网络如何添加人为提取的特征

最近在学卷积神经网络,遇到一个问题,如果我的输入不仅包含图片这种二维的特征,还有自己提取的1维特征,如何将两者结合呢?

我通常使用卷积层、池化层和全连接层等层级对输入特征进行处理。对于多个输入特征,可以通过多个输入层将它们分别输入到神经网络中,并在中间层进行合并。

假设我有一个包含图像和其他1维特征的数据集,我可以将图像作为一个输入层,将1维特征作为另一个输入层,然后将它们合并为一个输入层,并传递给下一层。这个过程可以通过使用Keras中的函数式API来实现。

我可以给你提供一个简单的例子,你可以尝试理解,然后根据你的需求去修改代码:
from keras.layers import Input, Conv2D, MaxPooling2D, Flatten, Dense, Concatenate
from keras.models import Model

定义输入层和其他1维特征的输入层

image_input = Input(shape=(height, width, channels))
feature_input = Input(shape=(num_features,))

使用卷积层对图像进行处理

x = Conv2D(32, (3, 3), activation='relu')(image_input)
x = MaxPooling2D((2, 2))(x)
x = Conv2D(64, (3, 3), activation='relu')(x)
x = MaxPooling2D((2, 2))(x)
x = Conv2D(128, (3, 3), activation='relu')(x)
x = MaxPooling2D((2, 2))(x)
x = Flatten()(x)

将1维特征和图像特征进行合并

x = Concatenate()([x, feature_input])

使用全连接层进行最终的分类

x = Dense(256, activation='relu')(x)
x = Dense(num_classes, activation='softmax')(x)

定义模型

model = Model(inputs=[image_input, feature_input], outputs=x)

一个是包含图像的输入层,另一个是包含其他1维特征的输入层,首先对图像进行卷积和池化处理,然后将处理后的图像特征和其他1维特征进行合并。最后,我们使用全连接层对合并后的特征进行分类。

卷积,池化通常用于二维图像处理,经过若干卷积池化层后也会转为 一维特征,此后是全连接层。因此将你提取的一维特征,并联接入卷积池化后的一位特征层,就可以了。

不知道你这个问题是否已经解决, 如果还没有解决的话:
  • 文章:卷积神经网络(个人总结) 中也许有你想要的答案,请看下吧
  • 除此之外, 这篇博客: 深度神经网络预测模型,人工神经网络回归分析中的 如何深度学习抽取图片特征,并利用这些特征和已知数值建立模型进行预测? 部分也许能够解决你的问题, 你可以仔细阅读以下内容或者直接跳转源博客中阅读:

    你这应该不是数字图像处理,应该是一种包含其它信息的特殊图片,我的方向是高光谱,如果是结合高光谱图像技术的话,要结合一定的化学计量学方法,具体是哪个化学分式影响水果糖度不同,主要应用的工程软件,MATLAB比较通用一点,也好沟通,特征提取后,建立一个数学的预测模型,把你的图片加载到MATLAB的算法内,一步步跑出来,这就是你的程序侧

    文案狗

    主要还是依靠算法实现,如果你要用深度学习去实现预测水果糖度,还是要了解一下食品检测的最新算法,目前我了解的,还是CNN开拓性比较大一些。

    算法要看你的侧重了,侧重在降维、特征提取还是回归模型的建立,还是全部的新算法。


如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^