最近在学卷积神经网络,遇到一个问题,如果我的输入不仅包含图片这种二维的特征,还有自己提取的1维特征,如何将两者结合呢?
我通常使用卷积层、池化层和全连接层等层级对输入特征进行处理。对于多个输入特征,可以通过多个输入层将它们分别输入到神经网络中,并在中间层进行合并。
假设我有一个包含图像和其他1维特征的数据集,我可以将图像作为一个输入层,将1维特征作为另一个输入层,然后将它们合并为一个输入层,并传递给下一层。这个过程可以通过使用Keras中的函数式API来实现。
我可以给你提供一个简单的例子,你可以尝试理解,然后根据你的需求去修改代码:
from keras.layers import Input, Conv2D, MaxPooling2D, Flatten, Dense, Concatenate
from keras.models import Model
image_input = Input(shape=(height, width, channels))
feature_input = Input(shape=(num_features,))
x = Conv2D(32, (3, 3), activation='relu')(image_input)
x = MaxPooling2D((2, 2))(x)
x = Conv2D(64, (3, 3), activation='relu')(x)
x = MaxPooling2D((2, 2))(x)
x = Conv2D(128, (3, 3), activation='relu')(x)
x = MaxPooling2D((2, 2))(x)
x = Flatten()(x)
x = Concatenate()([x, feature_input])
x = Dense(256, activation='relu')(x)
x = Dense(num_classes, activation='softmax')(x)
model = Model(inputs=[image_input, feature_input], outputs=x)
一个是包含图像的输入层,另一个是包含其他1维特征的输入层,首先对图像进行卷积和池化处理,然后将处理后的图像特征和其他1维特征进行合并。最后,我们使用全连接层对合并后的特征进行分类。
卷积,池化通常用于二维图像处理,经过若干卷积池化层后也会转为 一维特征,此后是全连接层。因此将你提取的一维特征,并联接入卷积池化后的一位特征层,就可以了。
不知道你这个问题是否已经解决, 如果还没有解决的话:你这应该不是数字图像处理,应该是一种包含其它信息的特殊图片,我的方向是高光谱,如果是结合高光谱图像技术的话,要结合一定的化学计量学方法,具体是哪个化学分式影响水果糖度不同,主要应用的工程软件,MATLAB比较通用一点,也好沟通,特征提取后,建立一个数学的预测模型,把你的图片加载到MATLAB的算法内,一步步跑出来,这就是你的程序侧
文案狗。主要还是依靠算法实现,如果你要用深度学习去实现预测水果糖度,还是要了解一下食品检测的最新算法,目前我了解的,还是CNN开拓性比较大一些。
算法要看你的侧重了,侧重在降维、特征提取还是回归模型的建立,还是全部的新算法。