假设输入的是一幅像素为1K*1K的图像,隐含层有1M个节点,光这一层就有10^12个权重需要训练

10^12个权重是怎么计算的呢?

1K×1K 是指1024×1024吗?

你应该问的是全连接层吧,不同的层对应计算权重是不一样的;
全连接层有1M个节点,每个节点都与输入图像1K*1k个像素相连,每一个连接都有一个权重要计算,所以有1M*1K*1K=10^12个权重需要计算;
另外这忽略了一个小细节,每个节点都应设置一个偏差值,这个也是需要计算的参数;
对程序员来说1K=1024,毋庸置疑