如何从图像中的2维坐标获取3维坐标

我已经通过相机标定获取相机内参，但是根据成像模型，需要相机的外参，深度，假如要测量的深度已知，但是不同的图片的外参不同，想通过PnP来解决，但是没有相对应的3D和2D坐标，该怎么求解世界坐标呢