已知若干向量x,y,x∈m,y∈n,m > n, Ax=y,如何求解满足最小二乘解的矩阵A(n×m)?
将 $x$ 和 $y$ 分别写成矩阵的形式,即 $X = [x_1, x_2, \dots, x_m]$ 和 $Y = [y_1, y_2, \dots, y_n]$。
设 $A = [a_1, a_2, \dots, a_m]$,其中 $a_i$ 是 $A$ 的第 $i$ 列。
求解最小二乘解的方法是通过最小化 $||AX - Y||_2$ 的平方,其中 $||\cdot||_2$ 表示二范数。
由于 $A$ 的每一列都是未知的,所以我们希望对于给定的 $X$ 和 $Y$,最小化 $||AX - Y||_2$ 的平方。因此,我们需要求解以下最小化问题:
$$\min_{A} ||AX - Y||_2^2$$
根据二次函数的最小值性质,我们可以得到以下结论:
$$\min_{A} ||AX - Y||2^2 = \min{A} (AX - Y)^T(AX - Y)$$
$$ = \min_{A} (X^TA^T - Y^T)(AX - Y)$$
$$ = \min_{A} X^TA^TAX - X^TA^TY - Y^TAX + Y^TY$$
由于 $A$ 是未知的,我们希望对于给定的 $X$ 和 $Y$,求解以下最小化问题:
$$\min_{A} X^TA^TAX - 2X^TA^TY + Y^TY$$
根据高等数学的知识,我们可以知道,对于任意的矩阵 $A$,有 $A^TA$ 是对称正定矩阵,因此有以下性质:
$$x^TA^TAx \ge 0$$
$$x^TA^TAx = 0 \Leftrightarrow x = 0$$
所以,我们可以得到:
$$\min_{A} X^TA^TAX - 2X^TA^TY + Y^TY = Y^TY - \max_{A} 2X^TA^TY$$
而对于最大化 $2X^TA^TY$ 的问题,我们可以使用拉格朗日乘数法求解。设 $\lambda$ 为拉格朗日乘数,则有:
$$L(A, \lambda) = X^TA^TAX - 2X^TA^TY + Y^TY - \lambda(X^TX - X^TY - Y^TX + Y^TY)$$
对 $L(A, \lambda)$ 求导,得到:
$$\frac{\partial L}{\partial A} = 2X^TAX - 2X^TY$$
设 $\frac{\partial L}{\partial A} = 0$,则有:
$$2X^TAX - 2X^TY = 0$$
$$X^TAX = X^TY$$
$$X^TA = Y^T$$
根据高等数学的知识,我们知道如果存在矩阵 $A$ 满足 $X^TA = Y^T$,则有:
$$A = (X^TX)^{-1}X^TY$$
所以,矩阵 $A$ 的最小二乘解就是:
$$A = (X^TX)^{-1}X^TY$$