最小二乘法（又称最小平方法）是一种数学优化技术，通过最小化误差的平方和寻找数据的最佳函数匹配。它起源于1806年，由法国科学家马里·勒让德提出。然而，勒让德的方法并未为世人所知，直到1829年，德国数学家高斯提供了最小二乘法的优化效果强于其他方法的证明。
最小二乘法的发展与天文学和大地测量学领域密切相关。在大航海探索时期，科学家和数学家尝试为海洋航行挑战提供解决方案。准确描述天体的行为是船舰在大海洋上航行的关键，水手不能再依靠陆上目标导航作航行。最小二乘法在曲线拟合、参数估计等领域得到了广泛应用，因其原理简单、收敛速度较快、易于理解和实现而受到欢迎。