Es una modificación del método de optimización de Newton que no usa segundas derivadas y se debe a Carl Friedrich Gauss.
Dadas m funciones f1,..., fm de n parámetros p1,..., pn con m≥n, queremos minimizar la suma donde p se refiere al vector de parámetros: p=(p1,..., pn).
Estimaciones posteriores pk para el vector de parámetros son producidas por la relación recurrente: donde f=(f1,..., fm), y Jf(p) denota el Jacobiano de f en p (nótese que no es necesario que Jf sea cuadrada).
La matriz inversa, en la práctica, nunca se computa explícitamente.
denotan el Jacobiano y Hessiano de S respectivamente.