En el aprendizaje automático, una tarea común es el estudio y la construcción de algoritmos que puedan aprender de los datos[1] y hacer predicciones sobre ellos.
Estos algoritmos funcionan haciendo predicciones o tomando decisiones basadas en los datos,[2] mediante la construcción de un modelo matemático a partir de los datos de entrada.
Estos datos de entrada utilizados para construir el modelo suelen dividirse en varios conjuntos de datos.
[6] Este sencillo procedimiento se complica en la práctica por el hecho de que el error del conjunto de datos de validación puede fluctuar durante el entrenamiento, produciendo múltiples mínimos locales.
Esta complicación ha llevado a la creación de muchas reglas ad hoc para decidir cuándo ha comenzado realmente el sobreajuste.