Red neuronal prealimentada

En esta red, la información se mueve en una única dirección: adelante.

No hay ningún ciclo o bucle en estas redes.

Es por esto que puede ser considerada el tipo más sencillo de red prealimentada.

Una neurona similar ha sido descrita por Warren McCulloch y Walter Pitt en la década de 1940.

En 1969 en una monografía famosa titulada Perceptrons, Marvin Minsky y Seymour Papert mostraron que es imposible para un perceptrón de unidad única aprender una función XOR.

Este resultado puede ser encontrado en el artículo de Peter Auer, Harald Burgsteiner y Wolfgang Maass titulado "A learning rule for very simple universal approximators consisting of a single layer of perceptrons".

[1]​ Un red neuronal multicapa puede computar una salida continua en vez de una función escalonada.

Tiene una derivada continua, la cual le deja ser utilizada en propagación hacia atrás.

En este caso, uno diría que la red ha aprendido una función objetivo en específico.

Por esta razón, a propagación hacia atrás sólo puede ser aplicada en redes con funciones de activación diferenciables.

Diagrama de un modelo computacional de red neuronal feed-forward de una sola capa oculta.
Modelo computacional de red neuronal feed-forward de una sola capa oculta.
Una red neuronal de dos capas capaz de realizar una operación XOR. Los números dentro de las neuronas representan el umbral explícito de cada neurona (los cuales pueden ser factorizados de modo que todas las neuronas tengan el mismo umbral, normalmente 1). Los números a los lados de las flechas representan la ponderación de las entradas. Esto red supone que si el umbral no es alcanzado, un cero (no -1) será la salidá. Note que la capa inferior de las entradas no es siempre considerada como una capa de red neuronal real.