Sesión 02 Perceptrón y adaline¶
Perceptrón¶
¿Que es?
- Algoritmo de aprendizaje SUPERVISADO esto significa que los datos están etiquedos y queremos que la RN los aprenda
- Se calcula el error: diferencia entre la salida esperada y la salida obtenida
- Se actualizan los pesos buscando que la salida sea igual a la esperada
- Algoritmo de clasificación binaria: 0 o 1
¿Que tipo de problemas resuelve perceptrón?
Problemas que sean linealmente separables, que una función lineal nos permita separarlos
¿Como funciona perceptrón?
- Asigna valores aleatorios a los pesos (-1 y 1) en una DISTRIBUCIÓN UNIFORME
- Generamos la salida para los patrones de entrada
- Calculamos el error \(e = t_u - y_u\)
- Aplicamos la regla perceptrón
\[
w_{t+1} = w_{t} + \eta e x
\]
Adaline¶
Descripción de algoritmo
- Tiene salidas continuas
- Se hace la siguiente:
- Se calcula el error cuadrático medio \(e = \frac{1}{2}\sum \limits_{i=1}^n (t_i - y_i)^2\)
- (Supongamos una red neuronal con dos entradas) Calculamos la derivada parcial con respecto a los pesos \(e = \frac{1}{2}\sum \limits_{i=1}^n (t_i - f(w_1*x_1j+w_2*x_2j + b))^2\)
- Derivamos con respecto al peso e igualamos a cero, el objetivo es encontrar el peso que hace que la derivada sea cero, es decir el ERROR ES MINIMO \(\frac{\partial e}{\partial w_i} = -\frac{1}{2}*2*(t - f(\bar{X}))f'(\bar{X})*x_i\)
- \(\frac{\partial e}{\partial w_i} = -e*(1)*x_i\)
- El cambio de pesos es el siguiente \(w_{t} = w_{t-1} - \eta*\Delta e\)
- Finalmente \(w_{t} = w_{t-1} + \eta*e*x\)
- Se aplica el mismo procedimiento que en perceptrón nuestra condición de parada es un error minimo o bien un número de iteraciones
Factor de aprendizaje¶
¿Que es?
- Es un hiperparametro del algoritmo de aprendizaje
- Controla la velocidad de aprendizaje
- Si el factor es muy elevado el algoritmo es muy rapido tiene el problema que oscila,el error sube y bajo
- Si el factor es muy pequeño, el algoritmo es muy lento y la convergencia tarda mucho