Temas Subtemas
Introdución á aprendizaxe profunda Introdución aos conceptos básicos da aprendizaxe profunda.
Redes profundas con alimentación cara a adiante Teorema de aproximación universal para redes neuronais.
Problema de esvaecemento/explosión do gradiente.
Funcións de activación: funcións ReLU.
Aprendizaxe baseada en gradientes.
Funcións de custo habituais.
Regularización para redes profundas Términos de penalización baseadas na norma dos parámetros.
Dropout.
Normalización de lotes.
Aumento de datos.
Métodos de optimización para adestrar modelos profundos Descenso de gradiente estocástico (SGD).
Descenso de gradiente estocástico con Momentum.
Algoritmos con paso de aprendizaxe adaptativo.
Métodos de aprendizaxe de segunda orde.
Estratexias de inicialización de parámetros.
Redes convolucionais Capas de convolución.
Capas de pooling.
Arquitecturas
Redes residuais e densas Residual neural networks (ResNet).
Dense networks (DenseNet).
Aprendizaxe por transferencia (Transfer Learning) Transferir a aprendizaxe con redes previamente adestradas.
Axuste fino (fine-tuning) de modelos preadestrados.
Redes recorrentes Redes LSTM.
Redes GRU.
Autoencoders Autoencoders automáticos convolucionais.
Autoencoders variacionais (Variational Autoencoder, VAE).
Transformadores (transformers) Mecanismo de atención.
Arquitecturas dos transformadores.
Outros modelos de aprendizaxe profundo Modelos xerativos profundos.
Redes de crenzas.
AutoML.