Título asignatura

A21. Aprendizaje por refuerzo

Código asignatura

102483

Curso académico

2022-23

Planes donde se imparte

MÁSTER UNIVERSITARIO EN INVESTIGACIÓN EN INTELIGENCIA ARTIFICIAL

Créditos ECTS

4,5

Carácter de la asignatura

OPTATIVA

Duración

Anual

Idioma

Castellano

Contenidos

En esta materia se pretende profundizar en la resolución de problemas de toma de decisión secuencial, en concreto, en aquellos basados en Procesos de Decisión de Markov. Se estudian en profundidad los principales algoritmos de aprendizaje, así como su aplicación en distintas circunstancias, como ante espacios de espacios continuos o de gran tamaño. Contenidos:

• Introducción al Aprendizaje por Refuerzo

• Procesos de Decisión de Markov (MDP). Programación Dinámica. Algoritmos de iteración de valor e iteración de política.

• Aprendizaje por refuerzo libre de modelo. Aproximaciones Monte Carlo, Algoritmos Q-Learning, Sarsa y métodos TD

• Exploración, y explotación. Selección de experiencias de entrenamiento

• Aprendizaje por refuerzo basado en modelo.

• Generalización en aprendizaje por refuerzo. Reducción de dimensionalidad y aproximación de funciones en Aprendizaje por Refuerzo.

• Otros paradigmas en Aprendizaje por Refuerzo: transferencia de conocimiento aprendido, aprendizaje por refuerzo jerárquico, aprendizaje por refuerzo multi-agente, etc.

• Aplicaciones del Aprendizaje por Refuerzo

Generales

CG1 - Entender los conceptos, los métodos y las aplicaciones de la inteligencia artificial.

CG2 - Evaluar nuevas herramientas computacionales y de gestión del conocimiento en el ámbito de la Inteligencia Artificial.

CG3 - Gestionar de manera inteligente los datos, la información y su representación.

Específicas

CE4 - Conocer los principales modelos de razonamiento impreciso para valorar su adecuación a la resolución de problemas que surgen en el ámbito de la Inteligencia Artificial.

CE5 - Analizar las fuentes documentales propias del ámbito de la investigación en Inteligencia Artificial para poder determinar cuáles de ellas son relevantes en la resolución de problemas concretos.

Actividades formativas

A1 - Sesiones presenciales virtuales (clases en vídeo): visionado inicial del material audiovisual que constituye las lecciones de la asignatura. Se asume 1.5 veces el tiempo real de vídeo, puesto que el estudiante deberá parar, repetir, etc.algunas secuencias. (10 horas).

A2 - Trabajos individuales: realización de ejercicios, resolución de problemas, realización de prácticas y/o trabajos/proyectos individuales (60 horas).

A3 - Trabajo autónomo: estudio del material básico, lecturas complementarias y otros contenidos (40 horas).

A4 - Foros y chats: lanzamiento, lectura y contestación de cuestiones y temas para la discusión general (10 horas).

A5 - Tutorías: consultas y resolución de dudas, aclaraciones, etc. (5 horas).

Puede consultar en este enlace el Cronograma de Carga de Trabajo.

Descripción del sistema de evaluación

E1 - Valoración de los cuestionarios de evaluación: los estudiantes realizarán varios cuestionarios de evaluación que cubrirán los distintos temas de la asignatura y serán objeto de puntuación en la nota final. El peso en la nota final de este apartado será del 40% sobre el total.

E2 - Valoración de la participación en foros y chats: se valorará el nivel de participación/debate de los estudiantes que contará para la nota final. El peso en la nota final de este apartado será del 10% sobre el total.

E3 - Valoración de los trabajos individuales: se valorarán dos trabajos prácticos realizados y entregados a través de la plataforma, y apoyados en los casos prácticos que se plantearán a los alumnos. Estas prácticas cubrirán el desarrollo de soluciones basadas en aprendizaje por refuerzo a casos reales. El peso en la nota final de este apartado será del 50% sobre el total.

Calendario de exámenes

Para la convocatoria ordinaria, habrá 3 fechas de entrega de trabajos final de curso. Los alumnos podrán entregar sus trabajos en cualquier momento, pero sólo en estas fechas se recogerán y evaluarán los que se hayan entregado. Las fechas serán:

• 13/01/23
• 17/03/23
• 31/05/23

Habrá una convocatoria extraordinaria en todas las asignaturas. Para su evaluación, la fecha límite para la entrega de trabajos será:

• 14/07/23

Las actas de la convocatoria ordinaria se cerrarán en julio de 2023 y las de la convocatoria extraordinaria en septiembre de 2023.

Profesor responsable

Profesorado

Horario

Todas las asignaturas estarán en la plataforma a disposición de los estudiantes desde octubre hasta julio.

Bibliografía

Reinforcement Learning: an Introduction. Richard Sutton and Andrew Barto. Second Edition. The MIT Press. 2018

Machine Learning. Tom Mitchel. McGraw Hill. 1997

Reinforcement Learning: a Survey. Leslie Kaelbling, Michael Littman and Andrew Moore. Journal of Artificial Intelligence Research 4 (1996)

Programa para imprimir

Este documento puede utilizarse como documentación de referencia de esta asignatura para la solicitud de reconocimiento de créditos en otros estudios. Para su plena validez debe estar sellado por la Secretaría de Estudiantes UIMP.

Documento para la solicitud de reconocimiento de créditos en otros estudios