Aprendizagem automática por reforço

Introdução:

A aprendizagem por reforço situa-se entre a aprendizagem supervisionada e a não supervisionada. Oficial e tecnicamente não é aprendizagem supervisionada porque não depende apenas de um conjunto de dados de treino ou de exercício etiquetados, mas também não é aprendizagem não supervisionada porque estamos a procurar que o nosso agente maximize uma recompensa. Para influenciar a sua determinação principal, o agente tem de escolher as ações e os comportamentos "corretos" a executar em numerosos cenários.

O que é a aprendizagem automática por reforço?

A aprendizagem por reforço é o tipo de aprendizagem automática em que as máquinas aprendem o comportamento ótimo ou a ação adequada num ambiente específico para maximizar a sua recompensa. Neste comportamento, a máquina aprende a interagir com o ambiente e a observar como responder.

A aprendizagem por reforço difere da aprendizagem supervisionada na medida em que a aprendizagem supervisionada inclui a folha de respostas, permitindo que o modelo seja treinado com a resposta correta, enquanto a aprendizagem por reforço não contém uma resposta e, em vez disso, depende do agente de reforço para decidir o que fazer para concluir a tarefa. É obrigado a adaptar-se a partir do seu conhecimento na ausência de um conjunto de dados de treino.

Como funciona a aprendizagem por reforço?

Um agente explora um ambiente desconhecido para alcançar um objetivo no problema da Aprendizagem por Reforço. A Aprendizagem por Reforço baseia-se na ideia de que a maximização da recompensa cumulativa esperada pode ser usada para representar qualquer objetivo. Para maximizar a recompensa, o agente tem de aprender a perceber e a alterar o estado do ambiente através das suas ações.

Para compreender o funcionamento da RL, temos de examinar dois fatores principais:

Ambiente: Pode ser uma sala, um labirinto, um campo de futebol ou algo completamente diferente.

Agente: Um agente inteligente, como um robô de IA, é referido como agente.

Veja, por exemplo, um ambiente de labirinto que o agente tem de atravessar. Considere a seguinte ilustração:

O agente está no primeiro bloco do labirinto na imagem acima. O labirinto é composto por um bloco S6, que é uma parede, um bloco S8, que é um poço de fogo, e um bloco S4, que é um bloco de diamante.

O agente não consegue passar pelo bloco S6, pois é uma parede sólida. Se o agente chegar ao bloco S4, receberá uma recompensa de +1, ao passo que, se chegar ao poço de fogo, receberá uma recompensa de -1. Pode mover-se para cima, para baixo, para a esquerda e para a direita, em quatro direções diferentes.

O agente pode escolher qualquer caminho para chegar ao ponto final, mas tem de o fazer no menor número de passos possível. Se o agente examinar o caminho S9-S5-S1-S2-S3, receberá o ponto de recompensa +1.

O agente fará um esforço para recordar os períodos que conduziram até este ponto. Atribui o valor 1 a cada passo anterior para os memorizar.[1]

Quais são os tipos de aprendizagem por reforço?

Existem apenas dois tipos de aprendizagem por reforço, como se segue:

• Positivo:

Quando ocorre um evento como resultado de um determinado comportamento, o reforço aumenta a força e a frequência desse comportamento. Dito de outra forma, tem uma influência benéfica na conduta.

• Negativo:

O reforço negativo é quando um comportamento é fortalecido como resultado de uma circunstância negativa ser evitada ou interrompida.

Quais são os exemplos de aprendizagem por reforço?

Robótica:

Os robôs com comportamento pré-programado são eficazes em ambientes organizados com tarefas repetidas, como uma linha de montagem numa fábrica de automóveis. Pré-programar comportamentos precisos no mundo real, onde a resposta do ambiente à ação do robô é desconhecida, é quase impossível. Nesses casos, a RL oferece uma técnica rápida e fácil para criar robôs de uso geral. Tem sido usada com eficácia no planeamento de rotas robóticas, onde um robô tem de descobrir um caminho curto, suave e transitável entre dois pontos, livre de colisões e consistente com a dinâmica do robô.

Condução autónoma:

Num ambiente mutável, um sistema de condução autónoma tem de realizar muitas tarefas de perceção e de preparação. A preparação da rota do veículo e a previsão de movimento são dois exemplos de atividades em que a RL pode ser usada. Para tomar decisões a diversas escalas temporais e geográficas, o planeamento do trajeto do veículo exige uma série de regras de baixo e alto nível. O desafio de prever o movimento de pessoas e de outros veículos, para compreender como a situação poderá evoluir consoante o estado atual do ambiente, é conhecido como previsão de movimento.

Quais são as vantagens da aprendizagem por reforço?

• A aprendizagem por reforço pode ser usada para tratar problemas extremamente complicados que são impossíveis de resolver com métodos tradicionais.
• Esta abordagem é preferida para alcançar resultados de longo prazo difíceis de atingir.
• Este paradigma de aprendizagem é muito comparável à aprendizagem humana. Consequentemente, está à beira de atingir a perfeição.
• O modelo tem a capacidade de corrigir erros cometidos durante a fase de treino.
• Depois de um modelo ter corrigido um erro, a probabilidade de ocorrer outro erro é muito baixa.
• Tem a capacidade de conceber o modelo ideal para resolver um problema específico.
• Para aprender a andar, os robôs podem usar algoritmos de aprendizagem por reforço.
• A aprendizagem por reforço visa maximizar o desempenho de um modelo ao alcançar o seu comportamento ótimo numa determinada situação.
• Quando o único método para recolher conhecimento sobre o ambiente é interagir com ele, pode ser valiosa.[2]

Quais são as desvantagens da aprendizagem por reforço?

• A aprendizagem por reforço como quadro de trabalho está incorreta em muitos aspetos, mas é precisamente essa falha que a torna operacional.
• Demasiada aprendizagem por reforço pode resultar numa sobreabundância de estados, reduzindo a utilidade e a eficácia.
• Para tarefas elementares, não é a melhor opção.
• A aprendizagem por reforço exige uma grande quantidade de dados e de computação. Tem um apetite insaciável por estatísticas. É por isso que funciona tão bem em videojogos, porque o jogo pode ser jogado de novo, e obter grandes quantidades de dados parece ser possível.
• Em vez de abandonar completamente a aprendizagem por reforço, podemos empregar uma combinação de aprendizagem por reforço e abordagens adicionais para tratar muitos problemas. A aprendizagem por reforço e a Aprendizagem Profunda são uma combinação comum.

Conclusão:

A Aprendizagem por Reforço aborda a dificuldade de aprender métodos de controlo para agentes autónomos com poucos ou nenhuns dados. Como recolher e etiquetar uma vasta coleção de padrões de exemplo custa mais do que os próprios dados, os algoritmos de RL são úteis na aprendizagem automática. As decisões são tomadas através da aprendizagem por reforço. Torna viável a um sistema inteligente experimentar novas ações ou abordagens, mudar de rumo quando ocorrem desilusões e construir sobre os êxitos desenvolvendo uma simulação de uma empresa ou sistema completo.

1. Reinforcement Learning Tutorial. Disponível em: https://www.javatpoint.com/reinforcement-learning.
2. Pros and Cons of Reinforcement Learning. Disponível em: https://pythonistaplanet.com/pros-and-cons-of-reinforcement-learning/.

 

O ciclo da aprendizagem por reforço

1. Um agente observa o estado atual do seu ambiente.
2. Executa uma ação.
3. O ambiente devolve uma recompensa (positiva ou negativa) e um novo estado.
4. O agente atualiza a sua política para obter mais recompensa ao longo do tempo.

Exemplos do mundo real

• Jogos: sistemas que aprenderam a jogar Go e videojogos jogando contra si próprios.
• Robótica: robôs que aprendem a andar ou a agarrar objetos.
• Recomendações e anúncios: escolher o que mostrar para maximizar o envolvimento a longo prazo.
• Gestão de recursos: arrefecimento de centros de dados e controlo de semáforos.
• Modelos de linguagem: ajuste fino com feedback humano para produzir respostas mais úteis.

Aprendizagem por reforço vs supervisionada vs não supervisionada

A aprendizagem supervisionada aprende com exemplos etiquetados (aprendizagem supervisionada); a aprendizagem não supervisionada encontra estrutura em dados sem etiquetas (aprendizagem não supervisionada); a aprendizagem por reforço aprende por tentativa e erro a partir de recompensas. Veja a visão geral em o que é a aprendizagem automática.

Respostas rápidas

O que é uma função de recompensa?

Uma regra que pontua a qualidade de uma ação ou resultado. Concebê-la bem é uma das partes mais difíceis da aprendizagem por reforço.