Pular para o conteúdo
Fabio Serra Pereira

← Mapa

FlowFactory

2024 · TU Darmstadt · mestrado

Uma fábrica simulada em rede de Petri. Um agente de Q-learning decide quando algo falha.

Simulação

  • Redes de Petri
  • Aprendizado
  • Decisão sob falha
acende: decidir

A falha

A regra espera. O agente desvia.

Uma falha na rede de Petri: a regra fixa espera, o agente desviaUm raio atinge o quarto lugar de uma linha de seis, e a falha alterna entre estoque, máquina e mão de obra. A ficha cinza, da regra fixa, para ali; a ficha laranja, do agente, desvia por baixo, pela peça pronta, e chega à bandeira.estoquemáquinamão de obrapeça pronta Uma falha na rede de Petri: a regra fixa espera, o agente desviaUm raio atinge o quarto lugar de uma linha de seis, e a falha alterna entre estoque, máquina e mão de obra. A ficha cinza, da regra fixa, para ali; a ficha laranja, do agente, desvia por baixo, pela peça pronta, e chega à bandeira.estoquemáquinamão deobrapeça pronta
  • regra fixa (rede de Petri)
  • agente (Q-learning)

O agente decide:

  • a ordem dos pedidos
  • o caminho de cada peça
  • quando pedir material

Ver a fábrica original ↗Ver a rede de Petri original ↗

Ilustração. As três falhas da dissertação, uma de cada vez.

O resultado

Na simulação, a produção termina antes.

Data em que a produção simulada termina, em cada cenárioEm todos os cenários o agente termina antes da regra fixa. Sem falha, 11/12 contra 14/12; estoque, 14/12 contra 18/12; máquina, 13/12 contra 05/01; mão de obra, 13/12 contra 15/01.15/0701/1215/1201/0115/01sem falha11/1214/12estoque14/1218/12máquina13/1205/01mão de obra13/1215/01 Data em que a produção simulada termina, em cada cenárioEm todos os cenários o agente termina antes da regra fixa. Sem falha, 11/12 contra 14/12; estoque, 14/12 contra 18/12; máquina, 13/12 contra 05/01; mão de obra, 13/12 contra 15/01.01/1215/1201/0115/01sem falha11/1214/12estoque14/1218/12máquina13/1205/01mão de obra13/1215/01
  • agente (Q-learning)
  • regra fixa (rede de Petri)
Todas as simulações começam em 15/07/2024. Data em que a produção termina.

O preço

Decidir assim custa horas de cálculo.

Tempo de cálculo em cada cenário: agente e regra fixaO agente leva 217,99, 534,42, 262,28 e 267,67 minutos para calcular os quatro cenários. A regra fixa leva 1,72, 1,76, 1,72 e 1,61 minutos.0100200300400500minsem falha217,99 min1,72 minestoque534,42* min1,76 minmáquina262,28 min1,72 minmão de obra267,67 min1,61 min Tempo de cálculo em cada cenário: agente e regra fixaO agente leva 217,99, 534,42, 262,28 e 267,67 minutos para calcular os quatro cenários. A regra fixa leva 1,72, 1,76, 1,72 e 1,61 minutos.0100200300400500minsem falha217,99 min1,72 minestoque534,42* min1,76 minmáquina262,28 min1,72 minmão de obra267,67 min1,61 min
  • agente (Q-learning)
  • regra fixa (rede de Petri)
Tempo de cálculo de cada cenário, no mesmo computador. * provavelmente com outros programas abertos.

Em aberto

  • É simulação, com tempos sintetizados a partir da literatura.
  • O agente conhece os pedidos antes. Tempo real fica para depois.
  • A dissertação sugere SARSA e DQN. O DQN voltou no Curtailment.

Ferramentas

  • Q-learning
  • processo de decisão de Markov
  • redes de Petri
  • MATLAB R2024a
  • Reinforcement Learning Toolbox
  • modelo em V
  • makespan

Documento

Development of a resilient Reinforcement Learning-based decision algorithm for order scheduling · dissertação de mestrado · TU Darmstadt, PTW, FlowFactory Lab · 2024

Próxima estação

Próxima estaçãoDigital ShadowUm processo real com um modelo de si mesmo. ← Sustainability.data