Aller au contenu
Fabio Serra Pereira

← Carte

FlowFactory

2024 · TU Darmstadt · mémoire de master

Une usine simulée en réseau de Petri. Un agent de Q-learning décide quand quelque chose tombe en panne.

Simulation

  • Réseaux de Petri
  • Apprentissage
  • Décision face à la panne
allume : décider

La panne

La règle attend. L’agent contourne.

Une panne dans le réseau de Petri : la règle fixe attend, l’agent contourneUn éclair frappe la quatrième place d’une ligne de six, et la panne alterne entre stock, machine et main-d’œuvre. Le jeton gris, la règle fixe, s’y arrête ; le jeton orange, l’agent, contourne par en dessous, par la pièce prête, et atteint le drapeau.stockmachinemain-d’œuvrepièce prête Une panne dans le réseau de Petri : la règle fixe attend, l’agent contourneUn éclair frappe la quatrième place d’une ligne de six, et la panne alterne entre stock, machine et main-d’œuvre. Le jeton gris, la règle fixe, s’y arrête ; le jeton orange, l’agent, contourne par en dessous, par la pièce prête, et atteint le drapeau.stockmachinemain-d’œuvrepièce prête
  • règle fixe (réseau de Petri)
  • agent (Q-learning)

L’agent décide :

  • l’ordre des commandes
  • le chemin de chaque pièce
  • quand commander du matériel

Voir l’usine originale ↗Voir le réseau de Petri original ↗

Illustration. Les trois pannes du mémoire, une à la fois.

Le résultat

En simulation, la production finit plus tôt.

Date de fin de la production simulée, dans chaque scénarioDans tous les scénarios, l’agent termine avant la règle fixe. Sans panne, 11/12 contre 14/12 ; stock, 14/12 contre 18/12 ; machine, 13/12 contre 05/01 ; main-d’œuvre, 13/12 contre 15/01.15/0701/1215/1201/0115/01sans panne11/1214/12stock14/1218/12machine13/1205/01main-d’œuvre13/1215/01 Date de fin de la production simulée, dans chaque scénarioDans tous les scénarios, l’agent termine avant la règle fixe. Sans panne, 11/12 contre 14/12 ; stock, 14/12 contre 18/12 ; machine, 13/12 contre 05/01 ; main-d’œuvre, 13/12 contre 15/01.01/1215/1201/0115/01sans panne11/1214/12stock14/1218/12machine13/1205/01main-d’œuvre13/1215/01
  • agent (Q-learning)
  • règle fixe (réseau de Petri)
Toutes les simulations commencent le 15/07/2024. Date de fin de la production.

Le prix

Décider ainsi coûte des heures de calcul.

Temps de calcul dans chaque scénario : agent et règle fixeL’agent met 217,99, 534,42, 262,28 et 267,67 minutes pour calculer les quatre scénarios. La règle fixe met 1,72, 1,76, 1,72 et 1,61 minutes.0100200300400500minsans panne217,99 min1,72 minstock534,42* min1,76 minmachine262,28 min1,72 minmain-d’œuvre267,67 min1,61 min Temps de calcul dans chaque scénario : agent et règle fixeL’agent met 217,99, 534,42, 262,28 et 267,67 minutes pour calculer les quatre scénarios. La règle fixe met 1,72, 1,76, 1,72 et 1,61 minutes.0100200300400500minsans panne217,99 min1,72 minstock534,42* min1,76 minmachine262,28 min1,72 minmain-d’œuvre267,67 min1,61 min
  • agent (Q-learning)
  • règle fixe (réseau de Petri)
Temps de calcul de chaque scénario, sur le même ordinateur. * probablement avec d’autres programmes ouverts.

Points ouverts

  • C’est une simulation, avec des temps synthétisés à partir de la littérature.
  • L’agent connaît les commandes à l’avance. Le temps réel viendra plus tard.
  • Le mémoire suggère SARSA et DQN. Le DQN est revenu dans Curtailment.

Outils

  • Q-learning
  • processus de décision markovien
  • réseaux de Petri
  • MATLAB R2024a
  • Reinforcement Learning Toolbox
  • cycle en V
  • makespan

Document

Development of a resilient Reinforcement Learning-based decision algorithm for order scheduling · mémoire de master · TU Darmstadt, PTW, FlowFactory Lab · 2024

Prochaine station

Prochaine stationDigital ShadowUn procédé réel avec un modèle de lui-même. ← Sustainability.data