Model-based learning of coordinators of the decentralized  multi-zone objects control systems

Володимир  Дубовой

doi:10.31649/1999-9941-2024-60-2-66-76

Автор(и)

Володимир Дубовой Вінницький національний технічний університет, Вінниця

DOI:

https://doi.org/10.31649/1999-9941-2024-60-2-66-76

Ключові слова:

машинне навчання, розподілена система керування, децентралізована координація, модельно-орієнтоване навчання

Анотація

Анотація. Децентралізовані системи керування набирають все більшого розповсюдження, що зумовлено збільшенням доступності і потужності мікроконтролерів. Децентралізоване керування багатозональними об’єктами пов’язане з необхідністю координації локальних систем керування станом зон. Для реалізації методів координації перевагу мають системи, що навчаються, оскільки вони здатні гнучко налаштовуватися на особливості керування кожною зоною. Проте навчання координаторів ускладнюється відсутністю на стадії створення системи розмічених датасетів для керованих багатозональних об’єктів. У цій статті розглядається створення датасету на основі імітаційної моделі децентралізованої системи і чотири сценарії навчання нейронних координаторів. Імітаційна модель децентралізованої системи створена на платформі Scilab/Xcos з використанням попередньо створеної бібліотеки блоків для моделювання децентралізованих систем. Сценарії відрізняються залежно від структури нейронних координаторів: сегментована мережа відповідно до структури імітаційної моделі координатора або інтегрована мережа, а також від стратегії навчання: навчати паралельно усі координатори децентралізованої системи або тільки один і результати клонувати. Проведені експериментальні дослідження запропонованого методу навчання нейромережевих координаторів, реалізованих на Pyton TensorFlow. Дослідження показало більшу ефективність паралельного навчання сегментованих координаторів. Проте в ході дослідження не виконувався останній етап сценаріїв – донавчання на реальному фізичному об’єкті. Попередня оцінка дозволяє припустити, що після такого донавчання переваги інтегрованих нейронних координаторів стануть помітнішими, оскільки таке донавчання дозволить виправити недоліки імітації.

Біографія автора

Володимир Дубовой, Вінницький національний технічний університет, Вінниця

доктор технічних наук, професор,
професор кафедри комп’ютерних систем управління
Вінницький національний технічний університет, Вінниця

Посилання

Aghdam A.G., Miller D.E., & Davison E.J. (2019). Decentralized Control of Large-Scale Systems, Springer, ISBN/EAN: 9781441960146.

Akramizadeh, A., Afshar, A., B Menhaj, M., & Jafari, S. (2010). Model-based Reinforcement Learning in Multiagent Systems in Extensive Forms with Perfect Information. IFAC Proceedings Volumes, Vol. 43, Issue 8, pp. 487–494. Elsevier BV. https://doi.org/10.3182/20100712-3-fr-2020.00080

Bakule, L. (2008). Decentralized control: An overview. Annu. Rev. Control., 32, pp. 87-98. [Online]. Available: https://api.semanticscholar.org/CorpusID:205659095.

Boyd, S., El Ghaoui, L., Feron, E., & Balakrishnan, V. (1994). Linear Matrix Inequalities in System and Control Theory. Society for Industrial and Applied Mathematics. SIAM, Philadelphia, 1994. https://doi.org/10.1137/1.9781611970777

Coordination Control of Distributed Systems. (2015). In J. H. van Schuppen & T. Villa (Eds.), Lecture Notes in Control and Information Sciences. Springer International Publishing. https://doi.org/10.1007/978-3-319-10407-2

Dubovoi V.M. & Yukhymchuk M.S. (2022). Decentralized coordination control of distributed cyber-physical systems with continuous objects, VNTU, Vinnytsia. [in Ukrainian]

Elmahdi, A., Taha, A. F., Sun, D., & Panchal, J. H. (2015). Decentralized Control Framework and Stability Analysis for Networked Control Systems. Journal of Dynamic Systems Measurement and Control, vol. 137. doi: 10.1115/1.4028789.

Ge, X., Han, Q.-L., Ding, L., Wang, Y.-L. & Zhang, X.-M. (2020). Dynamic Event-Triggered Distributed Coordination Control and its Applications: A Survey of Trends and Techniques. IEEE Transactions on Systems, Man, and Cybernetics: Systems. Vol. 50, Number 9, pp. 3112–3125. https://doi.org/10.1109/tsmc.2020.3010825

Gong Z. & Aldeen M. (1997). Stabilization of Decentralized Control Systems, Journal of Mathematical Systems, Estimation, and Control, Vol. 7, No. 1, pp. 1–16,

Jiang, H., Liu, X.-K., He, H., Yuan, C., & Prokhorov, D. (2018). Neural Network Based Distributed Consensus Control for Heterogeneous Multi-agent Systems. In 2018 Annual American Control Conference (ACC). 2018 Annual American Control Conference (ACC). IEEE. pp. 5175–5180. https://doi.org/10.23919/acc.2018.8431744

Katrenko, A.V., & Savka I.V., (2008). Mechanisms of coordination in complex hierarchical systems. Bulletin of Lviv Polytechnic National University . Vol. 631, pp. 156–166. [Online]. Available: http://vlp.com.ua/files/16_1.pdf. [in Ukrainian]

Ladanyuk, A., Shumygai, D. & Boiko, R. (2012). System task of co-ordination in the technological complexes of continuous type. Collected Works of Kirovohrad National Technical University Machinery in agricultural production, industry machine building, automation. Vol. 25-1. pp. 288-294. [Online]. Available: http://dspace.nuft.edu.ua/jspui/bitstream/123456789/4444/1/Sh_3.pdf. [in Ukrainian]

Mirkin B.M. (1992). A new decentralized model reference adaptive control scheme for large scale systems. in Prepr. 4th IFAC International Symposium on Adaptive systems in control and signal processing, Grenoble, France, pp. 645–650.

Shaikh P.H., Nor.B.M., Nallagownden P., Elamvazuthi I., & Ibrahim T. (2014). A Review on Optimized Control Systems for Building Energy and Comfort Control of Smart Sustainable Buildings. Renewable and Sustainable Energy Reviews, Vol. 34, pp. 409–429. https://doi.org/10.1016/j.rser.2014.03.027.

Šiljak, D.D., & Stipanović, D.M. (2000). Robust stabilization of nonlinear systems: The LMI approach. Mathematical Problems in Engineering, vol. 6, pp. 461–493.

Wang, X., Zhang, Z., & Zhang, W. (2022). Model-based Multi-agent Reinforcement Learning: Recent Progress and Prospects (Version 1). arXiv. https://doi.org/10.48550/ARXIV.2203.10603

Yukhymchuk, M., Dubovoi, V., & Kovtun, V. (2022). Decentralized Coordination of Temperature Control in Multiarea Premises. Complexity, vol. 2022, Article ID 2588364. https://doi.org/10.1155/2022/2588364.

Zabet I. & Montazeri M. (2010). Decentralized control and control systems for power industry via multiagent systems technology, in PEOCO 2010 - 4th International Power Engineering and Optimization Conference, Program and Abstracts, pp. 549–556, IEEE. doi: 10.1109/PEOCO.2010.5559254.

Zhang, W., Wang, X., Shen, J., & Zhou, M. (2021). Model-based Multi-agent Policy Optimization with Adaptive Opponent-wise Rollouts (Version 3). arXiv. https://doi.org/10.48550/ARXIV.2105.03363.