مهندسی مکانیک مدرس

مهندسی مکانیک مدرس

طراحی رویکرد کنترلی مبتنی بر یادگیری تقویتی و روش تطبیقی -فازی-لغزشی جهت کنترل سیستم‌های سوئیچینگ

نوع مقاله : پژوهشی اصیل

نویسندگان
حمیدرضا صفری
اسماعیل خان میرزا
امیرحسین دوائی­ مرکزی
دانشگاه علم و صنعت
10.48311/mme.25.2.87
چکیده
این مقاله به بررسی مسئله چالش برانگیز کنترل همزمان ورودی‌های گسسته و پیوسته در سیستم‌های سوئیچینگ، می‌پردازد. سیستم‌های سوئیچینگ که نوع خاصی از سیستم‏های ترکیبی هستند، به دلیل ماهیت ترکیبی خود، نیازمند روش‌های کنترلی پیشرفته‌ای هستند که بتوانند به‌طور همزمان ورودی‌های پیوسته و گسسته را مدیریت کنند. در این مقاله، یک رویکرد نوآورانه با ترکیب کنترل تطبیقی-فازی-مد لغزشی (AFSMC) و یادگیری تقویتی (RL) معرفی شده است. این روش نه تنها قابلیت مدیریت همزمان این دو نوع ورودی را دارد، بلکه قادر است با داشتن حداقل اطلاعات از مدل، به‌صورت تطبیقی و مقاوم عمل کرده و در حالت آنلاین به یادگیری و بهینه‌سازی بپردازد. برای ارزیابی عملکرد و راستی آزمایی این الگوریتم، سیستم دو مخزن به عنوان یک نمونه معیار در این حوزه انتخاب شده است. نتایج شبیه‌سازی نشان داد که خطای ردیابی سطح مخازن با وجود نویز در اندازه‌گیری با انحراف معیار 005/0 و همچنین تغییر ناگهانی پارامتر سیستم، به کمتر از 1 سانتی‌متر کاهش می‌یابد. همچنین، تعداد تغییرات وضعیت شیرها به 6 بار بعد از 1000 اپیزود (episode)می‏رسد که نشان‌دهنده کاهش چشمگیر تعداد سوئیچینگ و افزایش پایداری سیستم است. این الگوریتم با کاهش هزینه کنترلی در مقایسه با روش‌های غیر ترکیبی (مدیریت همزمان ورودی گسسته و پیوسته)، به اهداف مطلوب دست می‌یابد. همچنین، این رویکرد می‌تواند به عنوان یک چارچوب قابل توسعه برای کنترل سایر سیستم‌های پیچیده با ورودی‌های ترکیبی در حوزه‌های مختلف مهندسی مورد استفاده قرار گیرد

کلیدواژه‌ها
کنترل تطبیقی-فازی-مد لغزشی
یادگیری تقویتی
سیستم سوئیچینگ
سیستم دو مخزن

موضوعات

عنوان مقاله English

A Hybrid Reinforcement Learning and Adaptive Fuzzy Sliding-Mode Control Strategy for Switching Systems

نویسندگان English

Hamidreza Safari
Esmaeel Khanmirza
Amir Hossein Davaie Markazi
University of Science and Technology
چکیده English

This article investigates the challenging problem of simultaneous control of discrete and continuous inputs in switching systems. Switching systems, which are a special type of hybrid systems, require advanced control methods that can simultaneously manage continuous and discrete inputs due to their hybrid nature. An innovative approach is introduced in this paper, combining Adaptive Fuzzy Sliding Mode Control (AFSMC) with Reinforcement Learning (RL). This method not only manages both types of inputs simultaneously but also operates adaptively and robustly with minimal model information, performing learn and optimize online. To evaluate the performance and verify the proposed algorithm, the two-tank system is selected as a benchmark example in this field. The simulation results showed that the tank level tracking error is reduced to less than 1 cm despite the noise in the measurement with a standard deviation of 0.005 and also the sudden change of the system parameter. Additionally, the number of valve position changes decreased to 6 after 1000 episodes, indicating a significant reduction in switching frequency and an improvement in system stability. This algorithm achieves desired objectives with lower control costs compared to non-hybrid methods (management of discrete and continuous inputs). Furthermore, this approach can serve as a scalable framework for controlling other complex systems with combined inputs across various engineering domains.



این مقاله به بررسی مشکل چالش برانگیز کنترل همزمان ورودی های گسسته و مداوم در سیستم های تعویض می پردازد.

کلیدواژه‌ها English

adaptive-fuzzy-sliding mode control
Reinforcement learning
switching system
two tank system
1. Zhang, Y., et al., A modelling and control approach for a type of mixed logical dynamical system using in chilled water system of refrigeration system. Mathematical Problems in Engineering, 2019. 2019.
2. Forouzesh, F., M. Eslami, and M. Jafari Shahbazzadeh, Stability Analysis and Voltage Control in the Power System Based on the Hybrid Automata Model. International Transactions on Electrical Energy Systems, 2023. 2023.
3. Zhao, J., et al., Practical hybrid model predictive control for electric pneumatic braking system with on-off solenoid valves. Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering, 2023: p. 09544070231180352.
4. Zhang, M., et al., A Unified Switching Control Framework for Continuous Robot-Assisted Training. IEEE/ASME Transactions on Mechatronics, 2023.
5. Levis, A., Challenges to control: A collective view--Report of the workshop held at the University of Santa Clara on September 18-19, 1986. IEEE Transactions on Automatic Control, 1987. 32(4): p. 275-285.
6. He, Y., S. Lin, and J. Sun, Stabilization of the networked hybrid systems with communication constraints and its applications. International Journal of Control, Automation and Systems, 2023. 21(2): p. 464-474.
7. علما, ع., م. شاصادقی, ا. رمضانی, طراحی کنترل‌کننده پیش‌بین مدل پایدارساز برای سیستم‌های هایبرید مرکب منطقی دینامیکی: رویکرد تابع لیاپانف مبتنی بر نُرم بی‌نهایت. مجله مهندسی برق دانشگاه تبریز, 2021. 50(4): p. 1735-1744.
8. Wang, Y., et al., Adaptive fuzzy output-feedback tracking control for switched nonstrict-feedback nonlinear systems with prescribed performance. Circuits, Systems, and Signal Processing, 2021. 40: p. 88-113.
9. Yaakoubi, H. and J. Haggège. Modeling of three-tank hybrid system using Mixed Logical Dynamical formalism. in 2022 5th International Conference on Advanced Systems and Emergent Technologies (IC_ASET). 2022. IEEE.
10. baluchzadeh, m., a. Karimpour, and n. pariz, Robust Optimal Control of Uncertain Nonlinear Switched System using Approximate Dynamic Programming. The Modares Journal of Electrical Engineering, 2017. 16(4): p. 23-28.
11. چهاردولی, ح., پایداری مطلق و محدود زمانی سیستم های سوئیچینگ به فرم پسخور اکید با انتگرال گیرهای توان کسری, سی و یکمین همایش سالانه بین­ المللی مهندسی مکانیک ایران و نهمین همایش صنعت نیروگاهی ایران. 1402.
12. Neunert, M., et al. Continuous-discrete reinforcement learning for hybrid control in robotics. in Conference on Robot Learning. 2020. PMLR.
13. Markazi, A.H.D. and M. Khodadadi, Control of switched systems with delayed states: A direct AFSMC approach. IET Control Theory & Applications, 2023. 17(1): p. 1-18.
14. Luan, F. and J. Wang, Design of state-dependent switching with dwell time constraint for interval positive switched systems. IEEE Access, 2018. 6: p. 47836-47842.
15. Yuan, S., Control of Switched Linear Systems: Adaptation and Robustness. 2018.
16. Poursamad, A. and A.H. Markazi, Adaptive fuzzy sliding-mode control for multi-input multi-output chaotic systems. Chaos, Solitons & Fractals, 2009. 42(5): p. 3100-3109.
17. Watkins, C.J. and P. Dayan, Q-learning. Machine learning, 1992. 8: p. 279-292.
18. Sutton, R.S., Reinforcement learning: An introduction. A Bradford Book, 2018.
19. Saidi, E., Y. Hammi, and A. Douik, Explicit model-predictiv e control of hybrid dynamical systems: Application to a two-tank system. 2015 IEEE 12th International Multi-Conference on Systems, Signals & Devices (SSD15), 2015: p. 1-6.
20. Yu, S., et al., Liquid level tracking control of three-tank systems. International Journal of Control, Automation and Systems, 2020. 18(10): p. 2630-2640.
مهندسی مکانیک مدرس
دوره 25، شماره 2
بهمن 1403
صفحه 87-95