مهندسی مکانیک مدرس

مهندسی مکانیک مدرس

شبیه‌سازی و ردیابی مسیر کوادروتور با جبران‌سازی اثر باد به کمک یادگیری تقویتی

نوع مقاله : مقاله پژوهشی

نویسندگان
گروه مهندسی مکانیک، دانشگاه تربیت مدرس، تهران، ایران
10.48311/mme.2026.117781.82894
چکیده
هدف این پژوهش، طراحی کنترل‌کننده هـوشمند برای دستیابـی به ردیابـی مسیرهای مختلف کوادروتور در محیط‌هایی با بادهای متغیـر می‌باشد. به این منظور ابتدا به مدل‌سازی دینامیکی کوادروتور پرداخته شد. مدل‌سازی باد نیز با اضافه کردن شتاب باد در صفحه‌ی افقی به معادلات دینامیکی انتقالی پرنده انجام شد. سپس، با هدف کنترل دقیق موقعیت و جهت‌گیری کوادروتور در حضور اغتشاشات محیطی باد، چارچوبی ترکیبی طراحی شد که شامل یک کنترل‌کننده‌ی پایه‌ PID، یک تنظیم‌کننده‌ی ضرایب مبتنی بر یادگیری تقویتی و یک مشاهده‌گر اغتشاش به‌همراه جبران‌ساز آن بود. برای تنظیم تطبیقی ضرایب کنترل‌کننده PID حین ردیابی مسیر از‌ الگوریتـم‌های DDPG وTD3 یادگیری تقویتی بهره برده شد. در نهایت جهت ارزیابی عملکرد چارچوب کنترلی، آزمایش‌های مختلفی در شرایط بدون باد و با شدت‌های مختلف باد در مسیرهای مختلف پروازی انجام شد. نتایـج شبیه‌سازی‌های انجام گرفته نشان دادند که در محیط‌هایی با بادهای متغیـر، اضافه شدن مشاهده‌گر و جبران‌ساز به کنتـرل‌کننده PID با ضرایب ثابت 15% خطا را نسبت به PID، و کنتـرل‌کننده PID تنظیم‌شده با الگوریتم‌های یادگیری تقویتی همراه با مشاهده‌گر و جبران‌ساز نسبت به حالت ضریب ثابت 25% خطای ردیابی را کاهش داد. در مسیر بی‌نهایت الگوریتم DDPG، %10 بهینه‌تر از الگوریتم TD3، در مسیر دایروی الگوریتم TD3 %5 بهینه‌تر از الگوریتم DDPG، و در مسیرهای مارپیچ نیز الگوریتم DDPG، %20 بهینه‌تر از الگوریتم TD3 عمل کرد.
کلیدواژه‌ها
موضوعات

عنوان مقاله English

Quadrotor simulation and trajectory tracking with wind-effect compensation using reinforcement learning

نویسندگان English

Majid Sadedel
Zahra Darestani Farahani
Mechanical Engineering Department, Tarbiat Modares University, Tehran, Iran
چکیده English

The aim of this research is to design an intelligent controller capable of achieving accurate trajectory tracking of a quadrotor in environments with varying wind conditions. To this end, the dynamic modeling of the quadrotor was first carried out. Wind modeling was also implemented by adding horizontal wind acceleration to the translational dynamic equations of the vehicle.

Next, to ensure precise position and attitude control of the quadrotor in the presence of wind disturbances, a hybrid control framework was designed, consisting of a baseline proportional–integral–derivative (PID) controller, a reinforcement learning–based gain tuner, and a disturbance observer along with its compensator. For adaptive tuning of the PID gains during trajectory tracking, the DDPG and TD3 reinforcement learning algorithms were utilized.

Finally, to evaluate the performance of the control framework, various experiments were conducted under no-wind conditions and under different wind intensities across multiple trajectories. The simulation results indicated that in environments with varying wind, adding the observer and compensator to a fixed-gain PID controller reduced the tracking error by 15% compared to the standalone PID controller. Additionally, PID control with reinforcement learning–based gain tuning, combined with the observer and compensator, reduced tracking error by 25% compared to the fixed-gain case. In the lemniscate trajectory, the DDPG algorithm performed 10% better than TD3; in the circular trajectory, the TD3 algorithm performed 5% better than DDPG; and in spiral trajectories, DDPG outperformed TD3 by 20%.

کلیدواژه‌ها English

Quadrotor
trajectory tracking
intelligent control
wind-effect compensation
reinforcement learning
[1] Hu, J., et al., Fault-tolerant cooperative navigation of networked UAV swarms for forest fire monitoring. Aerospace Science and Technology, 2022. DOI: 10.1016/j.ast.2022.107494
[2] Naouri, A., et al., Maximizing UAV fog deployment efficiency for critical rescue operations: A multi-objective optimization approach. Future Generation Computer Systems, 2024. DOI: 10.1016/j.future.2024.05.007
[3] Zhang, R., et al., Reactive UAV-based automatic tunnel surface defect inspection with a field test. Automation in Construction, 2024. DOI: 10.1016/j.autcon.2024.105424
[4] Fan, Y., et al., Research and verification of trajectory tracking control of a quadrotor carrying a load. Applied Sciences, 2022. DOI: 10.3390/app12031036
[5] Nwilag, B.D., A.E. Eyoh, and C.E. Ndehedehe, Digital topographic mapping and modelling using low altitude unmanned aerial vehicle. Modeling Earth Systems and Environment, 2023. DOI: 10.1007/s40808-022-01677-z
[6] Yu, C., et al., Trajectory tracking control of an unmanned aerial vehicle with deep reinforcement learning for tasks inside the EAST. Fusion Engineering and Design, 2023. DOI: 10.1016/j.fusengdes.2023.113894
[7] Izadi, M. and R. Faieghi, High-gain disturbance observer for robust trajectory tracking of quadrotors. Control Engineering Practice, 2024. DOI: 10.1016/j.conengprac.2024.105854
[8] Zeng, Z., et al. Modeling and Control for Quadrotor Aircraft Subject to Wind Gusts. IEEE, 2023. DOI: 10.23919/CCC58697.2023.10240862
[9] Xiong, H. and Y. Zhang, Reinforcement learning-based formation-surrounding control for multiple quadrotor UAVs pursuit-evasion games. ISA transactions, 2024. DOI: 10.1016/j.isatra.2023.12.006
[10] Han, H., et al., Cascade flight control of quadrotors based on deep reinforcement learning. IEEE Robotics and Automation Letters, 2022. DOI:  10.1109/LRA.2022.3196455
[11] Rezaei, A., A. Talaeizadeh, and A. Alasty, Self-Tuning PID Controller for an Arm-Angle Adjustable Quadrotor Using an Actor-Critic-Based Neural Network. IEEE, 2024. DOI: 10.1109/ICIS64839.2024.10887514
[12] Sonmez, S., et al. Reinforcement learning based pid parameter tuning and estimation for multirotor uavs. IEEE, 2024. DOI: 10.1109/ICUAS60882.2024.10557032
[13] Hoover, R.J., W. Wu, and K. Shimada. Applying Reinforcement Learning to PID Flight Control of a Quadrotor Drone to Mitigate Wind Disturbances. IEEE, 2024. DOI: 10.1109/ICARA60736.2024.10553186
[14] Lu, S., Y. Li, and Z. Liu. Quadrotor Control using Reinforcement Learning under Wind Disturbance. IEEE, 2023. DOI: 10.1109/CCDC58219.2023.10326621
[15] Qingqing, Z., et al. A PID gain adjustment scheme based on reinforcement learning algorithm for a quadrotor. IEEE, 2020. DOI: 10.23919/CCC50068.2020.9188426
[16] Barzegar, A. and D.-J. Lee, Deep reinforcement learning-based adaptive controller for trajectory tracking and altitude control of an aerial robot. Applied Sciences, 2022. DOI: 10.3390/app12094764
[17] Wu, L., et al., Deep reinforcement learning with corrective feedback for autonomous uav landing on a mobile platform. Drones, 2022. DOI: 10.3390/drones6090238
[18] Sönmez, S., et al., Reinforcement learning based prediction of pid controller gains for quadrotor uavs. IEEE, 2025. DOI: 10.3390/drones9080581
[19] Ali Mottahedi, Ali Akbar Zade, Adaptive robust sliding mode control of quadrotor in the Presence of Wind Disturbance. Mme Modares, 2016. DOI: https://dor.isc.ac/dor/20.1001.1.10275940.1395.16.12.41.6
[20] Farhad Parivash,. and Ali Qasemi, trajectory tracking control of Quadrotor using Fractional-Order Fuzzy PID controller in the Presence of Wind Disturbance. Mme Modares, 2018. DOI: https://dor.isc.ac/dor/20.1001.1.10275940.1397.18.8.22.3
[21] Baharuddin, A.d. and M.A.M. Basri, Trajectory tracking of a quadcopter uav using pid controller. ELEKTRIKA-Journal of Electrical Engineering, 2023. DOI: 10.11113/elektrika.v22n2.440
[22] Abdelhay, S. and A. Zakriti, Modeling of a quadcopter trajectory tracking system using PID controller. Procedia Manufacturing, 2019. DOI: 10.1016/j.promfg.2019.02.253
[23] Mohanty, A. and E. Schneider, Tuning of an Aircraft Pitch PID Controller with Reinforcement Learning and Deep Neural Net. 2019. DOI: 91355065/26643693.pdf
[24] Pi, C.-H., W.-Y. Ye, and S. Cheng, Robust quadrotor control through reinforcement learning with disturbance compensation. Applied Sciences, 2021. DOI: 10.3390/app11073257