مهندسی مکانیک مدرس

مهندسی مکانیک مدرس

طراحی و شبیه‌سازی سیستم خودکار مبتنی بر یادگیری تقویتی برای تنظیم موقعیت خودروهای مفصلی

نوع مقاله : مقاله پژوهشی

نویسندگان
1 گروه مهندسی مکانیک، دانشگاه تربیت مدرس، تهران، ایران
2 دانشجوی دکترا، مهندسی مکانیک طراحی کاربردی،مرکز سیستم ها و فناوری های پیشرفته، دانشگاه تهران، تهران
10.48311/mme.2025.117147.82868
چکیده
تنظیم موقعیت خودکار یکی از کاربردهای کلیدی در حوزه خودروهای هوشمند است که در افزایش ایمنی و بهینه‌سازی عملیات مانور وسایل نقلیه نقش اساسی دارد. خودروهای مفصلی به دلیل برخورداری از درجه آزادی بالا و دینامیک پیچیده و غیرخطی ناشی از مفصل بین کشنده و تریلر، کنترل دشوارتری نسبت به خودروهای صلب دارند. هدف از این پژوهش، طراحی و شبیه‌سازی یک سیستم کنترل خودکار برای تنظیم موقعیت خودروهای مفصلی با بهره‌گیری از چارچوب یادگیری تقویتی عمیق است. این سیستم می‌تواند به عنوان زیربنایی برای کاربردهای پیشرفته‌تر نظیر پارک خودکار مورد استفاده قرار گیرد.در این مطالعه، ابتدا مدل‌سازی دقیق دینامیک حرکت خودروی مفصلی و پدیده قیچی‌شدن انجام گرفت و مدل توسعه‌یافته با استفاده از نرم‌افزار تخصصی صحت‌سنجی شد. سپس، فرآیند یادگیری به منظور کاهش پیچیدگی محاسباتی، به دو فاز مجزا (آماده‌سازی مانور و تنظیم نهایی موقعیت) تقسیم شد. برای آموزش عامل هوشمند در این دو فاز، از الگوریتم‌های گرادیان سیاست قطعی عمیق (DDPG) و گرادیان سیاست قطعی عمیق دوگانه تأخیری (TD3)، که با شبکه‌های عصبی شامل ۳ تا ۵ لایه نهان بهینه‌سازی شدند، استفاده گردید. نتایج ارزیابی‌ها نشان داد که الگوریتم TD3، به دلیل توانایی بالاتر در حفظ پایداری فرآیند یادگیری، عملکرد بهتری نسبت به DDPG ارائه می‌دهد. در نهایت، سیستم کنترل پیشنهادی با ساختار بهینه برای هر فاز، موفقیت‌هایی به ترتیب ۹۶.۶٪ در فاز آماده‌سازی و ۹۴.۶٪ در فاز تنظیم نهایی را کسب کرد که کارایی بالا و قابلیت اطمینان سیستم مبتنی بر DRL در مواجهه با چالش‌های کنترلی خودروهای مفصلی را تأیید می‌کند.
کلیدواژه‌ها

موضوعات


عنوان مقاله English

Design and Simulation of an Autonomous System Using Reinforcement Learning for Articulated Vehicle Pose Adjustment

نویسندگان English

Moein Qanbari Senjegani 1
Majid Sadedel 2
1 Mechanical Engineering Department, Tarbiat Modares University, Tehran, Iran
چکیده English

Automatic posture adjustment is a key application in the domain of intelligent vehicles, playing a fundamental role in enhancing safety and optimizing vehicle maneuvering operations. Articulated Vehicles (AVs), due to their high degrees of freedom and the complex, nonlinear dynamics resulting from the joint between the tractor and trailer, present a more challenging control problem compared to rigid vehicles. The objective of this research is to design and simulate an automatic control system for articulated vehicle posture adjustment utilizing a Deep Reinforcement Learning (DRL) framework. This system can also serve as a foundation for more advanced applications, such as autonomous parking.

In this study, the precise modeling of articulated vehicle dynamics and the jackknifing phenomenon was initially carried out. The developed model was validated using the specialized software, TruckSim. Subsequently, to reduce computational complexity, the learning process was segmented into two distinct phases: maneuver preparation and final posture adjustment. For training the intelligent agent, Deep Deterministic Policy Gradient (DDPG) and Twin Delayed DDPG (TD3) algorithms were employed, which were optimized with neural networks comprising three to five hidden layers. Evaluation results indicated that the TD3 algorithm, owing to its superior ability to maintain the stability of the learning process, outperformed DDPG. Ultimately, the proposed control system, with the optimal structure for each phase, achieved success rates of 96.6% in the preparation phase and 94.6% in the final adjustment phase, thereby confirming the high efficiency and reliability of the DRL-based system in addressing the control challenges of articulated vehicles.

کلیدواژه‌ها English

Motion Planning
Articulated Vehicle
Reinforcement Learning
Deep Deterministic Policy Gradient (DDPG)
Twin Delayed Deep Deterministic Policy Gradient (TD3)

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از 03 آذر 1404