متن کامل مقاله (PDF انگلیسی · ۶ صفحه)

نویسندگان: یوسف ایوبی‌راد، سید مهدی سرفرازی و محمد شهبازی.
وابستگی سازمانی: آزمایشگاه هوش مصنوعی و سیستم‌های دینامیکی، دانشکده مهندسی مکانیک، دانشگاه علم و صنعت ایران.
کنفرانس: سیزدهمین کنفرانس بین‌المللی رباتیک و مکاترونیک، ICRoM 2025؛ ۱۶ تا ۱۸ دسامبر ۲۰۲۵، تهران.

فایل PDF، نسخه مقاله کنفرانسی ارائه‌شده توسط نویسندگان است. تمام نتایج این صفحه از شبیه‌سازی به دست آمده‌اند و شامل آزمایش روی ربات واقعی نیستند.

چکیده پژوهش

ربات‌های چهارپا برای کاربردهایی مانند امداد و اکتشاف، باید هم در محیط‌های دارای مانع مسیر مناسب پیدا کنند و هم روی پله، شیب و زمین ناهموار تعادل خود را حفظ کنند. چارچوب پیشنهادی، این دو مسئله را با یک رابط فرمان سرعت از هم جدا می‌کند. سیاست ناوبری، فرمان سرعت خطی و زاویه‌ای را در دستگاه مختصات بدنه تولید می‌کند. سیاست حرکت، با استفاده از اطلاعات وضعیت بدنه و مفاصل و نمونه‌برداری محلی از ارتفاع زمین، هدف‌های مفصلی را می‌سازد که کنترل‌کننده PD دنبال می‌کند.

این ساختار امکان آموزش و اصلاح مستقل هر لایه را فراهم می‌کند و تداخل هدف‌های پاداش ناوبری و حفظ تعادل را کاهش می‌دهد. ارزیابی در Isaac Gym شامل نقشه‌های دارای مانع، زمین‌های مختلف و اجرای هم‌زمان دو لایه است. نتایج گزارش‌شده نشان می‌دهند که این تفکیک، در شرایط شبیه‌سازی مقاله، موفقیت ناوبری و پایداری حرکت را نسبت به روش یکپارچه بهبود می‌دهد.

معماری دو لایه

سیاست سطح بالا از وضعیت و جهت ربات، موقعیت نسبی هدف و اطلاعات موانع استفاده می‌کند. خروجی آن یک فرمان سرعت محدودشده است. سیاست سطح پایین این فرمان را همراه با وضعیت بدنه و مفاصل و ۱۸۷ نمونه ارتفاع محلی زمین دریافت می‌کند و هدف‌های مفصلی را می‌سازد. محدودسازی و هموارسازی فرمان‌ها، ارتباط دو لایه را با محدوده حرکتی تعریف‌شده در شبیه‌سازی سازگار می‌کند.

شبیه‌سازی و شناخت محلی زمین

آزمایش‌ها در Isaac Gym و با ساختاری مشابه Legged Gym انجام شده‌اند. زمین‌های آزمایش شامل پله، شیب، موانع مجزا و سطوح سینوسی‌اند. آموزش ناوبری در محیطی به ابعاد ۱۰ × ۱۰ متر با موانع تولیدشده به‌صورت رویه‌ای انجام می‌شود و نقشه‌های بزرگ‌تر به دامنه آموزش نگاشت می‌شوند.

برنامه‌ریز سطح بالا با الگوریتم PPO و یک شبکه با دو لایه پنهان ۲۵۶ نورونی آموزش داده شده است. ابتدا سیاست حرکت روی زمین‌های مختلف آموزش می‌بیند؛ سپس با ثابت نگه‌داشتن آن، سیاست ناوبری آموزش داده می‌شود. مقاله حدود پنج ساعت آموزش مجموع دو سیاست را روی کارت NVIDIA RTX 3080 Ti و با حدود ۱۲ هزار محیط شبیه‌سازی موازی گزارش می‌کند.

از نقشه تا فرمان حرکت

نقشه اشغال ورودی به ویژگی‌های موانع تبدیل می‌شود تا سیاست ناوبری بتواند مسیر حرکت به‌سوی هدف را تعیین کند. برنامه‌ریز فرمان سرعت می‌دهد و سیاست حرکت، تعادل و تماس پاها با زمین را در شبیه‌سازی فیزیکی مدیریت می‌کند.

نتایج گزارش‌شده

جدول زیر مقادیر جدول اول مقاله را بازنویسی می‌کند. موفقیت ناوبری، تعداد برخورد، نسبت طول مسیر و خطای دنبال‌کردن سرعت، معیارهای جداگانه‌اند. نرخ موفقیت ناوبری به‌تنهایی عملکرد کامل سامانه روی زمین ناهموار را توصیف نمی‌کند.

مقاله همچنین ۸۸٫۶٪ موفقیت ناوبری روی نقشه‌های دیده‌نشده بدون آموزش مجدد و ۸۷٫۴٪ موفقیت اجرای کامل در محیط‌های دارای مانع و تغییرات ارتفاع را گزارش می‌کند. تعداد برخورد در هر اپیزود از ۰٫۲۸ در روش یکپارچه به ۰٫۰۸ می‌رسد؛ یعنی ۷۱٫۴٪ کاهش. با حذف اطلاعات ارتفاع زمین، نرخ افتادن گزارش‌شده از ۱٫۴٪ به ۷٫۳٪ افزایش پیدا می‌کند.

محدوده و محدودیت‌ها

ارزیابی مقاله در شبیه‌سازی، با موانع ثابت و شرایط حس‌کردن اسمی انجام شده است. نمایش محلی ارتفاع زمین، اطلاعات معنایی یا ساختار دوردست مسیر را در اختیار ربات نمی‌گذارد. پیچ‌های تنگ و توالی سکوهای کوچک می‌توانند پیشروی را کند کنند. ثابت نگه‌داشتن سیاست حرکت هنگام آموزش ناوبری نیز سازگاری مشترک دو لایه را محدود می‌کند.

نقشه‌سازی آنلاین، موانع متحرک، آموزش مشترک انتخابی و اعتبارسنجی روی سخت‌افزار، مسیرهای ادامه پژوهش‌اند. نتایج شبیه‌سازی این مقاله، اثبات قابلیت اطمینان روی ربات واقعی نیستند.

توضیح سهم من در این پژوهش و ادامه کار در پایان‌نامه در صفحه معرفی پژوهش، به زبان انگلیسی آمده است.

متن کامل و ارجاع

دانلود متن کامل مقاله کنفرانسی (PDF انگلیسی).

Y. Ayoubi Rad, S. M. Sarfarazi and M. Shahbazi, “Hierarchical Deep Reinforcement Learning for Quadruped Navigation over Complex Terrains,” 13th RSI International Conference on Robotics and Mechatronics (ICRoM 2025), Tehran, Iran, December 16–18, 2025.

هر پنج شکل این صفحه از فایل Word مقاله استخراج شده‌اند. معادلات، منابع و بحث کامل در فایل PDF موجودند.