دستیار هوشمند سه‌بعدی متارنگ چگونه تجربه کاربر را تغییر می‌دهد؟

اگر هنگام استفاده از یک محیط سه‌بعدی، دستیار هوشمندی کنار شما باشد که بداند در کدام بخش قرار دارید، چه فرایندی را انجام می‌دهید و در همان لحظه بتواند راهنمایی مرتبط ارائه کند، تعامل شما با آن محیط چه تفاوتی خواهد داشت؟

متارنگ در حال توسعه یک دستیار هوشمند سه‌بعدی (Pet) است که قرار است فراتر از یک شخصیت سه‌بعدی تزئینی، به‌عنوان همراه و راهنمای کاربران در محیط متارنگ فعالیت کند. اتصال این دستیار به زیرساخت‌های هوش مصنوعی شامل LLM، RAG، STT و TTS، در کنار قابلیت تعامل متنی و صوتی، درک شرایط و فعالیت لحظه‌ای کاربر و واکنش‌های سه‌بعدی، بخش مهمی از این تجربه را شکل می‌دهد.

در این پروژه، حتی نحوه حضور Pet در محیط نیز مورد توجه قرار گرفته است؛ از حالت‌های مختلف انیمیشن و هماهنگی حرکت لب با صدا گرفته تا طراحی رابط کاربری برای دسکتاپ و موبایل و بهینه‌سازی عملکرد در کنار زیرساخت سنگین WebGL متارنگ.

در ادامه این مقاله، با معماری، قابلیت‌های تعاملی، Context-Aware بودن، تعامل صوتی، Lip-Sync، ذخیره تاریخچه تعاملات و ملاحظات فنی و عملکردی دستیار هوشمند سه‌بعدی متارنگ بیشتر آشنا می‌شویم.

متارنگ در حال توسعه یک دستیار هوشمند سه‌بعدی (Pet) است که به‌عنوان همراه و راهنمای کاربران در محیط متارنگ فعالیت خواهد کرد. این دستیار با اتصال به زیرساخت‌های هوش مصنوعی شامل LLM، RAG، STT و TTS، امکان گفت‌وگوی متنی و صوتی، درک شرایط و موقعیت لحظه‌ای کاربر، پاسخ‌گویی هوشمند و حرکت هماهنگ لب‌ها با صدا را فراهم می‌کند. همچنین با طراحی بهینه برای WebGL و React Three Fiber و ذخیره تاریخچه تعاملات، تلاش می‌شود تجربه‌ای روان، طبیعی و تعاملی در کنار زیرساخت سه‌بعدی متارنگ ایجاد شود.

دستیار هوشمند سه‌بعدی متارنگ؛ همراهی هوشمند برای تجربه‌ای ساده‌تر در دنیای موازی

متارنگ در مسیر توسعه زیرساخت‌های هوشمند خود، در حال توسعه و ادغام یک دستیار هوشمند سه‌بعدی (Pet) است؛ عاملی تعاملی که قرار است در محیط متارنگ در کنار کاربران حضور داشته باشد و مسیر استفاده از خدمات و امکانات پلتفرم را ساده‌تر و هوشمندتر کند.

این دستیار تنها یک شخصیت سه‌بعدی تزئینی نخواهد بود؛ بلکه با اتصال به زیرساخت‌های هوش مصنوعی متارنگ شامل LLM، RAG، STT و TTS، قابلیت دریافت و پردازش پیام‌های متنی و صوتی را خواهد داشت و می‌تواند با توجه به شرایط و فعالیت لحظه‌ای کاربر، پاسخ‌های مرتبط و متناسب ارائه دهد.

دستیار هوشمندی که شرایط کاربر را می‌شناسد

یکی از ویژگی‌های مهم این پروژه، Context-Aware بودن پت است. به این معنا که دستیار می‌تواند اطلاعاتی مانند صفحه‌ای که کاربر در آن حضور دارد، وضعیت برخی فرآیندها و رویدادهای مرتبط با فعالیت او را دریافت کرده و این اطلاعات را در پاسخ‌های خود لحاظ کند.

برای مثال، اگر کاربر در یک بخش خاص از متارنگ با خطا یا محدودیتی مواجه شود، پت می‌تواند با درک همان وضعیت، راهنمایی مرتبط ارائه کند؛ نه اینکه صرفاً یک پاسخ عمومی و از پیش تعیین‌شده نمایش دهد.

یک شخصیت سه‌بعدی با رفتار و واکنش طبیعی

مدل سه‌بعدی پت با فرمت GLB و با تمرکز بر عملکرد مناسب در محیط WebGL توسعه خواهد یافت. برای این شخصیت حداقل چهار حالت انیمیشنی در نظر گرفته شده است:

Idle؛ حالت انتظار

Listening؛ هنگام شنیدن صدای کاربر

Thinking؛ هنگام پردازش درخواست

Speaking؛ هنگام پاسخ‌گویی

این انیمیشن‌ها با سیستم کنترل وضعیت پت ترکیب می‌شوند تا تغییر حالت‌های شخصیت به‌صورت نرم و طبیعی انجام شود.

مکالمه صوتی و حرکت هماهنگ لب‌ها

پت علاوه بر دریافت پیام متنی، امکان تعامل صوتی نیز خواهد داشت. صدای کاربر از طریق سیستم تشخیص گفتار پردازش شده و پاسخ هوش مصنوعی نیز می‌تواند به‌صورت صوتی بازگردانده شود.

یکی از بخش‌های فنی جذاب پروژه، Lip-Sync محلی است. در این فرآیند، صدای در حال پخش با استفاده از Web Audio API تحلیل شده و حرکت دهان مدل سه‌بعدی به‌صورت لحظه‌ای با صدا هماهنگ می‌شود؛ بنابراین پت هنگام صحبت کردن، صرفاً یک صدای پخش‌شده نخواهد بود و واکنش بصری متناسب نیز خواهد داشت.

حضور هوشمند در کنار کاربر، بدون ایجاد مزاحمت

رابط کاربری پت نیز متناسب با دستگاه کاربر طراحی خواهد شد. در دسکتاپ، دستیار به‌صورت یک عنصر شناور در گوشه صفحه حضور خواهد داشت و در موبایل، برای جلوگیری از اشغال فضای صفحه، به شکل فشرده‌تر یا مودال نمایش داده می‌شود.

همچنین حباب گفت‌وگو با پشتیبانی از Light Mode و Dark Mode طراحی خواهد شد تا با ظاهر فعلی متارنگ هماهنگ باشد.

حافظه تعاملات و تجربه‌ای شخصی‌تر

تاریخچه تعاملات کاربر با پت در IndexedDB ذخیره خواهد شد تا بخشی از اطلاعات تعاملات بدون نیاز به درخواست‌های غیرضروری از سرور در دسترس باشد.

در ادامه نیز مکانیزم همگام‌سازی دوره‌ای برای انتقال اطلاعات موردنیاز به زیرساخت مرکزی پیش‌بینی شده است.

تمرکز ویژه بر Performance

با توجه به اینکه پت در کنار زیرساخت‌های سنگین WebGL متارنگ، از جمله محیط سه‌بعدی و نقشه، اجرا خواهد شد، بهینه‌سازی عملکرد یکی از بخش‌های اصلی این پروژه است.

مدل سه‌بعدی با فشرده‌سازی DRACO آماده می‌شود و هدف‌گذاری شده حجم فایل مدل برای وب تا حد امکان پایین نگه داشته شود. همچنین عملکرد پت، مصرف حافظه، جلوگیری از Memory Leak و عدم ایجاد اختلال در موتور اصلی WebGL در تست‌های نهایی بررسی خواهد شد.

گامی دیگر برای هوشمندتر شدن متارنگ

توسعه این Pet در چند مرحله از طراحی و آماده‌سازی مدل سه‌بعدی تا ادغام با React Three Fiber، مدیریت State، اتصال به سرویس‌های هوش مصنوعی، پردازش صوت و در نهایت تست End-to-End انجام خواهد شد.

هدف نهایی، ساخت یک همراه هوشمند سه‌بعدی و تعاملی است که بتواند در لحظه، شرایط کاربر را درک کند، با او گفتگو داشته باشد و در استفاده از بخش‌های مختلف متارنگ راهنمایی لازم را ارائه دهد.

با تکمیل این پروژه، متارنگ یک قدم دیگر به سمت تجربه‌ای نزدیک‌تر به تعامل طبیعی انسان و هوش مصنوعی در یک محیط سه‌بعدی و زنده حرکت خواهد