في ورقة بحثية جديدة، يقدم باحثو Apple نموذج UI-JEPA، وهو عبارة عن بنية تقلل بشكل كبير من المتطلبات الحسابية لفهم واجهة المستخدم مع الحفاظ على الأداء العالي.
يعد فهم نوايا المستخدم بناءً على تفاعلات واجهة المستخدم تحديًا بالغ الأهمية في إنشاء تطبيقات الذكاء الاصطناعي البديهية والمفيدة.
يهدف نموذج UI-JEPA إلى تمهيد الطريق لتطبيقات مساعد الذكاء الاصطناعي سريعة الاستجابة ومحمية للخصوصية من خلال ضمان فهم واجهة المستخدم عبر الأجهزة.
يمكن أن يتناسب هذا مع استراتيجية Apple الأوسع نطاقًا لتعزيز الذكاء الاصطناعي عبر الأجهزة.
يتطلب فهم نوايا المستخدم من تفاعلات واجهة المستخدم معالجة ميزات الوسائط المتعددة، بما في ذلك الصور واللغة الطبيعية، لتحديد العلاقات الزمنية في تسلسلات واجهة المستخدم.
قال المؤلفان يي تشينغ فو، وهو باحث في التعلم الآلي تم تدريبه في شركة Apple، ورافيتيجا أنانثا، أحد كبار الباحثين في مجال التعلم الآلي: “إن التقدم في نماذج اللغات الكبيرة متعددة الوسائط يوفر مسارات للتخطيط الشخصي من خلال إضافة سياقات شخصية كجزء من الطلب على تفاعل أفضل مع المستخدمين”. خبير التعلم. عالم في شركة أبل.
وأضاف المؤلفون: “تتطلب هذه النماذج موارد حسابية مكثفة، وأحجام نماذج كبيرة، وتقدم زمن استجابة عاليًا، مما يجعلها غير عملية في السيناريوهات التي تتطلب حلولًا عبر الأجهزة ذات زمن وصول منخفض وخصوصية معززة”.
ومن ناحية أخرى، لا تزال النماذج الصغيرة الحالية التي يمكنها تحليل نية المستخدم تتطلب عمليات حسابية كبيرة لا يمكن تشغيلها بكفاءة عبر أجهزة المستخدم.
نموذج UI-JEPA مستوحى من JEPA، وهو نهج تعليمي تحت الإشراف الذاتي تم تقديمه في عام 2022 بواسطة Yann Lecon، كبير علماء الذكاء الاصطناعي في Meta.
بدلاً من محاولة إعادة إنشاء كل تفاصيل البيانات المدخلة، تركز JEPA على تعلم الميزات عالية المستوى التي تلتقط الأجزاء الأكثر أهمية في المشهد.
على عكس الأساليب التوليدية التي تحاول ملء كل التفاصيل المفقودة، يمكن لمنهج JEPA التخلص من المعلومات غير المتوقعة، وتحسين التدريب وكفاءة العينة؛ يعد هذا أمرًا بالغ الأهمية نظرًا لمحدودية توفر مقاطع فيديو واجهة المستخدم عالية الجودة والموسومة.
يعتمد UI-JEPA على نقاط القوة في JEPA ويكيفها لفهم واجهة المستخدم. وفقًا لباحثي Apple، في حين أن نموذج UI-JEPA يؤدي أداءً متفوقًا في المهام التي تتضمن تطبيقات مألوفة، فإنه يواجه صعوبات مع التطبيقات غير المألوفة.
ويتصور باحثو Apple العديد من الاستخدامات المحتملة لنموذج UI-JEPA، مثل إنشاء حلقات ردود فعل تلقائية لعملاء الذكاء الاصطناعي للتعلم بشكل مستمر من التفاعلات دون تدخل بشري. هذا النهج يقلل من تكاليف الكشف ويضمن خصوصية المستخدم.
تتضمن الاستخدامات أيضًا إمكانية دمج نموذج UI-JEPA في إطار عمل أداة الذكاء الاصطناعي المصمم لتتبع نية المستخدم عبر التطبيقات والبيئات المختلفة.
يمكن لنموذج UI-JEPA أن يعمل كعامل إدراك لتحديد وتخزين نية المستخدم في نقاط زمنية مختلفة.
عندما يتفاعل المستخدم مع مساعد رقمي، يمكن للنظام الحصول على النية الأكثر صلة وإنشاء استدعاء API المناسب لتلبية طلب المستخدم.