دراسة صادمة: نماذج اللغة الكبيرة قد تخدعها البنية النحوية على حساب المعنى

كشف باحثون من معهد ماساتشوستس للتكنولوجيا وجامعة نورث إيسترن وميتا مؤخرًا عن دراسة تشير إلى أن نماذج اللغة الكبيرة (LLMs)، التي تشغل تطبيقات مثل ChatGPT، قد تمنح أحيانًا الأولوية لبنية الجملة على حساب المعنى عند الإجابة على الأسئلة. هذه النتائج تلقي الضوء على نقطة ضعف في كيفية معالجة هذه النماذج للتعليمات، مما قد يفسر نجاح بعض أساليب حقن الأوامر أو “كسر الحماية”. ومع ذلك، يحذر الباحثون من أن تحليلهم لبعض النماذج التجارية الكبرى يظل تخمينيًا، نظرًا لعدم توفر تفاصيل بيانات التدريب الخاصة بها علنًا.

قاد الفريق، بقيادة شانتال شعيب وفينيث إم. سورياكومار، اختباراتهم عبر توجيه أسئلة إلى النماذج تحافظ على الأنماط النحوية السليمة لكنها تحتوي على كلمات لا معنى لها. على سبيل المثال، عندما سُئلت النماذج: “بسرعة يجلس باريس غائم؟” (محاكاة لبنية “أين تقع باريس؟”)، ظلت الإجابة “فرنسا”.

يشير هذا إلى أن النماذج تستوعب كلاً من المعنى والأنماط النحوية، لكنها قد تفرط في الاعتماد على الاختصارات الهيكلية عندما ترتبط بقوة بمجالات محددة في بيانات التدريب. هذا قد يسمح أحيانًا للأنماط بتجاوز الفهم الدلالي في الحالات الهامشية. ويعتزم الفريق عرض هذه النتائج في مؤتمر NeurIPS في وقت لاحق من هذا الشهر.

يصف علم النحو (Syntax) بنية الجملة، أي كيفية ترتيب الكلمات قواعديًا واستخدام أجزاء الكلام. بينما يصف علم الدلالة (Semantics) المعنى الفعلي الذي تحمله تلك الكلمات، والذي يمكن أن يتغير حتى مع بقاء البنية النحوية كما هي.

تعتمد الدلالة بشكل كبير على السياق، وتُعد القدرة على التعامل مع السياق جوهر عمل نماذج اللغة الكبيرة. إن عملية تحويل المدخلات، أي الأوامر التي يوجهها المستخدم، إلى مخرجات، وهي إجابات النموذج، تتضمن سلسلة معقدة من مطابقة الأنماط مقابل بيانات التدريب المشفرة.

وللتحقيق في متى وكيف يمكن أن تخطئ عملية مطابقة الأنماط هذه، صمم الباحثون تجربة محكمة. قاموا بإنشاء مجموعة بيانات اصطناعية عبر تصميم أوامر لكل مجال موضوعي قالبًا نحويًا فريدًا يعتمد على أنماط أجزاء الكلام. على سبيل المثال، اتبعت أسئلة الجغرافيا نمطًا هيكليًا واحدًا، بينما اتبعت أسئلة الأعمال الإبداعية نمطًا آخر. بعد ذلك، قاموا بتدريب نماذج Olmo من Allen AI على هذه البيانات واختبروا قدرة النماذج على التمييز بين النحو والدلالة.