لماذا يحتاج كل مراجِع شيفرة بالذكاء الاصطناعي إلى اختبار فاشل

اطلب من نموذج ذكاء اصطناعي مراجعة طلب دمج، وستحصل على ملاحظات. ستحصل عليها دائمًا. بعضها أخطاء حقيقية، وكثير منها مخاوف مكتوبة بثقة عن مشكلات لا وجود لها.

هذه هي المشكلة الجوهرية في مراجعة الشيفرة بالذكاء الاصطناعي: إثارة الشكّ رخيصة، والتحقق منه مكلف. وإذا احتاجت كل ملاحظة إلى إنسان يتحقق منها، فالمراجِع لا يوفّر الوقت بل يصنع عملًا إضافيًا.

القاعدة

في مشاريعي، لا تُحتسب ملاحظة المراجعة إلا إذا جاءت مع اختبار فاشل يعيد إنتاجها.

ليس «قد يسبّب هذا حالة تسابق»، بل اختبار يُحدث حالة التسابق ويفشل. وليس «تبدو أداة التحقق هذه متساهلة»، بل اختبار يرسل المدخل الخاطئ ويُظهر أنه يمرّ.

إذا لم يستطع المراجِع كتابة اختبار إعادة الإنتاج، تتحوّل الملاحظة إلى سؤال، لا إلى عائق.

لماذا تهمّ الحالة الضابطة

يثبت الاختبار الفاشل أن شيئًا ما فشل، لكنه لا يثبت أن الشيفرة خاطئة. أحيانًا يكون الاختبار نفسه هو الخاطئ: بيانات الاختبار غير صالحة لسبب آخر، أو المحاكاة مُعدّة بشكل خاطئ، أو الاختبار يتحقق من الشيء الخطأ.

لذا يحتاج كل اختبار إعادة إنتاج إلى حالة ضابطة: البيانات نفسها، صحيحة في كل شيء عدا الحقل المستهدف، ويجب أن تنجح. فإذا فشلت الحالة الضابطة أيضًا، فالمشكلة في الاختبار لا في الشيفرة.

رفض الإيجابيات الكاذبة بالأدلة

تعمل القاعدة في الاتجاهين. عندما يعترض المنفّذ على ملاحظة، فإن «لا أوافق» ليست إجابة أيضًا. بل يرفضها بالأدلة. وأقوى دليل هو تعديل متعمّد لا يُفشل شيئًا: أن تكسر الشيفرة بالطريقة نفسها التي تصفها الملاحظة، وتشغّل الاختبارات، وتُظهر أن الخلل المزعوم لا يمكن أن يحدث.

تنتهي كل ملاحظة في واحدة من ثلاث حالات:

• حقيقية: أُصلحت، مع اختبار كان سيكشفها
• إيجابية كاذبة: رُفضت كتابيًا، مع الدليل
• صحيحة جزئيًا: أُصلح النصف الصحيح، وشُرح النصف المرفوض

أين تضع اختبار إعادة الإنتاج

اكتب اختبارات إعادة الإنتاج في مساحة جانبية، لا في مساحة العمل التي تمرّ عبر البوابات. فوجود اختبار إعادة إنتاج فعّال داخل حزمة الاختبارات الحقيقية يُفسد التشغيل. وبعد إصلاح الخلل، يمكن أن يتحوّل إلى اختبار انحدار حقيقي.

ما الذي يتغيّر

مع هذه القاعدة، تتوقّف ملاحظات المراجعة عن كونها آراء. يكرّس وكيل المراجعة جهده لهجمات يستطيع إثباتها، ولا يضيّع المنفّذ وقته على أخطاء وهمية، ولا ينظر الإنسان إلا إلى ملاحظات مُثبتة سلفًا.

إنه الفرق بين مراجِع بالذكاء الاصطناعي يبدو ذكيًا، ومراجِع يجعل الشيفرة أفضل فعلًا. هذه القاعدة جزء من منهجية الوكلاء المتعددين التي أستخدمها لإطلاق شيفرة الإنتاج.