كيف تقرأ نماذج LLM وثائق المناقصات: الاستخراج في الممارسة

نادرًا ما يكون إعلان المناقصة وثيقة واحدة نظيفة. بل هو عادةً إعلان مع مواصفة مع عقد مسودّة مع حفنة من الملاحق، بعضها ممسوح ضوئيًا، وبعضها PDF أصلي، وبعضها يناقض بعضًا في أمور صغيرة لا تصبح مشكلة إلا بعد أن يكون العرض قد قُدِّم بالفعل. أن تطلب من نموذج لغوي أن يقرأ كل ذلك ويستخرج الموعد النهائي والحصص ومعايير التقييم يبدو مهمة استخراج بسيطة. وهي عمليًا مهمة ذات مدى واسع من الموثوقية بحسب ما يُستخرج ومن أي نوع من الوثائق.

يستحق هذا فهمًا دقيقًا، لأن كلفة الخطأ ليست خطأ تنسيق. بل موعدًا نهائيًا فائتًا أو عرضًا مُقصى. وما يلي نظرة مؤصّلة إلى ما تكون فيه نماذج اللغة الكبيرة موثوقة عند قراءة وثائق المناقصات، وأين تتعثّر باستمرار، ولماذا لا يزال على الإنسان أن يتحقق من الحقول الأهم.

ما تُجيده نماذج LLM بموثوقية

تؤدي نماذج اللغة أداءً جيدًا في الاستخراج المنظَّم من وثائق نصية أصلية نظيفة. حين يكون إعلان المناقصة ملف PDF أو صفحة HTML جيدة التنسيق بحقول مُعنونة بوضوح، يستخرج النموذج بموثوقية:

الخيط المشترك هو أن النموذج لا يُطلب منه تأويل أي شيء. إنه يحدّد موقع واقعة مذكورة سلفًا في النص، بالكلمات ذاتها تقريبًا التي دُرّب النموذج على تمييزها، ويعيد إنتاجها. هذه هي مهمة الاستخراج التي بُنيت نماذج اللغة لتجيدها، وللوثائق النظيفة تكون الدقة عالية فعلًا.

أين يصبح الاستخراج أصعب

تهبط الموثوقية بحدة بمجرد أن تصبح وثيقة الإدخال أكثر فوضى، لأسباب لا علاقة لها بمدى تطوّر النموذج.

الوثائق الممسوحة ضوئيًا وجودة OCR. يوجد نصيب كبير من ملاحق المناقصات، ولا سيما القوالب الأقدم أو الوثائق من أنظمة مشتريات لم تتحدّث قط، بوصفه صورًا ممسوحة ضوئيًا فقط. وقبل أن يستطيع نموذج لغوي قراءة أي نص، يجب أن يمر ذلك المسح عبر التعرّف الضوئي على المحارف، وتتفاوت جودة OCR تفاوتًا هائلًا مع دقة المسح، وميل الصفحة، والخط اليدوي. الرقم المقروء خطأً في موعد نهائي أو رقم موازنة ليس إخفاقًا في استدلال النموذج، بل مشكلة إدخال فاسد لا يستطيع النموذج كشفها ما لم تكن القيمة الناتجة غير معقولة في ظاهرها.

البنية غير المتسقة عبر الوثائق. حزمة مناقصة مُجمَّعة من إعلان ومواصفة وعدة ملاحق كتبتها إدارات مختلفة في أوقات مختلفة نادرًا ما تستخدم مصطلحات أو تخطيطًا متسقًا. الموعد النهائي في الإعلان الرئيسي قد يتكرر، أو يُعاد ذكره بدقّة، في ملحق بصياغة مختلفة. وحين تذكر وثيقتان في الحزمة نفسها أرقامًا مختلفة قليلًا، فإن نموذجًا يستخرج من واحدة فقط سيبلّغ بثقة عن قيمة موجودة تقنيًا في النص ومع ذلك خاطئة بالنسبة إلى نية المشتري الفعلية.

الجداول ذات الخلايا المدمجة أو التخطيطات غير المنتظمة. تفصيلات الحصص، وجداول التسعير، وجداول المتطلبات كثيرًا ما تكون الجزء الأقل توحيدًا في أي حزمة مناقصة. الخلايا المدمجة، والرؤوس متعددة الصفوف، والجداول التي تغيّر بنيتها في منتصف الصفحة نقطة ضعف موثّقة جيدًا للاستخراج الآلي عمومًا، والنماذج التي تقرأها عبر تحويل PDF إلى نص ترث أي معلومة بنيوية فُقدت في ذلك التحويل.

أي شيء يتطلب حُكمًا لا قراءة حرفية. هذا هو التمييز الأهم. يستطيع النموذج استخراج وزن تقييم مذكور بموثوقية. وهو أقل موثوقية بكثير في استنتاج وزن حقيقي غير مذكور من نص إنشائي، مثلًا حين تقول مناقصة إن السعر والجودة يهمّان كلاهما دون تخصيص أي نسب، ولا يتضح الوزن الحقيقي إلا من كيفية تقييم المشتري لمناقصات مماثلة في الماضي. ذلك حُكم تأويلي لا استخراج، ومعاملته بالثقة ذاتها كاستخراج حرفي خطأ.

لماذا تكون المخاطر غير متماثلة

ليس لكل خطأ استخراج الوزن ذاته. عنوان بريد اتصال مقروء خطأً إزعاج. أما موعد نهائي مقروء خطأً، أو عتبة موازنة مقروءة خطأً، أو معيار إقصاء إلزامي فائت، فقد يُقصي عرضًا كليًا، أحيانًا دون أي فرصة للتصحيح بعد التقديم.

لهذا لا تعامل مسارات الاستخراج الرشيدة كل حقل بالطريقة ذاتها. الحقول ذات العاقبة المنخفضة للخطأ يمكن أن تعمل بمراجعة أخف على نحو معقول. أما الحقول التي يكون الخطأ فيها مُقصيًا، المواعيد النهائية، والعتبات المالية، ومعايير الإقصاء الإلزامية، فتستوجب تحققًا بشريًا مقابل الوثيقة المصدرية قبل أن يعتمد أحد على القيمة المستخرجة.

لماذا تظل المراجعة البشرية في الحلقة مهمة

الخلاصة العملية ليست أن نماذج اللغة غير موثوقة لهذا العمل. فلمعظم الحقول، عبر معظم الوثائق النظيفة، هي سريعة ودقيقة على نحو لا تستطيع المراجعة اليدوية على نطاق واسع مجاراته. الخلاصة أضيق: ثقة الاستخراج ليست موحّدة عبر أنواع الحقول وجودة الوثائق، والحقول ذات أعلى كلفة للخطأ كثيرًا ما تكون الحقول ذاتها الأكثر تعرّضًا لأنماط الإخفاق أعلاه، الملاحق الممسوحة ضوئيًا، وإعادة الذكر غير المتسقة عبر الوثائق، والجداول التي لا تتحول بنظافة.

سير العمل السليم يستخدم النموذج لتمرير أول سريع عبر حجم كبير من الوثائق، ثم يوجّه الحقول الأعلى مخاطرة، المواعيد النهائية قبل كل شيء، إلى شخص يتحقق منها مقابل المصدر الأصلي قبل أن يعتمد عليها فريق العرض. هذا ليس اعترافًا بأن التقنية غير جاهزة. بل مطابقة مستوى المراجعة لكلفة الخطأ، الانضباط ذاته الذي يطبّقه أي فريق مشتريات على عملية اعتماده الداخلية.

إتقان هذا على نطاق واسع

قراءة حفنة من المناقصات بعناية أمر يمكن إدارته يدويًا. أما قراءة مئات تُنشر يوميًا عبر عشرات بوابات المشتريات، بتنسيقات ولغات متباينة، فليست كذلك، وهي مشكلة الحجم التي تجعل الاستخراج الآلي جديرًا بالاستخدام أصلًا. تقرأ TRINTA ما تبيعه الشركة وتُبرز المناقصات المطابقة من مصادر رسمية يوميًا، مطبِّقةً الاستخراج الآلي على ذلك النطاق مع إبقاء الحقول الأعلى مخاطرة ظاهرة ليؤكدها إنسان قبل أن يتعرّض أي موعد نهائي للخطر.

الأسئلة الشائعة

شارك هذا المقال

Reference

مقالات ذات صلة