Multi agent systems and their testing efforts
No Thumbnail Available
Date
2025
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
University of Oum El Bouaghi
Abstract
Software agent-based technology is a key approach to addressing the complex, distributed, and autonomous required nature of modern software systems. However, quality assurance remains a significant challenge that hindersits industry adoption. This research investigates the widely held assumption that agent-based systems are inherently hard to test by empirically studying their testability from the perspective of agent test writing effort. Focusing on JADE-based multi agent systems (MAS), the properties, attributes, and testing efforts of a sample of JADE agents are characterised and statistically analysed using correlation and regression techniques. This analysis allowed to identify and understand the relationship between agent attributes and properties, and testing effort. These insights are then leveraged to build agent testing effort prediction models using machine learning techniques.The study addressed key challenges including the absence of comprehensive agent measurement models, the lack of a thorough JADE testing framework, and the unavailability of open MAS testing cases that could serve as case studies. Overall, this research resulted in several significant contributions to the field of agent based system quality, particularly in testing and measurement. It enhanced the understanding of agent testability and the way agent characteristics and properties affect it at different testing levels. It proposes a high effectiveness prediction models. It introduces the Unified Framework for Agent Properties Measurement (UFAPM), to tailoring a context-specific agent measurement model. It proposes JADE Testing Framework (JTF), a comprehensive and effective solution for JADE agent testing, sustained with over 4,000 lines of agent test code that provide a valuable benchmark for future studies.
La technologie des logicielsbasés sur les agents estuneapprocheclé pour répondre à la complexité, la distribution et l'autonomierequises par les systèmesmodernes. Cependant, l'assurancequalitéreste un défimajeur qui freine son adoption dansl'industrie. Cetterecherche examine l'hypothèselargementrépandueselonlaquelle les systèmesmulti-agents sontintrinsèquementdifficiles à tester, enétudiantempiriquementleurtestabilité sous l'angle de l'effortd'écriture des tests pour les agents. En se concentrant sur les systèmes multi-agents (MAS) basés sur JADE, les propriétés, les attributs et les efforts de test d'un échantillond'agents JADE sontcaractérisés et analysésstatistiquement à l'aide de techniques de corrélation et de régression. Cette analyse a permisd'identifier et de comprendre la relation entre les attributs et les propriétés des agents, et l'effort de test. Cesinformationssontensuiteexploitées pour construire des modèles de prédiction de l'effort de test des agents à l'aide de techniques d'apprentissageautomatique. L'étude a recontré des défis major, notammentl'absence de modèles de mesurecomplets pour les agents, le manque d'un outils de test approfondi pour JADE et l'indisponibilité de casd'étudeouverts sur le test des MAS, qui pouvantservir de référence. Generalement, cetterecherche a apportéplusieurs contributions significatives au domaine de la qualité des systèmes multi-agents, enparticulierdans les domaines du test et de la mesure. Elle a amélioré la compréhension de la testabilité des agents et de la manièredont les caractéristiques et propriétés des agents l'affectent à différentsniveaux de test. Elle propose des modèles de prédictiond'unegrandeefficacité. Elle introduit le Cadre Unifié pour la Mesure des Propriétés des Agents (UFAPM), permettant de concevoir un modèle de mesure des agents spécifique à un contexte. Elle propose également un outilsde Test JADE (JTF), une solution complète et efficace pour le test des agents JADE, soutenue par plus de 4 000 lignes de code de test d'agents qui offrentuneprécieuseréférences pour les études futures.
تعد تكنولوجيا برمجيات الوكلاء طريقة ناجعة لمعالجة الطبيعة المعقدة والموزعة والمستقلة المطلوبة للأنظمة البرمجيات الحديثة. ومع ذلك، يظل ضمان الجودة تحديًا كبيرًا يعيق اعتماد هذه التكنولوجيا في الصناعة. ينظر هذا البحث في الافتراض الشائع بأن الأنظمة القائمة على الوكلاء يصعب اختبارها بطبيعتها، وذلك من خلال دراسة قابليتها للاختبار من منظور جهد اللازم لاختبار الوكلاء.لقد تم اختيارمجموعة من الأنظمة متعددة الوكلاء القائمة على منصت JADE كعينة للدراسة، اين تم قياس لكل وكيل من العينة كل من خصائصه ، قدراته و كذا الجهد اللازم لاختباره .البيانات المتحصل عليها تم تحليلها إحصائيًا باستخدام تقنيات الارتباط والانحدار. مما سمح بتحديد وفهم العلاقة بين كل من خصائص و قدرات من جهة وكذا جهود الاختبار من جهة اخرى . ثم تم استخدام هذه النتائج لبناء نماذج تنبؤ لجهد اختبار الوكلاء باستخدام تقنيات التعلم الآلي . واجهت الدراسة التحديات عديدة شمل غياب نماذج كاملة و موثوقة لقياس خصائص وقدرات الوكلاء، عدم وجود منصة متكاملة لاختبارهم، غياب اختبارات مفتوحة المصدر و التي يمكن استخدامها كعينات لدراسة. بشكل عام، نتج عن هذه الدراسة عدة مساهمات هامة في مجال جودة الأنظمة القائمة على الوكلاء، خاصة في مجالي الاختبار والقياس حيث عززة فهم قابلية اختبار للوكلاء وكيفية تأثير خصائصهم و قدراتهم على الجهد اللازم لاختبارهم، تقترح نماذج تنبؤ ذات فعالية عالية ، إطارموحد خاص بصياغة نمادج قياس متكاملة للوكلاء (UFAPM)و كذا منصة اختبارمتكاملة وفعالة(JTF)للأنظمة متعددة الوكلاء القائمة على JADE ، مدعوم بأكثر من 4,000 سطر من كود اختبار لوكلاء والذي يعتبر قاعدةبيانات قيمًة للدراسات المستقبلية.
Description
Keywords
Multi-agent system;Testing effort; JADE; Attributes Machine learning