قانون الروبوتات

١. المقدمة

لقد جتاحت الروبوتات والذكاء الإصطناعي العالم بسبب التطورات التكنولوجية الغير مسبوقة في السنوات الأخيرة في هذه المجالات. ولقد أصبحت الأتمتة والروبوتات والذكاء الإصطناعي جزءًا متأصلًا في مجتمعاتنا بالفعل. وسيستمرون في التأثير بشكل كبير على الطريقة التي نعيش بها، وسيصبحون قريبًا شائعين في مكان العمل، وسيعملون جنبًا إلى جنب مع البشر مع زيادة درجة إستقلاليتهم الذاتية (١).

الهدف النهائي للروبوتات هو الوصول للذكاء الإصطناعي (AI). الذكاء الإصطناعي هو برنامج ذكي للغاية يمكنه حل المهام دون الحاجة إلى التفاعل البشري. بشكل مبسط، يمكن تقسيم الذكاء الإصطناعي إلى فئتين وهما: الذكاء الإصطناعي الناعم والذكاء الإصطناعي الصلب. الذكاء الإصطناعي الناعم يشبه هذا النوع من البرمجة الموجودة بالفعل في الهواتف الذكية ومحركات البحث. أما الذكاء الإصطناعي الصلب فهو أكثر تعقيدًا. فهو عبارة عن إنشاء برنامج يستطيع أن يدرك حقوقه. على الرغم من أن هذا النوع من الذكاء الإصطناعي لا يزال بعيد المنال ويحتاج لسنوات عديدة للوصول إليه، إلا ان البرامج التي يمكنها العمل والربط بالإنترنت دون الحاجة للتفاعل البشري موجودة بالفعل (٢).

السؤال الجوهري الذي يطرح نفسه هو إذا كنا قد وصلنا إلى نقطة الاحتياج لابتكار أدوات تشريعية حول الروبوتات والذكاء الاصطناعي. بشكل تقليدي، يصبح التشريع ضروريًا عندما يتطلب التغيير المجتمعي أو التكنولوجي إطارًا قانونيًا مناسبًا. على الرغم من أن العديد من القطاعات القانونية تتعامل بشكل جيد مع الظهور الحالي للروبوتات المستقلة إلا أن هناك حاجة إلى عمل بعض التعديلات البسيطة على أساس كل حالة على حدة، ويتعين القيام بعمل التشريعات الجديدة في المجالات التي تكون فيها الاستجابة القانونية الحالية غير متوفرة أو غير مناسبة. كما أن الأمور الأخلاقية المرتبطة بالتحول الكامل الذي ستجلبه الروبوتات والذكاء الاصطناعي إلى المجتمع على وجه التحديد تحتاج إلى التحليل في القوانين والتشريعات العامة (٣).

٢. الشخصية القانونية لروبوتات الذكاء الإصطناعي

الشخصية القانونية هي عبارة عن مجموعة من الحقوق والمسؤوليات، والمفهوم ذاته معروف بالمرونة منذ أن ارتبط امتداده بقبول المجتمع لكيان معين (٤). ولقد تركز الجدل الجاري حالياً حول هذه القضية.

وفقًا لسليمان، فإن السؤال قد تركز على مدى قدرة الروبوتات على الوفاء بواجباتها القانونية، كالمسؤوليات التي يلزم بها القانون لفعل أو الامتناع عن عمل شيء ما من أجل مصلحة الآخرين. على عكس الشركات التي تتكون من أشخاص يمكنهم القيام بواجباتهم، فإن الروبوتات ليس لها ارتباطات بشرية مماثلة، وبالتالي لا يمكنها القيام بالواجبات القانونية أو التأهل للشخصية القانونية (٥). بريسون وآخرون (Bryson et al). ربطوا استحقاق الشخصية القانونية للروبوتات بالحقوق الأخلاقية ونوعية الوعي، فإن تعيين وضع العوامل الأخلاقية للروبوتات من شأنه أن يؤدي إلى مواقف غير أخلاقية، بعبارة أخرى، وضع المصالح البشرية في منافسة مع مصالح الذكاء الاصطناعي (٦). علاوة على ذلك، ادعى تشاو (Chao) بأن الحقوق القانونية يجب أن تمتد لتشمل الروبوتات الرشيدة بشكل تام، التي تُظهر الوعي والإرادة الحرة والقصدية، لأن حرمانهم من هذه الحقوق ستتعارض مع المعايير التي يتم بموجبها منح البشر حقوقهم (٧).

أشار جيلرز (Gellers) إلى أن العلماء لم يولوا اهتمامًا كافيًا للعلاقة بين المفاهيم الأساسية. وقد ناقش بعض المؤلفين الواجبات القانونية، بينما ركز الآخرون على الحقوق الأخلاقية وفكرة الوعي. فتأرجح بعض المؤلفين بين المصطلحات القانونية والأخلاقية. ولقد قام جيلرز على إبراز النظرية الحديثة بشأن الشخصية القانونية لروبوتات الذكاء الاصطناعي والتي تستند على ثلاث نظريات وهي؛ نظرية الأشخاص القانونيين بصفتهم أصحاب حقوق، ونظرية القدرة على الحقوق، ونظرية القدرة على العلاقات القانونية (٨).

وفقًا لجيوفريدا وآخرون (Giuffrida et al)، فإن النظرية القانونية في الوقت الحالي تقدم ثلاثة حلول لمشكلة الشخصية القانونية والتي يمكن توضيحها بشكل أكبر أدناه (٩):

• يمكن التعامل مع روبوتات الذكاء الإصطناعي على أنها ممتلكات، وتقع المسؤولية على عاتق المالكين، المستخدمين والمصنعين.
• يمكن التعامل مع روبوتات الذكاء الإصطناعي على أنها كائنات شبه مستقلة، وبالتالي تندرج تحت نظام مشابه لنظام الأطفال، أو الأشخاص ذوي الإعاقات العقلية، أو لمفهوم مماثل للوكالة.
• جميع روبوتات الذكاء الإصطناعي، مثلها مثل الكيانات المؤسسية، يمكن التعامل معها على إنها كائنات مستقلة تمامًا.

السبب وراء تطبيق الشخصية القانونية على روبوتات الذكاء الاصطناعي وليس مجرد على الروبوتات فحسب، هو لأن الذكاء الاصطناعي يتكون من سمات التفكير والإستدلال، فهذا هو السبب الرئيسي لإمكانية منح الشخصية القانونية. على الرغم من أن أصل الذكاء الاصطناعي هو مجرد رموز مكتوبة بواسطة المبرمج، إلا إن خصائصه الرئيسية يمكن تمييزها على أنها (١٠):

• القدرة على التواصل
• معرفة الذات والعالم الخارجي
• هناك قدر معين من الإبداع
• القدرة على تحقيق أهداف محددة

بمعرفة هذه السمات، يمكن للمرء أن يرى لماذا لا تعتبر مناقشة الوضع القانوني المنفصل لروبوتات الذكاء الإصطناعي بالأمر السخيف. تتميز هذه العوامل الإصطناعية بمستويات معينة من الوعي الذاتي وتقرير المصير والاستقلال الذاتي. ومع ذلك، فإن العيب الرئيسي لعدم توفير وضع قانوني منفصل لروبوتات الذكاء الإصطناعي يكمن في عدم قدرتها على المعاناة، وهو ما يرتبط مرة أخرى بمشكلة المسؤولية. فهناك قلق آخر مرتبط بمسألة أن تستخدم روبوتات الذكاء الإصطناعي كدروع للمسؤولية من قبل الأشخاص المؤذين إذا تم منحها الشخصية القانونية المنفصلة.

ولذلك يجب وضع شروط معينة في الإعتبار حتى تتمتع روبوتات الذكاء الإصطناعي بالشخصية القانونية (١١):

١. الجانب التكنولوجي

يجب وضع الحدود لتحديد وانتقاء كل نظام ذكاء إصطناعي معين.

٢. الجانب الاقتصادي

إذا كان إحدى الجدالات حول شخصية الذكاء الإصطناعي التي يمكن رؤيتها على أنها تعمل على زيادة الإزدهار الإقتصادي والإبتكار، فينبغي على المجتمع تحديد المستفيدين بشكل دقيق ومعرفة مكاسب المجتمع.

٣. الجوانب القانونية والأخلاقية

إن منح الشخصية لروبوتات الذكاء الإصطناعي سيكون تغييراً هائلاً في المجتمع، ولا ينبغي الإستخفاف بهذا القرار. على الرغم من أنه قد ثبت أن النظام القانوني الحالي غير كاف وأن الذكاء الإصطناعي يجب أن يتمتع بنظام قانوني منفصل عن الجوانب الأخرى للقانون السيبراني، يجب توخي قدر كبير من الحذر عند سن مثل هذه القوانين لمنع التجاوزات والإنتهاكات المحتملة للنظام القانوني والثغرات القانونية.

في حين أن القانون المدني معني بإرغام المخالفين على تعويض أولئك الذين تعرضوا للأذى، فإن القانون الجنائي يتعامل مع معاقبة الجناة (١٢)، وبالتالي، يصبح الوضع أكثر غموضًا بشأن روبوتات الذكاء الإصطناعي، وتفاعلها مع عناصر الجريمة، وحلول المسؤولية المقترحة.

٣. المسؤولية الجنائية الواقعة على روبوتات الذكاء الإصطناعي

المشكلة الرئيسية هي من سنحمل المسؤولية عما تفعله التعليمات البرمجية؟ يمكن تقسيم هذه المسألة إلى مشكلتين، وهما على وجه التحديد؛ المشكلة المتعلقة بالمسؤولية عن الإصابات – سواء كانت جسدية، اقتصادية، أو عاطفية، التي حدثت بسبب النظم التفاعلية أو نظم التعلم الذاتي، بالإضافة إلى المسألة المتعلقة حول درجة الخطأ التي يجب أن نطلبها من هؤلاء المدعى عليهم المحتملين. أسهل قضية هي تلك التي يكون فيها القانون مُعدًا لها بشكل جيد والتي تتضمن قيام المدعى عليه ببرمجة روبوت من أجل إلحاق الأذى بالآخر. وعلى الرغم من ذلك، ففي معظم الحالات، سيكون من الصعب تقديم دليل على وجود نية متعمدة لإلحاق الأذى أو معرفة أن الضرر يمكن أن يحدث. قد تكون المسؤولية دون خطأ حلاً تقليديًا، ولكنها في نفس الوقت قد تعوق عملية الابتكار في منطقة عالية التطور، كما أنها قد تكون حلاً غير مناسباً وفقا لأحكام القانون الجنائي (١٣).

١.٣. روبوتات الذكاء الإصطناعي وعناصر الجريمة

على الرغم من إن نظام القانون الجنائي قد تم تصميمه في الأصل من أجل البشر، إلا إن النموذج العملي للقانون الجنائي قد دمج بالفعل أفعال الأشخاص الاعتباريين، مثل الشركات. وبالتالي، فإن المسؤولية الجنائية قد لا تقتصر على البشر فحسب، ولكن السؤال الذي يطرح نفسه هو عن إمكانية أن يكون الروبوت مسؤولاً عن جريمة جنائية. لكي تكون قادرًا على فرض المسؤولية الجنائية على أي شخص أو أي نوع من الكيانات، عليك إثبات عنصرين من عناصر الجريمة، وهما الفعل الإجرامي والنية الإجرامية (١٤). فكل مكون يمثل تحديًا معينًا لوضع المسؤولية الجنائية على روبوتات الذكاء الإصطناعي. أحد الأسئلة الجوهرية هو ما إذا كان يمكن للمرء أن ينسب بشكل مباشر أو غير مباشر النية الإجرامية إلى العوامل الإصطناعية. من سمات القانون الجنائي أنه يقوم بمعاقبة السلوك الأخلاقي أيضًا بهدف متابعة إعادة التأهيل. من الناحية العملية، ليس من الواضح حتى الآن كيف يمكن أن تكون روبوتات الذكاء الإصطناعي مسؤولة جنائيًا ومعاقبتها وفقًا لذلك من حيث إعادة التأهيل والردع (١٥). فهناك شروط معينة في النظرية القانونية يمكن بموجبها أن يكون الروبوت مسؤولاً جنائياً من حيث النية الإجرامية، بشرط أن الروبوت يجب أن يكون (١٦):

• مجهز بخوارزميات تمكنه من إتخاذ قرارات ذات صلة أخلاقية؛
• قادر على إيصال قراراته الأخلاقية للبشر.
• ويسمح له بالعمل دون إشراف مباشر من البشر.

الأساس العام الآخر للمسؤولية الجنائية هو الفعل، ألا وهو الفعل الإجرامي، فينبغي أن تكون هناك الإمكانية في أن يُنسب فعل الروبوت الذكي الإصطناعي إلى الإنسان. وبالتالي، فمن الضروري إنشاء وتحديد الجهات الفاعلة المشاركة في صنع قرار روبوت الذكاء الإصطناعي:

• المستخدم النهائي
• المشرف،
• المنتج،
• المالك.
• والدخيل

المستخدم النهائي هو الشخص الذي يستفيد من الذكاء الإصطناعي في المقام الأول، والمشرف يشرف على الذكاء الإصطناعي وقراراته التي يأخذها (١٧)، المنتج هو الشخص المسؤول عن كل شيء متعلق بأصل إنشاء الذكاء الإصطناعي، ويعتبر مطور البرامج كمنتج أيضًا، ولكن في بعض الحالات، قد يكون هو أو هي الطرف الثالث الذي يعمل نيابة عن المنتج. قد يتعارض دور المالك مع أدوار المستخدم النهائي والمشرف، وقبل البيع يتصادم مع دور المنتج. الدخيل قد يكون قرصان على سبيل المثال (١٨). لذا فإن السؤال الذي يبرز هو من المسؤول عن أعمال الذكاء الإصطناعي. من النظرية القانونية، فقد تم إقتراح أن أدوار المستخدم النهائي والمشرف مرتبطة على مجرد الإستخدام لإنشاء الذكاء الإصطناعي، ولكن يظهر تحدٍ جديد عندما يبدأ الإبتكار في العمل بشكل مستقل. المنتج مسؤول عن إنشاء كيان الذكاء الإصطناعي في حالة وجود عطل في الرمز الخاص به. الدخيل بإعتباره قرصان فبشكل بديهي مسؤول عندما يتعلق الأمر بالمسؤولية الجنائية. الفعل الإجرامي يشمل الإغفال أيضًا، ألا وهو الفشل في الفعل، وقد يتم أيضًا مواجهة الجهات الفاعلة المحددة جنائيًا وذلك بواجب التصرف، ولكن ذلك فقط إذا كان الفاعل قادرًا على التأثير على الذكاء الإصطناعي وعلى أخذ قراراته المستقلة (١٩).

عندما نفكر في الفعل الإجرامي والنية الإجرامية ومجموعة المسببات بينهما التي يجب أن تدرس على أساس كل حالة على حدة، فما زلنا لا نستطيع العثور على إجابة مرضية للتعامل مع المسؤولية الجنائية لروبوتات الذكاء الإصطناعي، لذلك، فقد وضع علماء القانون ثلاثة نماذج للمسؤولية الجنائية التي يمكن أن تكون مفيدة بناء على طبيعة كيانات الذكاء الإصطناعي.

٢.٣. النماذج المقترحة للمسؤولية الجنائية

نموذج المسؤولية عن إرتكاب الجرم بواسطة الأخر: هذا هو النموذج الأول الذي لا يأخذ في الإعتبار المميزات البشرية لإنشاء الذكاء الإصطناعي. أي إن روبوت الذكاء الإصطناعي يعتبر عاملاً بريئًا. على الرغم من أن التقاليد القانونية طويلة الأجل تعتبر الآلة مجرد آلة دائمًا، لكن لا يمكن التغاضي عن قدرات التقنيات الذكية الجديدة. على أية حال، هذا النموذج لا يعتبر إنشاء الذكاء الإصطناعي بمرتكب محتمل للجريمة، وبالرجوع إلى نموذج العامل البريء، فإنه يشبه الموقف عندما يتولى طفل أو شخص معاق عقليًا دور الجاني. في هذه الحالات، الوسيط يعتبر الأداة، والفاعل الأصلي هو المذنب الحقيقي. في حالة الذكاء الإصطناعي، قد يتولى شخصان دور الفاعل الأصلي، أي المبرمج، والمستخدم النهائي لروبوت الذكاء الإصطناعي. الذي ينتج عن ذلك مسؤولية جنائية كاملة للمبرمج والمستخدم النهائي، في حين أن روبوت الذكاء الإصطناعي لا يتحمل أي مسؤولية جنائية على الإطلاق (٢٠). لا يمكن إستخدام عائق هذا النموذج في المواقف التي يقرر فيها الذكاء الإصطناعي التصرف بشكل مستقل تمامًا على الرغم من حقيقة إنه لم يتم برمجته بهذه الطريقة.

نموذج المسؤولية عن العواقب الطبيعية المحتملة: هذا النموذج يحدد المسؤولية الجنائية للمبرمج أو للمستخدم النهائي لروبوت الذكاء الإصطناعي، على الرغم من أنه لم يتم برمجته أو إستخدامه لإرتكاب الجريمة، فإذا كانت الجريمة قد وقعت كنتيجة طبيعية ومحتملة بسبب سلوك روبوت الذكاء الإصطناعي. لذا فإن هذا النموذج لا يتطلب نية من الجهات البشرية الفاعلة، ولكن إهمالهم فقط يقع أيضًا في نطاق المسؤولية الجنائية (٢١).

نموذج المسؤولية المباشرة: يركز النموذج الثالث على كيان الذكاء الإصطناعي فقط، والمسؤولية الجنائية للأوساط الخارجية، مع الأخذ في الاعتبار أن المسؤولية الجنائية لجريمة معينة تتكون من العنصر الخارجي والداخلي. لفرض المسؤولية الجنائية على أي كيان، يجب إستيفاء المتطلبات التي تقضي بارتكاب الفرد السلوك بقصد أو بعلم. المسألة الرئيسية هنا ليست الفعل نفسه، طالما أن الذكاء الإصطناعي يتحكم في آلياته وبالتالي يعمل بشكل مستقل، فيمكن إعتبار متطلبات الفعل قد تم الوفاء بها. على سبيل المثال، يقوم الروبوت بتفعيل ذراعه بشكل مستقل وتحريكها، فيمكن إعتبارها بمثابة فعل. ولكن تكمن المشكلة الرئيسية في العنصر الداخلي، ألا وهي المتطلبات العقلية. على الرغم من أن روبوت الذكاء الاصطناعي لديه درجة معينة من الإبداع، والمعرفة بالعالم الخارجي، والخوارزميات التي في بعض الحالات تحاكي العملية المعرفية للدماغ البشري، إلا أنه لا يمتلك المشاعر. من ناحية أخرى، حتى بين البشر، فإن المشاعر لا تلعب أي دور في كثير من الحالات حيث أن بعض الجرائم تكتفي بعنصر المعرفة فقط. من وجهة النظر هذه، فمن الممكن الفهم بإن حتى روبوت الذكاء الإصطناعي قد يواجه المسؤولية الجنائية. نظرية هذا النموذج تم تمديدها من خلال الأخذ في الإعتبار العلاقة بين الفاعل البشري وروبوت الذكاء الإصطناعي وإعتبارها بمثابة تواطؤ وإشتراك، بحيث يمكن فرض المسؤولية الجنائية عليهما وفقًا لذلك (٢٢).

إذا ابتعدنا للحظة عن التعريف التقليدي بأن الفعل الإجرامي هو فعل إنساني بشكل طوعي (٢٣)، فإن هذا النموذج الثالث يمكن أن يخدم القضية. ومع ذلك، يجب تغيير بعض المبادئ الأساسية للقانون الجنائي لإدخال المسؤولية الجنائية لروبوتات الذكاء الإصطناعي في السلطات القضائية المختلفة. ويوجد بعض العلماء الآخرين الذين يعتبرون المسؤولية الجنائية لروبوت الذكاء الإصطناعي ليست بالزائدة عن الحاجة لأن الجهات البشرية الفاعلة قد تتحمل المسؤولية بالرغم من إن هؤلاء الفاعلين البشريين ليس لهم علاقة أحيانًا بقرار “الخطأ الأخلاقي” لروبوت الذكاء الإصطناعي (٢٤).

٣.٣. هل يجب أن يكون هناك قانون جنائي منفصل لروبوتات الذكاء الإصطناعي؟

هناك بعض الجدالات والمناقشات الجيدة في النظرية القانونية حول سبب ضرورة إيجاد قانون جنائي منفصل لروبوتات الذكاء الإصطناعي، فهذه الجدالات تستند إلى إمكانية تقديم قانون منفصل بشكل عملي. وقد تم الإقتراح بأن روبوتات الذكاء الإصطناعي قد لا تلتزم بنفس القواعد التي يتبعها البشر، وذلك لسببين، كما ذكرهما ينج هو (Ying Hu) (٢٥):

• قد تكون هناك حالات يمكن فيها فرض درجة أعلى من المعايير الأخلاقية على روبوتات الذكاء الإصطناعي وذلك بسبب مجال عملهم.
• قد تواجه روبوتات الذكاء الإصطناعي أسئلة أخلاقية لم يواجهها البشر في الماضي، على سبيل المثال، أثناء أداء واجبات يستحيل على البشر أدائها جسديًا.

إن وجود قانون جنائي منفصل، كما هو موضح، سوف تعود بالنفع على المجتمع نظرًا لأن التكنولوجيا تتطور بوتيرة سريعة، والتكنولوجيا تتغير وتتطور بشكل أسرع مما يمكن للجهات التنظيمية مواكبتها. كما تم مناقشة ضرورة أن يكون هناك تعديل على العقوبات العامة. إذا إفترضنا للحظة أن المجتمع قد تعامل بالفعل مع قضية المسؤولية الجنائية، واختار نموذجًا مناسبًا للمسؤولية أو حتى أنتج قانونًا جنائيًا منفصلاً لروبوتات الذكاء الإصطناعي، فإن الأسئلة المتعلقة بالعقوبات التي يجب فرضها على كيان الذكاء الإصطناعي ستبرز (٢٦).

الخلاصة

يتم تطوير الذكاء الاصطناعي والروبوتات بوتيرة سريعة. وعلى الرغم من وجود أنواع متعددة من الذكاء الاصطناعي، إلا إنها جميعًا تشترك في خصائص متشابهة مثل الاستقلال الذاتي، عدم القدرة على التنبؤ، وإنعدام المساءلة، ولديها درجة من الإبداع. هذه الميزات تشكل المشكلة حول الشخصية القانونية والمسؤولية الجنائية لروبوتات الذكاء الاصطناعي.

وقد نوقشت بالفعل الجوانب التنظيمية للروبوتات والذكاء الاصطناعي من قبل العديد من المشرعين ومؤسسات الاتحاد الأوروبي. فظهور التقنيات الجديدة دعت إلى تطوير القواعد لإزالة التعتيم المحيط بأدوار المصنعين، الموردين، علماء البيانات، والشركات المسؤولة عن إنشاء العوامل الاصطناعية (٢٧).

المراجع (References)

(1) Aida Ponce Del Castillo, A law on robotics and artificial intelligence in the EU? (2017, Foresight Brief).

(2) Chris Stokes, Why the three laws of robotics do not work (2018, International Journal of Research in Engineering and Innovation Vol. 2, Issue 2, pp. 121-126), pp. 121-122.

(3) European Parliament, European Civil Law Rules in Robotics (2016, European Parliament, European Civil Law Rules in Robotics-Study), pp. 6-7.

(4) Mark Fenwick, Marcelo Corrales, and Nikolaus Forgo, Robotics, AI and the Future of Law (2018, Kyushu University, Springer).

(5) S. M. Solaiman, Legal Personality of Robots, Corporations, Idols and Chimpanzees: A Quest for Legitimacy (2017, Artificial Intelligence and Law, 25(2), pp. 155-179), p. 159.

(6) Joanna J. Bryson et al, Of, for, and by the People: The Legal Lacuna of Synthetic Persons (2017, Artificial Intelligence and Law, 25(3), pp. 273-291), pp. 283-284.

(7) B. C. Chao, On Rights and Robots (2010, Dialogue, 52(2-3), pp. 97-102), p. 98.

(8)Joshua C. Gellers, Rights for Robots: Artificial intelligence, Animal and Environmental Law (2021, Routledge), p. 32.

(9) Iria Giuffrida, Fredric Lederer, and Nicolas Vermerys, A Legal Perspective on the Trials and Tribulations of AI: How Artificial Intelligence, the Internet of Things, Smart Contracts, and Other Technologies Will Affect the Law (2018, Case Western Reserve Law Review, Vol. 68, Issue 3, pp. 747-781).

(10) Agnieszka Krainska, Legal personality and artificial intelligence (2018, NewTechLaw). Available at: newtech.law/en/legal-personality-and-artificial-intelligence/ (Accessed: 17 September 2020).

(11) Bendert Zevenbergen et al, Appropriateness and Feasibility of Legal Personhood for AI Systems (2018, Semantic Scholar).

(12) Peter M. Asaro, Robots and Responsibility from a Legal Perspective (2007, University of Umea, Sweden).

(13) Jack M. Balkin, The Path of Robotics Law (2015, California Law Review Circuit, Vol. 16), p. 52.

(14) Nina Scholten, The Robo-Criminal (2019, 2 The Journal of Robotics, Artificial Intelligence and Law, pp. 263-283), p. 266

(15) Ignacio N. Cofone, Servers and Waiters: What Matters in the Law of AI (2018, 1 Stan. Tech. L. Rev. 167, pp. 167- 197).

(16) Ying Hu, Robot Criminals (2019, University of Michigan Journal of Law Reform, Volume 52:2, pp. 487-531).

(17) Matilda Claussen-Karlsson, Artificial Intelligence and the External Element of the Crime (2017, Örebro University).

(18) Ibid.

(19) Ibid.

(20) Gabriel Hallevy, The Basic Models of Criminal Liability of AI Systems and Outer Circles (2019, Ono Academic College, Faculty of Law, SSRN).

(21) Pedro Miguel Freitas,Francisco Andrade, and Paulo Novais, Criminal Liability of Autonomous Agents: from the unthinkable to the plausible (2014, Chapter from: AI Approaches to the Complexity of Legal Systems, Springer Berlin Heidelberg).

(22) Gabriel Hallevy, The Basic Models of Criminal Liability of AI Systems and Outer Circles (2019, Ono Academic College, Faculty of Law, SSRN).

(23) Britannica, The elements of crime (2020, Britannica). Available at: https://www.britannica.com/topic/criminal-law/The-elements-of-crime (Accessed: 17 September 2020).

(24)Ying Hu, Robot Criminals (2019, University of Michigan Journal of Law Reform, Volume 52:2, pp. 487-531).

(25) Ibid.

(26) Gabriel Hallevy, The Criminal Liabiltiy of Artificial Intelligence Entities- from Science Fiction to Legal Social Control (2010, Akron Intellectual Property Journal, Volume 4, Issue 2, pp. 171-201).

(27) European Parliament, European Civil Law Rules in Robotics (2016, European Parliament, European Civil Law Rules in Robotics-Study), pp. 9.