النظام البيئي لعلم البيانات

نقل الخوارزميات إلى البيانات

شكل ٣-٢: العملية التقليدية لإنشاء نماذج تنبؤية وتحديد قِيَم للبيانات.

تُقدِّم تجربة أُجْرِيَتْ في معهد دبلن للتكنولوجيا بخصوص إنشاء نموذج انحدارٍ خطِّي مثالًا على الوقت المستغرق في كل مرحلةٍ من العملية. يُقضى من ٧٠ إلى ٨٠ بالمائة من الوقت تقريبًا في استخراج البيانات وتجهيزها؛ أما الوقت المتبقي فيُقضى في إنشاء النماذج. ومن أجل تحديد قيمة البيانات، يُقضى ٩٠ بالمائة من الوقت تقريبًا في استخراج البيانات وحفظ مجموعة البيانات التي حُدِّدت قيمتها مرةً أخرى في قاعدة البيانات؛ ويُقضى ١٠ بالمائة فقط من الوقت في تحديد القِيَم فعليًّا. وتستند هذه النتائج إلى مجموعات البيانات التي تتكوَّن من عددٍ يتراوح ما بين ٥٠ ألف سجلٍّ وحتى ١٫٥ مليون سجل. ولقد أدرك أغلب مُقدمي خدمات قواعد البيانات للشركات الوقت الذي يتمُّ توفيره إذا لم يُقضَ الوقت في نقل البيانات ولقد حلُّوا هذه المشكلة من خلال دمج وظيفة تحليل البيانات وخوارزميات تعلُّم الآلة في مُحركات قواعد البيانات الخاصة بهم. وتستكشف الأقسام التالية من هذا الفصل كيف تُدمج خوارزميات تعلُّم الآلة في قواعد البيانات الحديثة، وكيف يعمل تخزين البيانات في عالَم البيانات الضخمة الخاص بمنصة هادوب، وكيف يُتيح الاستعانة بمزيجٍ من هذَين المنهجَين للمؤسسات العمل بسهولة ويُسر مع جميع بياناتها باستخدام لغة الاستعلام الهيكلية بوصفها لغةً مشتركة للوصول إلى البيانات والتحليل وأداء تعلُّم الآلة والتحليلات التنبُّؤية في الوقت الفعلي.

قاعدة البيانات التقليدية أم قاعدة البيانات التقليدية الحديثة

البنية التحتية للبيانات الضخمة

على الرغم من أن قاعدة البيانات التقليدية (الحديثة) تتَّسم بفعالية مذهلة في معالجة بيانات المعاملات التجارية، فإن الحاجة تدعو إلى وجود بِنية تحتية جديدة لإدارة جميع أشكال البيانات وتخزينها على المدى الطويل في عصر البيانات الضخمة. ويمكن لقاعدة البيانات التقليدية المعاصرة أن تتعامل مع أحجام البيانات الكبيرة والتي يصل حجمها إلى بِضع بيتابايت؛ إلا أنه ربما تُصبح حلول قواعد البيانات باهظةً على نحوٍ تعجيزي بالنسبة إلى هذا الحجم من البيانات. وعادةً ما يُشار إلى مشكلة التكلفة هذه ﺑ «التوسُّع العمودي». في نموذج البيانات التقليدي، كلما زادت كمية البيانات التي تُضطَر إحدى المؤسسات إلى تخزينها ومعالجتها خلال فترة زمنية معقولة، زاد حجم وحدة خدمة قاعدة البيانات اللازمة لذلك، وفي المقابل زادت التكلفة من أجل إعدادات وحدة الخدمة وترخيص قاعدة البيانات. ربما تستطيع المؤسسات استيعاب والاستعلام عن مليار سجلٍّ بصفة يومية/أسبوعية باستخدام قواعد البيانات التقليدية، غير أنها ربما تُضطَر إلى استثمار أكثر من ١٠٠ ألف دولار فقط لشراء العتاد اللازم لإجراء هذا الحجم من المعالجة.

تُعَد هادوب منصة مفتوحة المصدر طورتها وأطلقتها مؤسسة أباتشي للبرمجيات. وهي منصة مُجربة لاستيعاب وتخزين أحجام مهولة من البيانات بطريقة فعَّالة وقد تكون أقل تكلفةً بكثير من منهج قاعدة البيانات التقليدية. في منصة هادوب، تُقسَّم البيانات وتُجزَّأ بطرقٍ متنوعة، وتُوزَّع هذه الأجزاء من البيانات عبر العقد على منصة هادوب. تُعالِج أدوات التحليل المتنوعة التي تتعامل مع منصة هادوب البيانات الموجودة على كل عقدة من العُقَد (في بعض المثيلات يمكن أن تتواجد هذه البيانات على الذاكرة)، مما يُتيح معالجةً سريعة للبيانات نظرًا إلى أن عمليات التحليل تتم بالتوازي عبر العُقَد. ولا حاجة لاستخراج البيانات أو لعمليات «الاستخراج والتحويل والتحميل». تُجرى عملية تحليل البيانات حيث يتمُّ تخزينها.

عالَم قواعد البيانات المختلطة

إذا كانت إحدى المؤسسات لا تمتلك بيانات بالحجم والمقدار اللازمَين للاستعانة بمنصة هادوب، سيتطلب الأمر برنامج قواعدِ بياناتٍ تقليديًّا لإدارة بياناتها. ومع ذلك، تذكر بعض المؤلَّفات أن أدوات تخزين ومعالجة البيانات المتاحة في عالم هادوب ستحلُّ محلَّ قواعد البيانات الأكثر تقليديةً. ومِن الصعب جدًّا رؤية حدوث هذا، وفي الآونة الأخيرة صار هناك الكثير من المناقشات الدائرة حول اتِّباع منهج أكثرَ توازنًا لإدارة البيانات فيما يُسمى «عالَم قواعد البيانات المختلطة». وهذا العالَم هو المكان الذي تُوجَد فيه قواعد البيانات التقليدية وعالَم هادوب معًا.

شكل ٣-٣: قواعد البيانات ومستودعات البيانات ومنصة هادوب وهي تعمل معًا (مُستوحًى من شكلٍ في مستنَدٍ تقني صادرٍ عن منصة بيانات جلونت، ٢٠١٧، https://gluent.com/wp-content/uploads/2017/09/Gluent-Overview.pdf).

تجهيز البيانات ودمجها

يشمل دمج البيانات استخراج البيانات من مصادرها المختلفة ودمجها معًا لتوفر رؤية موحدة للبيانات من مختلف أقسام المؤسسة. وتُعد السجلات الطبية مثالًا جيدًا على هذا الدمج. كوضعٍ مثالي، من المفترض أن يكون لكل شخصٍ سجل صحِّي واحد، وأن يستخدم كلُّ مستشفًى أو منشأة طبية أو طبيب مُمارس عام رقم التعريف نفسه للمريض أو وحدات القياس نفسها، ونظام التصنيف نفسه، وهكذا. ولكن لسوء الحظ، يمتلك كل مستشفًى تقريبًا نظامه المستقل لإدارة شئون المرضى، وكذلك كل مُختبر من المختبرات الطبية داخل المستشفى. تأمُل التحديات الكامنة في العثور على سجل أحد المرضى وتحديد النتائج الصحيحة للمريض الصحيح. وهذه هي التحديات التي يُواجهها مستشفًى واحد فحسب. وفي السيناريوهات التي تتشارك فيها مستشفيات متعددة في بيانات المرضى، تُصبح مشكلة الدمج مشكلةً عويصة. وبسبب هذا النوع من التحديات، تستغرق المراحل الثلاث الأولى من العملية القياسية المتعددة المجالات للتنقيب في البيانات (كريسب-دي إم) من ٧٠ إلى ٨٠ بالمائة من إجمالي زمن مشروع علم البيانات، مع تخصيص غالبية هذا الوقت لعملية دمج البيانات وحدها.

يُعَد دمج البيانات من عدة مصادر أمرًا صعبًا حتى عندما تكون البيانات هيكلية. ومع ذلك، عندما يتعلق الأمر ببعض مصادر البيانات الضخمة الأحدث، حيث تكون البيانات شِبه الهيكلية أو غير الهيكلية هي القاعدة، فإن تكلفة دمج البيانات وإدارة البِنية التحتية يمكن أن تُصبح كبيرة. وتُعد بيانات العملاء مثالًا توضيحيًّا على تحديات دمج البيانات. يمكن أن تُوجَد بيانات العملاء في العديد من التطبيقات المختلفة (وقواعد البيانات المقابلة لتلك التطبيقات). سيحتوي كل تطبيقٍ على جزء مختلف قليلًا من بيانات العملاء. على سبيل المثال، قد تحتوي مصادر البيانات الداخلية على التصنيف الائتماني للعميل، ومبيعات العميل، والمدفوعات، ومعلومات الاتصال الخاصة بمركز الاتصال، إلى آخِره. وربما تُتاح أيضًا بيانات إضافية عن العميل من مصادر البيانات الخارجية. في هذا السياق، يستلزِم تكوين رؤية متكاملة عن العميل استخراج البيانات من كلِّ مصدرٍ من هذه المصادر ودمجها معًا.

ستتضمَّن عملية دمج البيانات النموذجية عددًا من المراحل المختلفة، تتكوَّن من استخراج البيانات وتنظيفها وتوحيدها ونقلها وفي النهاية دمجها لتكوين نسخةٍ موحدة واحدة من البيانات. يمكن أن يكون استخراج البيانات من مصادر البيانات المتعددة أمرًا صعبًا لأن العديد من مصادر البيانات لا يمكن الوصول إليها إلا باستخدام واجهة معينة خاصة بذلك المصدر. ونتيجة لذلك، يجب أن يتمتع علماء البيانات بمجموعة واسعة من المهارات حتى يكونوا قادرين على التفاعل مع كل مصدر من مصادر البيانات من أجل الحصول على البيانات.

وبمجرد أن تُستخرَج البيانات من المصدر، يجب التحقُّق من جودة البيانات. وتنظيف البيانات هي عملية اكتشاف البيانات التالِفة أو غير الدقيقة، أو تنظيفها، أو استبعادها من البيانات المستخرَجة. على سبيل المثال، ربما يتعيَّن تنظيف معلومات عنوان العميل من أجل تحويلها إلى صيغةٍ موحدة. بالإضافة إلى ذلك، ربما يكون هناك بيانات مُكررة في مصادر البيانات، في تلك الحالة من الضروري تحديد سجلِّ العميل الصحيح الذي يجب استخدامه وإزالة جميع السجلات الأخرى من مجموعات البيانات. ومن المهم التأكُّد من أن القِيَم المستخدمة في مجموعة البيانات مُتماثلة. على سبيل المثال، ربما يستخدِم أحدُ تطبيقات المصدر قِيمًا عددية لتمثيل التصنيف الائتماني للعميل؛ في حين يستخدِم تطبيقٌ آخَرُ مزيجًا من القِيَم العددية والحروف. في هذا السيناريو، يجب اتخاذ قرارٍ بشأن نوع القيم التي ستُستخدَم، وبعد ذلك تغيير القِيم التي يختلف نوعها عن النوع الذي حُدِّد لهذا العنصر. على سبيل المثال، تخيَّل أن إحدى السِّمات في مجموعة البيانات هي مقاس حذاء العميل. يمكن أن يشتري العملاء أحذيةً من مختلف المناطق حول العالم، غير أن النظام العددي المستخدَم لتحديد مقاسات الأحذية في أوروبا يختلف قليلًا عن ذلك المستخدم في الولايات المتحدة والمملكة المتحدة وغيرها من الدول. وقبل إجراء تحليل البيانات ونمذجتها، يجب توحيد قيم هذه البيانات.

وينطوي نقل البيانات على تغيير البيانات أو تجميعها من قيمة إلى أخرى. ويمكن استخدام مجموعة متنوعة من التقنيات أثناء هذه الخطوة وتشمل تسوية البيانات وتوزيعها في فئاتٍ وتطبيعها وكذلك كتابة كودٍ مُخصص لإجراء عملية نقلٍ مُعينة. ويتضح مثال شائع على نقل البيانات في عملية معالجة عُمر أحد العملاء. في الكثير من مهام علم البيانات، التمييز الدقيق بين أعمار العملاء ليس مفيدًا بشكلٍ خاص. فالفارق بين عميلٍ في عمر الثانية والأربعين وآخر في الثالثة والأربعين ليس مُهمًّا بوجهٍ عام، على الرغم من أن التمييز بين عميلٍ في الثانية والأربعين وآخر في الثانية والخمسين قد يكون مفيدًا. ونتيجة لذلك، غالبًا ما يُنقل عمر العميل من العمر الأصلي إلى فئةٍ عمرية عامة. وتُعَد هذه العملية لتحويل الأعمار إلى فئاتٍ عمرية مثالًا على تقنية نقل بيانات تُسمى «التوزيع في فئات». وعلى الرغم من أن التوزيع في فئات هي عملية مباشرة نسبيًّا من المنظور التقني، فإن التحدي هنا يتمثل في تحديد الحدود الأفضل لنطاق الفئة لتطبيقه أثناء عملية التوزيع في فئات. وقد يؤدي تطبيق الحدود الخاطئة إلى حجب فروقٍ مُهمة في البيانات. ومع ذلك، ربما يستلزم العثور على الحدود المناسبة معرفةً خاصة بالمجال أو الاعتماد على التجربة والخطأ.

وتتمثل الخطوة الأخيرة للدمج في إنشاء البيانات التي تُستخدَم كمدخلاتٍ لخوارزميات تعلُّم الآلة. وتُعرف هذه البيانات ﺑ «الجدول الرئيسي للتحليل».

إنشاء الجدول الرئيسي للتحليل

أهم خطوة في إنشاء الجدول الرئيسي للتحليل هي اختيار السمات التي ستُضمَّن في التحليل. يعتمد الاختيار على معرفة المجال وعلى تحليل العلاقات بين السمات. فلنضرب مثلًا بسيناريو يُركز التحليل فيه على عملاء إحدى الخدمات. في هذا السيناريو، يُعتبر من المفاهيم الشائعة الاستخدام في المجال والتي ستجعل تصميمك واختيارك للسمات مُستنيرًا تفاصيل التعاقد مع العميل والمعلومات الديموغرافية والاستخدام والتغيرات الطارئة على الاستخدام، والاستخدام الخاص، والمرحلة الحالية في العملية القياسية المتعددة المجالات للتنقيب في البيانات، وروابط الشبكة، وما إلى ذلك. وعلاوة على ذلك، من المرجَّح أن تكون السمات التي وُجد أنها مرتبطة ارتباطًا كبيرًا بالسمات الأخرى متكررة ومن ثم ينبغي استبعاد واحدة من السمات المترابطة. وقد يسفر حذف السمات المتكررة عن نماذج أبسط يسهل فهمها، ويُقلل أيضًا من احتمالية إنتاج خوارزمية تعلُّم الآلة نموذجًا يتناسَب مع أنماطٍ زائفة في البيانات. تحدد مجموعة السمات المختارة لتضمينها ما يُعرف باسم «سجل التحليل». ويشمل سجل التحليل عادة كلًّا من السمات الخام والسمات المشتقة على حدٍّ سواء. وكل مثيل في الجدول الرئيسي للتحليل يُمثله سجل تحليل واحد، ومن ثم فإن مجموعة السمات المتضمنة في سجل التحليل تُحدد شكل المثيلات التي سيُجرى عليها التحليل.

وبعد أن صُمِّم سجل التحليل، يجب استخراج مجموعة من السجلات وتجميعها لإنشاء مجموعة بيانات مناسبة للتحليل. وعندما تُنشأ هذه السجلات وتخزَّن — في قاعدة بيانات مثلًا — يُشار عمومًا إلى مجموعة البيانات هذه ﺑ «الجدول الرئيسي للتحليل». وهذا الجدول عبارة عن مجموعة البيانات المستخدمة كمدخلاتٍ في خوارزميات تعلُّم الآلة. يقدم الفصل التالي مجال تعلُّم الآلة ويصف بعضًا من أشهر خوارزميات تعلُّم الآلة المستخدمة في علم البيانات.