نقلت المؤسسات أحمال العمل التحليلية الضخمة إلى مستودعات البيانات السحابية وبحيرات البيانات، متوقعةً المرونة وسرعة الوصول إلى المعلومات. لكن العديد من الفرق تواجه بدلاً من ذلك ارتفاعاً في فواتير الحوسبة، وتكراراً في مساحة التخزين، ونقصاً في استخدام مجموعات الحوسبة. على سبيل المثال، يكتشف عملاء Snowflake باستمرار إنفاقاً مفرطاً مرتبطاً بمستودعات البيانات الافتراضية الخاملة والاستعلامات غير المُحسَّنة. ويواجه مستخدمو Databricks ضغوطاً مماثلة نتيجةً لعدم كفاءة مهام Spark وتكرار البيانات المفرط عبر البيئات المختلفة.
تشير تقديرات غارتنر إلى أن المؤسسات تهدر مبالغ كبيرة من إنفاقها على الحوسبة السحابية بسبب سوء إدارة أعباء العمل والموارد غير المستغلة. وتُعدّ منصات البيانات مصدراً رئيسياً لهذا الهدر، نظراً لأن مسارات استيعاب البيانات، وأعباء عمل الذكاء الاصطناعي، ولوحات معلومات ذكاء الأعمال تعمل باستمرار عبر المناطق ووحدات الأعمال المختلفة.
أصبح تحسين التكاليف يعتمد الآن على الانضباط المعماري بدلاً من مجرد توسيع نطاق الحوسبة السحابية.
كيف تُقلل حلول البيانات الضخمة من تكاليف مستودعات البيانات السحابية وبحيرات البيانات؟
تفصل حلول البيانات الضخمة الحديثة أحمال العمل بناءً على زمن الاستجابة والتزامن وأولوية العمل. عادةً ما تواجه المؤسسات التي تدير لوحات معلومات مالية وتدريب نماذج الذكاء الاصطناعي وتحليلات البيانات المتدفقة داخل مجموعات الحوسبة المشتركة مشكلة التنافس على الموارد وارتفاع تكاليف المعالجة.
تُقلل بنية "بحيرة البيانات" من النفقات العامة بفصل التخزين عن الحوسبة. ويمكن للفرق توسيع نطاق مجموعات المعالجة بشكل مستقل مع الحفاظ على إمكانية الوصول إلى مجموعات البيانات المركزية. وأفادت شركة داتابريكس بأن مستودعات SQL بدون خوادم وإدارة أحمال العمل الذكية تُقلل من احتكاك البنية التحتية لبيئات التحليلات عالية التزامن.
كما تُقلل المؤسسات من نفقاتها من خلال تطبيق سياسات التعليق التلقائي، ومجموعات الحوسبة المؤقتة، وحدود تنفيذ الاستعلامات. وقد خفضت إحدى شركات البيع بالتجزئة التي تُعالج بيانات معاملات العملاء عبر مناطق متعددة تكاليف المستودعات الشهرية بعد تطبيق الإنهاء التلقائي للمجموعات خلال فترات الخمول.
يتطلب نمو سعة التخزين إدارة دورة الحياة
يؤدي التوسع في سعة التخزين بهدوء إلى زيادة الإنفاق على الحوسبة السحابية على المدى الطويل. تتراكم بيانات القياس عن بُعد الخام، وموجزات إنترنت الأشياء، وبيانات تدفق النقرات، ومجموعات بيانات تدريب الذكاء الاصطناعي بسرعة عبر بيئات الحوسبة السحابية.
تعتمد المؤسسات الكبيرة بشكل متزايد على تصنيف البيانات بناءً على معدل استخدامها. تبقى مجموعات البيانات التي يتم الاستعلام عنها بشكل متكرر في وحدات تخزين عالية الأداء، بينما تنتقل السجلات التاريخية إلى مستويات تخزين أقل تكلفة. تعمل بنية دلتا ليك وأباتشي آيسبرغ على تبسيط سياسات دورة حياة البيانات، لأن البيانات الوصفية تظل مركزية عبر مجموعات البيانات المهيكلة وشبه المهيكلة.
يُحقق الضغط وإزالة البيانات المكررة وفورات ملموسة. فقد خفضت شركات الخدمات المالية التي تعالج مليارات الأحداث السوقية يوميًا استهلاكها للتخزين بعد دمج مجموعات بيانات Parquet المتكررة في مستودعات تخزين مُدارة.
أصبح تحسين الاستعلامات مسألة تتعلق بالإيرادات
يؤدي سوء تصميم استعلامات SQL والإفراط في مسح البيانات إلى أوجه قصور تشغيلية كبيرة. تعتمد أسعار مزودي الخدمات السحابية على مدة تنفيذ العمليات الحسابية، أو حجم البيانات الممسوحة ضوئيًا، أو وقت تشغيل مستودع البيانات. وتؤثر الاستعلامات غير الفعالة بشكل مباشر على هوامش الربح.
تستخدم فرق الهندسة بشكل متزايد منصات مراقبة الاستعلامات لتحديد أحمال العمل المكلفة. ويساهم تقليم الأقسام، والعروض المادية، وطبقات التخزين المؤقت، ومحركات التنفيذ المتجهة في تقليل استهلاك الموارد بشكل كبير عبر بيئات التحليل.
تتطلب تحليلات البيانات المتدفقة تحسينًا دقيقًا. تتطلب أنظمة كشف الاحتيال في الوقت الفعلي ومحركات التوصيات تنفيذًا منخفض التأخير دون الحاجة إلى تخصيص موارد زائدة. تحقق المؤسسات التي تتبنى بنى تعتمد على الأحداث مع Kafka وأنظمة تدفق بيانات مضغوطة كفاءة معالجة أفضل في ظل أحمال العمل ذات الأحجام الكبيرة.
تُعيد FinOps تشكيل عمليات بيانات المؤسسات
تمتد ممارسات إدارة العمليات المالية الآن بشكل عميق إلى هندسة التحليلات. تراقب فرق البيانات تكلفة كل لوحة معلومات، وتكلفة كل دورة تدريب نموذج، وأنماط استهلاك مستوى عبء العمل بدلاً من مراجعة فواتير السحابة الإجمالية.
تُولي المؤسسات اهتماماً متزايداً لربط ملكية المنصات بالمساءلة المالية. وتحصل وحدات الأعمال التي تستخدم موارد تحليلية واسعة النطاق على رؤية واضحة لسلوك الاستعلامات، ونمو التخزين، واتجاهات المعالجة. وتُحسّن هذه الشفافية الحوكمة وتحدّ من التوسع غير المنضبط عبر البيئات المختلفة.
يمكنك الوصول إلى الشركات التي تبحث في تحديث مستودعاتها، وتحسين تحليلات البيانات المدفوعة بمنهجية FinOps، وترقيات البنية التحتية للبيانات القابلة للتوسع من خلال التسويق القائم على النية. برامج توليد العملاء المحتملين تحويلًا أسرع عبر حسابات التكنولوجيا ذات القيمة العالية.
