كيفية تقييم وبيع مجموعات بيانات اللغات النادرة ولغة الإشارة

ميزة الندرة للبيانات غير الإنجليزية

بينما حققت نماذج اللغة الكبيرة (LLMs) طلاقة قريبة من البشر باللغة الإنجليزية، لا يزال انخفاض الأداء للغات "منخفضة الموارد" (LRLs) يمثل الحاجز الرئيسي أمام التبني العالمي للذكاء الاصطناعي. بالنسبة لأصحاب البيانات - المنظمات غير الحكومية، والمجموعات الإعلامية الإقليمية، والمؤسسات الأكاديمية - تمثل هذه الفجوة فرصة سيولة كبيرة. مع انتقال التكنولوجيا الكبرى من النماذج للأغراض العامة إلى التطبيقات فائقة التوطين، وصل القيمة السوقية لـ مجموعة لغوية نادرة مفقودة لتدريب الذكاء الاصطناعي إلى أعلى مستوياتها على الإطلاق.

التحدي التقني صارخ: يتم تدريب معظم نماذج الذكاء الاصطناعي على Common Crawl، والذي يتكون من أكثر من 45٪ باللغة الإنجليزية. في المقابل، لغات مثل الكيتشوا، أو الولوف، أو حتى اللهجات الإقليمية للغة العربية غير مرئية تقريبًا في هذه المجموعات. وفقًا لبحث Meta "No Language Left Behind" (NLLB)، الذي وسع قدرات الترجمة إلى 200 لغة (https://ai.meta.com/research/no-language-left-behind/)، فإن تكلفة الحصول على أزواج جمل عالية الجودة ومتحقق منها بشريًا للغات النادرة يمكن أن تكون أعلى بـ 10 إلى 20 مرة منها للغات عالية الموارد بسبب نقص البصمات الرقمية الموجودة.

تحديد مستويات قيمة الأصول اللغوية

لا يتم تسعير جميع البيانات اللغوية بالتساوي. يقوم المشترون - الذين يتراوحون من صناديق الذكاء الاصطناعي السيادية إلى عمالقة التكنولوجيا العالميين - بتصنيف البيانات بناءً على "مستوى مواردها". إذا كنت تتطلع إلى إدراج أصولك في فهرس مجموعات البيانات، فيجب عليك أولاً تحديد مكان مجموعتك على مقياس الندرة:

• المستوى 1: عالي الموارد (الإنجليزية، الإسبانية، الماندرين). حجم كبير، سعر وحدة منخفض (0.01 دولار - 0.05 دولار لكل جملة).
• المستوى 2: متوسط الموارد (التركية، الفيتنامية، البولندية). ندرة معتدلة، طلب تجاري متزايد.
• المستوى 3: منخفض الموارد (السواحيلية، البنغالية، الأمهرية). طلب مرتفع للتوطين؛ غالبًا ما تنتقل الأسعار إلى نماذج لكل ساعة أو لكل ألف كلمة.
• المستوى 4: غير مخدوم بشكل حرج (اللغات الأصلية، لغات الإشارة). غالبًا ما تحقق هذه الأصول أسعارًا "مخصصة"، حيث يمكن لمجموعة واحدة عالية الجودة أن تؤدي إلى صفقة استحواذ بستة أرقام.

لغة الإشارة: حدود البيانات عالية المخاطر

تعد مجموعات بيانات لغة الإشارة حاليًا الأصول الأقل قيمة والأكثر تعقيدًا من الناحية الفنية في السوق. على عكس اللغات منخفضة الموارد القائمة على النصوص، تتطلب لغة الإشارة بيانات متعددة الوسائط: فيديو عالي الدقة، التقاط حركة ثلاثي الأبعاد، ومحاذاة زمنية دقيقة. تسلط مبادرة Google "1,000 لغة" (https://blog.google/technology/ai/ways-ai-is-scaling-intentions/) الضوء على الجهد الهائل للحوسبة وجمع البيانات المطلوب لجلب هذه اللغات إلى مجال الذكاء الاصطناعي.

بالنسبة لأصحاب أرشيفات فيديو لغة الإشارة، تكمن القيمة في البيانات الوصفية. الفيديو الخام لشخص يقوم بالإشارة لا يساوي الكثير؛ الفيديو المتزامن مع شروحات نصية وبيانات تتبع الهيكل العظمي هو منجم ذهب. تتراوح تقديرات السوق الحالية للبيانات المكتوبة باحترافية للغة الإشارة من 400 دولار إلى 1200 دولار لكل ساعة فيديو، اعتمادًا على تعقيد الإيماءات وندرة لغة الإشارة الوطنية المحددة (مثل ASL مقابل LSF مقابل Auslan).

إطار القرار لأصحاب البيانات

قبل الدخول في مفاوضات، يجب على أصحاب البيانات تدقيق مجموعاتهم مقابل ثلاثة معايير محددة تدفع عائد الاستثمار للمشترين:

1. المصدر والحقوق: هل تمتلك حقوق الطبع والنشر للكلام أو النص الأساسي؟ يطلب مشترو الذكاء الاصطناعي الآن "سلسلة ملكية نظيفة" صارمة للامتثال لالتزامات الشفافية لقانون الذكاء الاصطناعي للاتحاد الأوروبي.
2. التنوع اللهجي: هل تلتقط البيانات الكلام "الطبيعي"؟ غالبًا ما تفشل النماذج المدربة على بث الأخبار الرسمي في تطبيقات الدردشة الواقعية. تحمل مجموعات البيانات التي تحتوي على العامية، واللهجات الإقليمية، والحوار غير الرسمي علاوة بنسبة 30٪.
3. مستوى التحقق: هل البيانات "معيار ذهبي" (تم التحقق منها بواسطة متحدثين أصليين) أم "معيار فضي" (مترجمة آليًا وتم فحصها بشريًا)؟ يوضح مشروع Common Voice من Mozilla، الذي يستضيف أكثر من 30 ألف ساعة من الصوت عبر 100+ لغة (https://commonvoice.mozilla.org/en/datasets)، أن البيانات التي تم التحقق منها من قبل المجتمع هي المعيار لدقة النموذج.

ما يعنيه هذا بالنسبة لك

إذا كنت تمتلك مجموعة لغة ممثلة تمثيلاً ناقصًا أو أرشيفًا للغة الإشارة، فأنت تمتلك أصلًا غير قابل للتكرار. مع استنفاد البيانات "السهلة" (المجمعة من الويب باللغة الإنجليزية)، تضطر صناعة الذكاء الاصطناعي إلى شراء طريقها إلى الأسواق اللغوية المتخصصة. بالنسبة للمالكين، يعني هذا التحول من عقلية قائمة على الحجم إلى مفاوضات قائمة على الندرة. بالنسبة للمشترين، يعني ذلك تأمين اتفاقيات ترخيص طويلة الأجل الآن قبل أن تقيد اللوائح الإقليمية أو قوانين سيادة البيانات عبر الحدود تدفقات البيانات عبر الحدود. يتيح لك إدراج أصولك على d-nvest الإشارة إلى هذه الندرة للمشترين المؤسسيين الذين يبحثون عن الحدود التالية لأداء النموذج.