Створення проти купівлі: коли зовнішні дані варті витрат на придбання?

У нинішній гонці озброєнь ШІ дилема «створення проти купівлі» змістилася з програмного забезпечення на сировину, що його живить: дані. Для керівників організацій питання полягає вже не лише в обсязі, а й у швидкості продуктивності моделі. Хоча внутрішні дані забезпечують конкурентну перевагу, зовнішні дані часто є мостом, необхідним для подолання проблеми «холодного старту» в машинному навчанні. Розуміння pourquoi et quand acheter de la donnée externe тепер є основною компетенцією будь-якого директора з даних.

1. Економічний поріг: коли купівля дешевша за створення

Основний драйвер придбання даних – це «Загальна вартість володіння» (TCO) конвеєра даних. Створення внутрішнього конвеєра включає інженерні години, витрати на зберігання та, що найважливіше, вартість людського втручання (HITL) для маркування. Наприклад, високоякісне RLHF (навчання з підкріпленням на основі зворотного зв'язку від людини) може коштувати значно дорожче, ніж придбання попередньо маркованих, специфічних для домену наборів даних.

Згідно з галузевими звітами, ринок збору та маркування даних оцінювався приблизно в 2,22 мільярда доларів США у 2022 році, і прогнозується його значне зростання (https://www.grandviewresearch.com/industry-analysis/data-collection-labeling-market). Коли вартість внутрішнього придбання – з урахуванням часу виходу на ринок – перевищує ліцензійний збір преміального набору даних, рішення «Купити» стає математично обов'язковим. Для багатьох фірм перегляд каталогу наборів даних показує, що ціна багаторічної ліцензії часто менша за шестимісячну заробітну плату виділеної команди інженерів даних.

2. Вирішення проблем «холодного старту» та граничних випадків

Внутрішні дані за своєю суттю упереджені існуючою клієнтською базою та операційною історією вашої компанії. Це створює «сліпі зони» в моделях ШІ. Придбання зовнішніх даних є найефективнішим способом вирішення двох конкретних технічних перешкод:

• Холодний старт: Запуск прогнозної моделі на новій території або у вертикалі, де у вас немає жодних історичних транзакцій.
• Збагачення граничних випадків: Покращення стійкості моделі шляхом придбання рідкісних «довгохвостих» точок даних, які надто рідко трапляються у ваших власних системах, щоб бути статистично значущими.

Яскравим прикладом є сектор автономних транспортних засобів, де компанії купують петабайти синтетичних та реальних сенсорних даних для навчання на рідкісних погодних явищах. У медіа-просторі угода OpenAI з News Corp, оцінена більш ніж у 250 мільйонів доларів США протягом п'яти років (https://www.reuters.com/technology/news-corp-signs-multi-year-deal-with-openai-2024-05-22/), демонструє, що навіть найбільші лабораторії ШІ не можуть покладатися виключно на зібрані або внутрішні дані для досягнення високих можливостей міркування.

3. Регуляторний арбітраж та премія за «чисті дані»

Впровадження EU Data Act та мінливий ландшафт GDPR перетворили «безкоштовні» зібрані дані на високоризиковану відповідальність. Купівля даних у надійного брокера або безпосередньо у джерела забезпечує «ланцюг власності», який є важливим для ШІ інституційного рівня. Це зсув від «кількості даних» до «походження даних».

Підтверджені транзакції показують, що платформи готові платити премію за юридично очищені дані. Наприклад, Reddit уклав угоду про ліцензування даних з Google на суму приблизно 60 мільйонів доларів США на рік (https://www.reuters.com/technology/reddit-ai-content-licensing-deal-with-google-sources-say-2024-02-22/). Для покупця ці 60 мільйонів доларів – це не лише за текст; це за юридичне право використовувати цей текст без ризику судових позовів щодо авторських прав або претензій щодо «отруєння даних».

4. Матриця прийняття рішень «створення проти купівлі»

Щоб визначити, чи варто вам укладати угоду щодо даних, оцініть ці три критерії:

• Швидкість: Чи скоротить купівля цих даних ваш цикл досліджень та розробок на 6+ місяців? Якщо так, купуйте.
• Ексклюзивність: Чи доступні дані як невиключна ліцензія (дешевше) чи ексклюзивне придбання (дорожче, але забезпечує перевагу)?
• Точність: Чи має зовнішній набір даних перевірену істинну відповідність, яку ваші внутрішні датчики/журнали не можуть відтворити?

Галузеві аналітики Gartner раніше оцінювали, що до 2024 року 60% даних для ШІ будуть синтетичними або зовнішніми, щоб прискорити ініціативи цифрового бізнесу (https://www.gartner.com/en/newsroom/press-releases/2021-06-24-gartner-identifies-top-10-data-and-analytics-technology-trends-for-2021). Хоча рік минув, тенденція лише посилилася, оскільки спеціалізований «вертикальний ШІ» виходить на перший план.

Що це означає для вас

Для покупців даних ринок рухається до прозорості. Не створюйте те, що можна ліцензувати за частку інженерних витрат. Використовуйте d-nvest для порівняння цін та перевірки походження. Для власників даних ваші «вихлопні дані» – інформація, згенерована вашим основним бізнесом – ймовірно, є високоприбутковим активом для проблеми «холодного старту» когось іншого. Розміщення ваших активів на d-nvest дозволяє вам отримати вигоду з цього попиту за допомогою професійних юридичних та технічних рамок.