Веб-скрейпінг не навчить наступний ШІ

П'ятнадцять років одне неявне припущення несло весь сучасний ШІ: все, що потрібно моделі, вже є в Інтернеті — потрібно лише піти і взяти це. Це припущення вмирає. І разом з ним народжується абсолютно новий ринок — між тими, хто будує моделі завтрашнього дня, і тими, хто володіє даними реального світу.

Ось чому я вважаю, що 2026 рік стане роком, коли дані перестануть бути безкоштовною сировиною і стануть стратегічним активом, який продається.

1. Веб досягає своєї стелі — і починає отруювати себе

Переломний момент — це не думка. Це арифметика.

За даними Epoch AI, загальний запас високоякісного людського тексту, доступного публічно, становить близько 300 трильйонів токенів — і великі моделі вичерпають цей запас між 2026 і 2032 роками, з медіанним прогнозом близько 2028 року (Epoch AI, "Чи закінчаться у нас дані?", ICML 2024).

Це не турбота кількох ізольованих дослідників. У грудні 2024 року на NeurIPS Ілля Суцкевер — співзасновник OpenAI — прямо заявив: "Попереднє навчання, як ми його знаємо, закінчиться", тому що "обчислювальні потужності зростають, а дані не зростають, тому що у нас є лише один Інтернет". Він назвав дані "копалиною для ШІ": вони були створені один раз, ми їх спожили, і ми досягли "піку даних" (повідомлено The Verge, грудень 2024 року).

Гірше: джерело забруднюється. Дослідження, опубліковане в Nature (Shumailov et al., липень 2024 року), продемонструвало "колапс моделі" — модель, навчена рекурсивно на контенті, згенерованому ШІ, деградує і втрачає інформацію про реальний розподіл світу. І веб заповнюється саме таким контентом: за даними Graphite, частка опублікованих статей, згенерованих ШІ, випередила написані людьми ще в листопаді 2024 року (≈ 52% до травня 2025 року). Резервуар, з якого ми черпали, тепер заповнюється відображенням самих моделей.

І двері зачиняються. З 1 липня 2025 року Cloudflare — яка обслуговує приблизно п'яту частину вебу — блокує краулери ШІ за замовчуванням. З боку видавців майже половина всіх новинних сайтів тепер блокує щонайменше один краулер ШІ. З юридичної точки зору, справа The New York Times проти OpenAI (подана наприкінці 2023 року) пережила клопотання про відхилення у 2025 році і продовжується по суті.

Висновок з першої частини: ресурс, який зробив генеративний ШІ — безкоштовний публічний текст — стає скінченним, забрудненим, закритим і оскаржуваним одночасно.

2. Лабораторії вже почали платити

Найкращий доказ того, що скрейпінг більше не достатній, — це те, що компанії, які ним жили, дістають гаманці.

• OpenAI – News Corp: ліцензійна угода, за повідомленнями, коштує понад 250 мільйонів доларів за 5 років (повідомлено WSJ, травень 2024 року).
• Google – Reddit: приблизно 60 мільйонів доларів на рік за доступ до даних (повідомлено Reuters, лютий 2024 року).
• OpenAI – Axel Springer, Financial Times, Le Monde, Associated Press… каскад угод протягом 2024–2025 років, від "десятків мільйонів" до нерозголошених сум.

Тим часом будується інфраструктура ринку: Microsoft оголосила на початку 2026 року "Marketplace контенту видавців" для посередництва в ліцензуванні контенту між видавцями та розробниками ШІ. А приголомшлива оцінка Scale AI — ~$29 мільярдів після інвестицій Meta у розмірі ~$14,3 мільярда за ~49% частку (червень 2025 року) — говорить про просту річ: навчальні дані тепер є активом стратегічного рівня.

Повідомлення чітке. Дані більше не скрейпляться. Вони ліцензуються, обговорюються, купуються.

3. Справжня зміна: моделям завтрашнього дня не потрібен більше веб — їм потрібно щось інше

Ось пункт, який пропускають більшість аналізів.

Наступний рубіж ШІ — це не ще один LLM. Це світові моделі та фізичний ШІ: системи, які не просто маніпулюють мовою, а моделюють, симулюють і діють у реальному світі.

• NVIDIA запустила Cosmos на CES (січень 2025 року), сімейство світових фундаментальних моделей для фізичного ШІ. Дженсен Хуанг називає це "моментом ChatGPT для робототехніки". Ці моделі живляться петабайтами відео та сенсорних даних — NVIDIA стверджує, що обробила 20 мільйонів годин відео за 14 днів.
• Google DeepMind представила Genie 2 (грудень 2024 року), а потім Genie 3 (серпень 2025 року): моделі, здатні генерувати грабельні, інтерактивні світи для навчання втілених агентів.
• Фей-Фей Лі — хрещена мати комп'ютерного зору — залучила 230 мільйонів доларів ще у вересні 2024 року для World Labs, побудованих навколо "просторового інтелекту", а потім ще ~$1 мільярд у 2026 році.

Але ці моделі стикаються зі стіною, яку веб не може подолати. Не існує "Інтернету фізичної взаємодії", який можна було б скрейпити. Дані для навчання робототехніки залишаються крихітними: референтні набори даних у втіленому ШІ вимірюються сотнями тисяч демонстрацій (RT-1: ~130 000; VIMA: ~650 000), тоді як корпус зображень-мов, як LAION-5B, містить 5,7 мільярда. Дані реального світу повинні бути захоплені один жест, один сенсор, одна поїздка за раз.

Саме тому Tesla (понад 10 мільярдів сукупних миль FSD, травень 2026 року) і Waymo (понад 100 мільйонів автономних миль) розглядають свої автопарки як захищений актив: вони не в Інтернеті, їх не можна купити у брокера тексту — вони виробляються в реальному світі.

Даних, яких бракує наступному поколінню ШІ, ніколи не було онлайн. Вони знаходяться на заводах, автопарках, лікарнях, енергетичних мережах, ланцюгах поставок. Вони належать операторам, а не лабораторіям.

4. Те, що ми бачимо на місцях — і чому це двосторонній ринок

Ось де наша робота на d-nvest зустрічається з тезою — тому що ми не просто коментуємо її, ми її вимірюємо.

На нашій платформі ми на сьогоднішній день виявили 311 реальних власників даних — організацій, які виробляють, часто не усвідомлюючи цього, саме ті дані, які вимагає ШІ завтрашнього дня:

• 66% — це часові ряди (206 з 311) — датчики, телеметрія, журнали машин: сирий сигнал фізичного світу.
• Домінуючі сектори — промисловість (149), мобільність (91) та охорона здоров'я (24) — фізичний ШІ, а не веб-текст.
• Випадки використання читаються як дорожня карта промислового ШІ: прогнозоване технічне обслуговування (136), промисловий моніторинг (64), документна інтелектуальність (34), регуляторний RAG (19), діагностичний ШІ (15).
• З боку попиту покупці вже визначені за профілем: лабораторії фундаментальних моделей, команди комп'ютерного зору, розробники вертикальних LLM, постачальники промислового ШІ.
• Всі вони розподілені по ринках, що мають значення — Великобританія, Франція, США, Німеччина, Канада — і підкріплені майже 1000 прес-сигналами, що свідчать про реальну діяльність цих власників.

Ці резерви адресують ринки, які не є обіцянками: лише прогнозоване технічне обслуговування коштує ~$14 мільярдів у 2025 році (CAGR ~28%), промисловий IoT перевищує $480 мільярдів, промисловий ШІ ~$44 мільярди.

З одного боку, власники, що володіють дефіцитним ресурсом, який вони недовикористовують. З іншого боку, покупці — творці наступного покоління ШІ — готові платити за цей ресурс, як вже доводять їхні ліцензійні угоди. Чого бракує між ними, так це інфраструктури для пошуку відповідності, кваліфікації та довіри. Саме це ми і будуємо.

Підсумок

Веб-скрейпінг навчив поточне покоління моделей. Він не навчить наступне. Публічний текст є скінченним, він самозабруднюється і закривається. Світові моделі та фізичний ШІ вимагають іншого типу даних — реальних, операційних, мультимодальних — які ніколи не були опубліковані і ніколи не будуть.

Ці дані вже існують. Вони належать десяткам тисяч операторів, які часто не здогадуються, що володіють золотом наступного десятиліття ШІ.

Питання більше не в тому "де знайти дані". Воно в тому "як з'єднати тих, хто ними володіє, з тими, хто їх потребує". Це двосторонній ринок, і він тільки починається.

Якщо ви оператор, який виробляє промислові дані, дані мобільності або дані охорони здоров'я — або гравець у сфері ШІ, який шукає пропрієтарні набори даних реального світу — зараз саме час поговорити.

— Салім Лабрікі, d-nvest

Примітка до методології: суми ліцензійних угод — це ті, що повідомлені пресою (WSJ, Reuters, Bloomberg) і рідко офіційно підтверджені сторонами. Інвентарні показники (311 власників, модальності, сектори) походять з нашого власного картографування станом на 1 липня 20