Ваш корпус рідкісної мови недоступний для ШІ

Штучний інтелект за замовчуванням англомовний: він був навчений на основі Інтернету, де домінують кілька основних мов. Для діалектів, регіональних мов та мов жестів навчальних даних залишається масово недостатньо. І на відміну від англійської, в Інтернеті майже нічого не можна знайти для малописемної або малоцифрованої мови: дані повинні бути створені, записані, а потім транскрибовані вручну.

Ці зусилля мають свою вартість, яка саме і створює цінність. Транскрибування години аудіо на недопредставленій мові може зайняти близько 30-36 годин людської праці, тоді як для англійської потрібна лише частка цього часу (arXiv, 2025). Щодо ціни, якісне анотовані аудіо коштує близько 90-180 доларів за годину аудіо англійською, з премією у 3-6 разів для спеціалізованих або рідкісних мов.

Зацікавлені сторони виробляють, часто не усвідомлюючи цього, рідкісну мову: багатомовні або діалектні кол-центри, регіональні ЗМІ та місцеві радіостанції, асоціації глухих та служби перекладу жестової мови, а також освітній сектор, перекладачі та мовні спільноти. Цінність мають аудіо- або відеозаписи разом з їхньою транскрипцією: мовлення рідкісною мовою або діалектом, анотовані відео жестовою мовою, спонтанне мовлення дітей, старших людей або польові записи.

Мовні дані стосуються людей та спільнот: етична рамка — явна згода, анонімізація, повага до спільноти — не є опцією, і саме це робить дані доступними для передачі та, отже, цінними. Першим конкретним кроком є визначення, чи можна оцінити ваш корпус: проведіть безкоштовну діагностику на d-nvest.