Ліцензовані текстові набори даних для навчання з LLM та штучного інтелекту
Ліцензуйте готові до використання текстові корпуси для навчання з магістратури з права (LLM), вивчення мовлення та генеративного штучного інтелекту (NLP) — розмовні запитання та відповіді, код, новини, клінічні, академічні та багатомовні дані, адаптовані до вашого проєкту.
Ліцензовані текстові набори даних для навчання LLM та NLP
Каталог текстових даних Shaip надає командам штучного інтелекту готові до ліцензування набори текстових даних для навчання, налаштування та оцінки моделей великих мов (LLM) та систем NLP. Він охоплює вісім категорій. Кожен набір даних отримано з реального матеріалу та може бути адаптований до вашого проєкту.
Каталог містить набори даних для розмовних запитань і відповідей, а також набори даних інструкцій англійською та арабською мовами, що охоплюють сучасну стандартну арабську мову та діалекти Саудівської Аравії, Еміратів, Єгипту та Леванту. Він також містить набори даних репозиторію коду дев'ятьма мовами програмування, кілька з яких мають повну історію запитів на внесення змін та фіксованих змін. Для моделей поточних подій та RAG є набори даних новин англійською, іспанською та арабською мовами, включаючи архів із 975 000 статей, починаючи з 1999 року. Команди зі штучного інтелекту в галузі охорони здоров'я можуть використовувати клінічні набори даних для запитань і відповідей та випадків , доступні у вигляді золотих та срібних наборів, з включеною анонімізацією.
Для попереднього навчання існують корпуси необроблених текстів та веб-масштабовані корпуси , включаючи корпус арабською мовою обсягом 20 мільйонів слів. Корпуси сканованих документів підтримують штучний інтелект у документах та видобування інформації. Академічний та видавничий текст охоплює дванадцять наукових та інженерних предметів, а сценарний текст з розважальної тематики охоплює кіно, телебачення, анімацію та мікродрами.
Кожен набір даних постачається з чітким ліцензуванням та перевіркою якості. Доступні зразки, щоб ви могли оцінити набір даних перед покупкою. Перегляньте категорію нижче або зв’яжіться з нами, щоб обговорити збір власних текстових даних.
Розмовні запитання та відповіді й набори даних для інструкцій
Ці набори даних містять пари запитань і відповідей, створені людиною, та підказки у стилі інструкцій арабською та англійською мовами, що охоплюють сучасну стандартну арабську мови, а також діалекти Саудівської Аравії, Еміратів, Єгипту та Леванту. Набори, специфічні для певної предметної області, охоплюють STEM, харчову промисловість та сільське господарство. Вони підтримують налаштування, уточнення та оцінку мовних моделей, де важливі регіональне діалектне охоплення та культурно обґрунтовані знання.
Набори даних репозиторію коду та програмного забезпечення
Кодові бази для виробництва, взяті з реального, поставленого програмного забезпечення на C#, React, TypeScript, Angular, Java, Go, PHP, Swift та BrightScript. Деякі записи включають повну історію запитів на внесення змін та комітів, що показує, як код змінювався під час перевірки. Вони підтримують навчання моделей автодоповнення коду, генерації коду, розуміння коду та перевірки коду, з репозиторіями, доступними для оцінки перед ліцензуванням.
Набори даних новин та журналістських текстів
Професійно написані та відредаговані новинні статті від великої міжнародної новинної організації, доступні у вигляді періодичної стрічки англійською, іспанською та арабською мовами, а також у вигляді архівного корпусу з 975 000 статей, опублікованих з 1999 року. Кожна стаття містить теги автора, дати, заголовка, основної частини та теми. Вони підходять для навчання моделей поточних подій, генерації з доповненим пошуком та завдань часового мислення.
Клінічні запитання та відповіді й набори даних про випадки
Набори медичних питань і відповідей, короткий виклад клінічних випадків та повнотекстові медичні статті для навчання та оцінки моделей, орієнтованих на охорону здоров'я. Доступні золоті та срібні набори даних, перші підготовлені за вищим стандартом рецензування для бенчмаркінгу. Якщо вихідний матеріал містить особисту або захищену медичну інформацію, редагування, анонімізація та маскування враховуються в рамках проекту.
Необроблений текст та корпуси веб-масштабу
Великооб'ємні корпуси необробленого тексту, підказок та перетворення тексту на мовлення, що охоплюють сучасну стандартну арабську мову та регіональні діалекти, включаючи необроблений корпус обсягом 20 мільйонів слів. Вони підтримують попереднє навчання мовних моделей та розширення словникового запасу й охоплення діалектів у моделях, які добре обробляють MSA, але погано працюють з розмовними регіональними варіантами.
Корпуси документів та сканованого тексту
Відскановані документи та структуровані форми, що відображаються у форматі PDF, з автентичними макетами та якістю сканування, а не штучними рендерами. Вони підтримують штучний інтелект документів, обробку природної мови на рівні OCR та вилучення інформації, особливо для розуміння пар «ключ-значення» та табличних документів, де макет має стільки ж значення, скільки й сам текст.
Набори академічних та видавничих текстових даних
Повнотекстові книги та статті з журналів, ліцензовані академічним видавцем та надані через API, охоплюють дванадцять предметних галузей у фізичних науках та інженерії — астрономії, біомедицині, цивільному будівництві, електротехніці та електроніці, енергетиці, промисловості, матеріалознавстві, механіці, нанотехнологіях, фізиці, полімерознавстві та управлінні безпекою. Вони підходять для попередньої науково-технічної підготовки та пошуку, а не для рецензованих джерел.
Розважальний та оповідний текст за сценарієм
Сценарії, транскрипти та оповідні тексти, взяті з великого каталогу сценарних розважальних фільмів, що охоплює художні фільми, телебачення, анімацію та вертикальні мікродрами, у жанрах драми, комедії, наукової фантастики, вестернів, бойовиків, містики, мелодрами, трилерів та релігійних романів. Вони підтримують генерацію оповіді та діалогів, моделювання сценарного формату та узгодження сценарію зі сценою.
Часті питання (FAQ)
1. Що таке текстові набори даних для навчання ШІ?
Текстові набори даних для навчання ШІ – це куровані колекції письмової мови, такі як пари запитань і відповідей, інструкції, статті, код, клінічні записи, книги та сценарії, що використовуються для попереднього навчання, точного налаштування та оцінки моделей великих мов (LLM) та систем NLP. Каталог текстових даних Shaip пропонує готові до ліцензування набори даних у восьми категоріях, кожна з яких отримана з реальних матеріалів.
2. Які типи текстових наборів даних пропонує Shaip?
Каталог охоплює вісім категорій: розмовні набори даних із запитань і відповідей та інструкцій, набори даних репозиторіїв коду та програмного забезпечення, новинні та журналістські тексти, клінічні набори даних із запитань і відповідей та випадків, корпуси необроблених текстів та веб-масштабів, корпуси сканованих документів, академічні та видавничі тексти, а також сценарні розважальні та наративні тексти.
3. Які мови та діалекти охоплюються?
Набори даних доступні англійською, арабською та іспанською мовами. Арабська мова охоплює сучасну стандартну арабську мову, а також діалекти Саудівської Аравії, Еміратів, Єгипту та Леванту, що допомагає моделям, які добре обробляють багатомовну арабську мову, але мають проблеми з розмовними регіональними варіантами.
4. Які варіанти використання штучного інтелекту підтримують ці набори даних?
До поширених випадків використання належать попереднє навчання LLM, налаштування та точне налаштування інструкцій, оцінка та бенчмаркінг моделей, генерація з доповненим пошуком (RAG), автодоповнення коду та перевірка коду, штучний інтелект у сфері охорони здоров'я, штучний інтелект для документів та вилучення інформації, а також генерація діалогів та сценаріїв.
5. Чи можу я оцінити набір даних перед його ліцензуванням?
Так. Зразки або доступ для оцінювання можна організувати до ліцензування набору даних, щоб ваша команда могла перевірити відповідність, формат та якість. Зверніться до нас із вашим варіантом використання, щоб запросити зразок із відповідної категорії.
6. Як обробляються конфіденційні дані, такі як особиста інформація та захищена медична інформація?
Якщо вихідні матеріали містять персональну або захищену медичну інформацію, як-от клінічні дані, редагування, анонімізація та маскування входять до сфери застосування, щоб дані відповідали вашим вимогам конфіденційності та відповідності.
7. Яка різниця між золотими та срібними наборами даних?
Золоті набори даних підготовлені за вищими стандартами перевірки та найкраще підходять для бенчмаркінгу та оцінки. Срібні набори даних проходять стандартну перевірку та добре підходять для масштабнішого навчання, де обсяг має більше значення.
8. Чи можна налаштувати або розширити набори даних?
Так. Набори даних можна обмежити вашим проєктом за мовою, доменом, обсягом або форматом. Якщо каталог не охоплює те, що вам потрібно, Shaip може зібрати та анотувати власні текстові дані відповідно до ваших вимог.
9. Які варіанти ліцензування доступні?
Ліцензування обмежується кожною взаємодією на основі набору даних, обсягу, цільового використання та тривалості. Деякі набори даних, такі як новинний контент, доступні як періодична стрічка, так і як одноразовий архівний корпус.
10. Як доставляють набори даних?
Доставка залежить від набору даних. Варіанти включають структуровані файли, PDF-файли для сканованих документів, періодичні стрічки новин та доставку API для академічного та видавничого контенту. Формат доставки можна узгодити з вашим навчальним процесом.
11. Скільки коштують текстові набори даних?
Ціна залежить від категорії, обсягу, ексклюзивності та умов ліцензування. Поділіться своїми вимогами з нашою командою, щоб отримати цінову пропозицію, адаптовану до вашого проєкту.
12. Як розпочати роботу?
Перегляньте категорію, яка відповідає вашому випадку використання, а потім зв’яжіться з Shaip та повідомте свої вимоги. Наша команда надасть вам інформацію про набір даних, підготує зразки та визначить обсяг ліцензії для вашого проєкту.
