Маркування текстом

Визначення

Маркування тексту — це процес призначення тексту категорій або тегів, таких як настрій, тема або іменовані сутності.

Мета

Мета полягає в перетворенні необробленого тексту на структуровані дані для завдань керованого НЛП.

Значення

• Дозволяє навчати моделі класифікації та вилучення.
• Якість впливає на чесність та точність моделі.
• Потрібна спеціалізована експертиза для виконання спеціалізованих завдань.
• Трудомісткий у великих масштабах.

Як це працює

1. Визначте категорії міток.
2. Розбийте текст на одиниці (речення, документи).
3. Анотатори призначають мітки.
4. Підтвердити угоду між анотаторами.
5. Експортувати позначений текст для навчання.

Приклади (реальний світ)

• Відгуки Yelp позначені як такі, що містять настрої.
• Набори даних для класифікації спаму та хамської електронної пошти.
• Юридичний текст з примітками до пунктів договору.

Література / Додаткова література

• Панг і Лі. «Аналіз думок та настроїв».
• Бендер і Фрідман. «Твердження даних для НЛП». ACL 2018.
• Документація наборів даних обіймаючих облич.
• Точне маркування тексту для машинного навчання