Покращення розуміння пошукових запитів за допомогою анотацій, виконаних людиною
Використання людського судження та структурованої таксономії для послідовного вирішення неоднозначних граничних випадків та покращення релевантності пошуку для провідного польського конгломерату електронної комерції.
Огляд проекту
Клієнт, лідер електронної комерції з Польщі, щодня отримує мільйони пошукових запитів. Багато з цих запитів є неоднозначними , містять орфографічні помилки або стосуються кількох категорій товарів , що створює проблеми для автоматизованих пошукових систем.
Щоб покращити точність пошуку та взаємодію з клієнтами , Шайп розробив структуровану систему анотацій, натхненну дослідженням Баймарда. Запити були систематично класифіковані за 11 категоріями (наприклад, категорія продукту, тема, певний атрибут, точний, продавець, симптом, непродукт тощо) з правилами пріоритету для забезпечення послідовної категоризації.
Основна статистика
Понад 50 000 запитів з анотаціями
у кількох категоріях
11 класів анотацій
з чіткими визначеннями та правилами пріоритету
3-етапний робочий процес
Анотація ➔ Забезпечення якості ➔ Арбітраж для малих та середніх підприємств
Обсяг проекту
Проєкт зосереджувався на створенні комплексної таксономії для охоплення повного спектру пошукової поведінки користувачів на великомасштабній торговельній платформі. Обсяг проєкту включав:
- Розробка таксономії з 11 категорій з чіткими визначеннями та ієрархією пріоритетів для вирішення випадків, коли запити можуть відповідати кільком класам.
- Анотування тисяч реальних запитів як у продуктових, так і в непродуктових доменах для навчання та калібрування системи класифікації.
- Вирішення неоднозначних запитів шляхом ескалації до експертів з предметної області (МСП), забезпечуючи узгодженість у розгляді крайніх випадків.
- Надання анотованих прикладів та обґрунтувань для калібрування контролю якості, створюючи навчальний набір, на який майбутні анотатори могли б покладатися як на довідку.
Зразки анотацій включені:
- Де Дітріх ЕЛЕНСІО ➔ Точно
- E 91 ➔ Важко сказати
- tezfiles ➔ Торговець
- subaru BRZ toyota gt86 ➔ Нетоварний
- окуляри BHP ➔ Категорія продукту
- стан скокового ➔ Симптом
Виклики
Проєкту довелося подолати кілька проблем зі складністю даних , типових для пошукових середовищ електронної комерції:
Неоднозначність
Запити на кшталт «E 91» можуть відповідати дуже різним продуктам (моделі автомобіля, тримачу запобіжника, відбитку капсули), що робить інтерпретацію дуже невизначеною.
Друкарські помилки та варіанти
Орфографічні помилки або скорочення, такі як «lampa uf zestaw», вимагали контекстуальної інтерпретації людиною, щоб зрозуміти їх як «lampa UV zestaw».
Перекриваючі категорії
Запити часто збігалися з кількома класами (наприклад, Точний, Сумісний або Специфічний атрибут), що вимагало правил пріоритету для забезпечення узгодженості.
Недійсні вхідні дані
Серійні коди або ідентифікатори, що не відповідають жодному продукту, потрібно було позначати як «Недійсна фраза», а не неправильно класифікувати.
масштабованість
Послідовне застосування нюансованих правил класифікації до десятків тисяч запитів вимагало суворого контролю якості та управління анотаціями.
Рішення
Для вирішення цих проблем було запроваджено структуровану систему анотацій , яка поєднує автоматизацію з людським наглядом:
Рекомендації щодо анотації
Було створено детальні визначення, приклади та інструкції, щоб допомогти анотаторам класифікувати послідовно, навіть у складних сценаріях.
Правила пріоритету
Було встановлено ієрархію (наприклад, Сумісний > Точний > Специфічний атрибут), тому випадки, що перекриваються, вирішувалися систематично.
Багаторівневий процес забезпечення якості
- Початкові анотації від кваліфікованих анотаторів.
- Вторинна перевірка фахівцями з контролю якості.
- Ескалація до малих та середніх підприємств для арбітражу у справах про межі можливостей або розбіжностях
Практичне застосування рекомендацій з реальними запитами
- 4008146044786 ➔ Недійсна фраза
- кролицьке диво ➔ Тематичний атрибут
- галактичний сірий zcd ➔ Сумісний
- Бельгійська вівчарка ➔ тема
Це забезпечило узгодженість, якість та надійність у всьому конвеєрі анотацій.
Результат
Ця ініціатива забезпечила помітні покращення пошукової екосистеми клієнта:
- Понад 50 000 запитів, оголошень з високою точністю, формуючи надійний навчальний набір даних для покращення пошуку.
- Покращена релевантність результатів пошуку, що безпосередньо підвищує задоволеність користувачів та зменшує розчарування від нерелевантних збігів.
- Зменшена неоднозначність шляхом систематичного вирішення крайніх справ за допомогою арбітражу та правил прецедентності, що керуються інтересами малих та середніх підприємств.
- Покращена видимість продукту, що забезпечить користувачам можливість точніше знаходити елементи за категоріями, атрибутами та темами.
Загалом, проєкт заклав основу для більш інтелектуального, орієнтованого на користувача пошуку , що допомагає клієнту підтримувати свою конкурентну перевагу на ринку електронної комерції.
Робочий процес анотації, розроблений людиною, зрозумів складні пошукові запити. Структурована таксономія та правила пріоритету значно покращили точність нашої пошукової системи та зробили взаємодію з користувачем більш безперебійною.
