2.14.2. Розпізнавання IDP

Примітка:

Функціонал Розпізнавання IDP доступний лише при встановленні додаткового пакета dfx-idp.

Розпізнавання документів за допомогою технології IDP це вже відомий функціонал платформи Scriptum. Функціонал працює без змін, проте ярлики, в яких відбувалось налаштування idp-розпізнавання, змінили свою назву та розташування.

2.14.2.1. Налаштувати IDP розпізнавання

Налаштування IDP розпізнавання складається з трьох етапів:

1. Оберіть провайдера Azure чи Google та створіть обліковий запис, щоб отримати ключ:

   • Створити обліковий запис Azure
   • Створити обліковий запис Google Cloud

2. Створіть сутність IDP — визначте, які саме дані потрібно розпізнавати в документах і як їх слід структурувати. Або ви можете використовувати стандартні сутності, які вже створені в системі, а саме:

   a. Prebuilt-invoice (для провайдера Azure)

   b. Prebuilt-receipt (для провайдера Azure)

   c. INVOICE_PROCESSOR (для провайдера Google)

3. Додайте модель — підключіть створений профіль Azure або Google до платформи Scriptum за допомогою ключа.

4. Створіть шаблон розпізнавання — на цьому етапі налаштуйте, як саме будуть розпізнаватися документи та куди зберігатимуться розпізнані дані.

2.14.2.1.1. Створити обліковий запис провайдера

Azure

Інструкція по створенню підписки Azure для використання функціоналу IDP в системі Scriptum з використанням провайдеру Розпізнавання форм Azure

1. Створюємо новий акаунт Azure або входимо в систему при наявності існуючого.

2. Переходимо на домашню сторінку Azure Portal.

3. Натискаємо Create a resource

   

4. Вибираємо тип ресурсу Document Intelligence (form recognizer), натискаєм Create

   

5. У новому вікні натискаєм Start.

   

6. У новому вікні натискаєм Try Azure for free.

   

7. У новому вікні погоджуємось з клієнтською угодою та натискаєм Next.

   

8. Необхідно вести дані карти.

   

9. У наступному вікні підтвердити захист кнопкою Next.

   

10. У новому вікні треба зайти до свого акаунту за допомогою кнопки Sign In.

    

11. У наступному вікні натиснути Create a resource.

    

12. Знайти Document Intelligence (form recognizer), натискаєм Create

    

13. Заповнюємо необхідні поля, вибираємо Price Tier = Free F0 для безкоштовного пробного використання. Натискаємо Next.

    

    Приклад заповнення:

    

14. При необхідності налаштовуємо параметри мереж з яких буде дозволено доступ до ресурсу. Натискаємо Next

    

15. Натискаємо Next

    

16. При необхідності налаштвовуємо теги ресурсу, натискаємо Next

    

17. Натискаємо Create

    

18. Очікуємо розгортання ресурсу. Після завершення натискаємо Go to resource

    

19. В розділі Keys and Endpoint копіюємо значення KEY1 та Endpoint

    

20. В системі створюємо профіль IDP провайдера AZURE з використанням KEY1 та Endpoint. Також додаємо сутності IDP які поставляються в системі за замовчуванням. Invoice - розпізнавання рахунків, Receipt - розпізнавання чеків. Для створення профіля заходимо в систему з правами Developer та переходимо в Адміністрування - Налаштування - Профілі IDP провайдерів.

    

Google Cloud

Інструкція по створенню підписки Google Cloud для використання функціоналу IDP в системі Scriptum з використанням провайдеру Розпізнавання форм Google

Заходимо в Google Cloud під існуючим обліковим записом Google (або створюємо новий в разі відсутності).

1. Натискаємо Create Project

   

2. Вводимо назву проекта (або залишаємо назву яка сформована автоматично) та натискаємо Create.

   

3. Далі необхідно активувати білінг - створити trial підписку або обрати платну підписку. Для цього відкриваємо меню та обираємо Billing

   

4. Натискаємо MANAGE BILLING ACCOUNT, далі ADD BILLING ACCOUNT

   

5. Вводимо інформацію про компанію, та дані банківської картки. Розпочинаємо безкоштовний trial.

   

6. Далі необхідно активувати доступ до Document AI API. Натискаємо Next, далі Enable.

   

7. Далі необхідно створити сервісний акаунт та отримати ключі для доступу до API. Переходимо до створення Service Account в Google Cloud Console. Вводимо інформацію про акаунт, натискаємо CREATE AND COMPLETE Натискаємо CONTINUE, далі DONE

   

8. Тепер необхідно створити ключі, для цього відкриваємо меню Actions, далі натискаємо Manage keys

   

   Натискаємо ADD KEY, далі Create new key

   

   Вибираємо Key type = JSON та натискаємо CREATE. Далі зберігаємо ключ на своєму ПК.

   

9. Тепер необхідно створити процесор. В меню Google Cloud шукаємо Document AI та натискаємо на нього.

   

   Далі натискаємо EXPLORE PROCESSORS

   

   Обираємо Invoice Parser та натискаємо CREATE PROCESSOR

   

   Задаємо назву процесора INVOICE_PROCESSOR та натискаємо CREATE

   

   В результаті ми отримуємо інформацію про процесор, яку далі необхідно буде використати при створені профілю IDP в системі.

   

10. Заходимо в систему під обліковим записом з правами Developer, переходимо в Адміністрування - Налаштування - Профілі IDP провайдерів. Натискаємо Додати профіль

    

    Вибираємо Провайдер = Розпізнавання форм Google, вводимо назву, вставляємо облікові дані в форматі JSON (ключі що були збережені на ПК). Натискаємо + Додати для додавання моделі.

    

    Вибираємо доступну в системі сутність IDP = INVOICE_PROCESSOR Invoice, вводимо ідентифікатор моделі, що відповідає назві процесору в Google Cloud, та URL адресу, її необхідно скопіювати з Prediction endpoint в Google Cloud але не повністю, а так як показано на скріншоті. Натискаємо Додати

    

Ще раз натискаємо Додати для створення профілю провайдера IDP Google.

2.14.2.1.2. Створити сутність IDP

Примітка:

Функціонал Сутності IDP доступний лише при встановленні додаткового пакета dfx-idp. Цей функціонал використовується для розумного сканування паперових документів та подальшого перетворення на електронний формат.

Сутність IDP — це набір атрибутів для розпізнавання документів, які надаються провайдером розпізнавання (Azure або Google). Далі атрибути сутності використовуються для створення шаблонів розпізнавання форми. За допомогою цих шаблонів, система зіставляє (зв'язує) розпізнані дані з відповідними атрибутами типу документа.

1. У панелі навігації, виберіть робочий стіл Студія 1.

2. Виберіть групу ярликів Центр ШІ 2, а потім виберіть групу ярликів Розпізнавання документів 3.

3. Виберіть ярлик Сутності IDP 4.

4. У панелі інструментів, виберіть + 5.

   

5. Заповніть поля, використовуючи підказки в таблиці нижче.

   

Назва поля	Опис
Код*	Унікальний ідентифікатор сутності. Код має відповідати коду моделі розгорнутої у провайдера Azure чи Google. Код повинен бути унікальним. Код повинен бути коротким (зазвичай до 10 символів). Використовуйте тільки латинські букви та цифри. Приклад: passport_recognition
Найменування*	Введіть бажану назву сутності IDP Приклад: Розпізнавання паспортних даних ℹ️ Примітка: Ви можете встановити назву сутності для різних мов. Для цього у полі Найменування, виберіть піктограму та заповніть поля для інших мов. А потім виберіть кнопку Застосувати.
Опис	Короткий опис призначення сутності. Приклад: Сутність для розпізнавання паспортних даних
Провайдер*	Виберіть один з наступних провайдерів розпізнавання форм: Розпізнавання форм Azure — для розширеного розпізнавання з використанням Azure AI Document Intelligence. Розпізнавання форм Google — для розширеного розпізнавання з використанням Google Cloud Vision API.

Примітка:

Поля позначені символом "*" є обов'язковими до заповнення.

6. У верхньому меню виберіть піктограму Зберегти 1.

7. В таблиці Атрибути сутності IDP виберіть піктограму + 2.

   

8. Заповніть поля, використовуючи підказки в таблиці нижче.

   

Назва поля	Опис
Код*	Унікальний ідентифікатор атрибута сутності IDP – має відповідати коду який надає провайдер
Найменування*	Введіть бажану назву атрибута сутності IDP ℹ️ Примітка: Ви можете встановити назву сутності для різних мов. Для цього у полі Найменування, виберіть піктограму та заповніть поля для інших мов. А потім виберіть кнопку Застосувати.
Опис	Опис атрибута сутності IDP
Тип даних*	Виберіть тип даних для атрибута: Рядок Дата Число Адреса Валюта Масив ℹ️ Примітка: якщо ви обрали тип даних Масив, то необхідно буде створити додаткові атрибути масиву. Для цього, виберіть піктограму Зберегти 1, а потім, в полі Атрибути елемента масиву, виберіть піктограму + 2.

Примітка:

Поля позначені символом "*" є обов'язковими до заповнення.

9. У панелі інструментів виберіть піктограму Зберегти або Зберегти та закрити.

2.14.2.1.3. Додайте модель

1. У панелі навігації, виберіть робочий стіл Студія 1.

2. Виберіть групу ярликів ШІ Центр 2, а потім виберіть ярлик Моделі ШІ 3.

   

3. У панелі інструментів, виберіть Додати модель 1.

4. У розкривному списку виберіть IDP розпізнавання 2.

   

5. Заповніть поля, використовуючи підказки в таблиці нижче.

   

Поле	Опис
Провайдер*	Виберіть один з доступних варіантів: Розпізнавання форм Azure Розпізнавання документів Google
Назва*	Введіть коротку та зрозумілу назву.
Опис	Внесіть додаткову інформацію про конфігурацію.

---

Для Azure

Поле	Опис
Ключ*	Введіть ваш API-ключ, отриманий від Azure при реєстрації облікового запису провайдера. Щоб знайти ваш ключ виконайте наступні кроки: Увійдіть у ваш створений обліковий запис Azure. В налаштуваннях перейдіть в секцію Keys and Enpoint. Знайдіть поле KEY 1 та скопіюйте його значення.
URL адреса*	Вкажіть endpoint URL для доступу до сервісу розпізнавання, отриманий від Azure при реєстрації облікового запису провайдера. Щоб знайти ваш URL, виконайте наступні кроки: Увійдіть у ваш створений обліковий запис Azure. В налаштуваннях перейдіть в секцію Keys and Enpoint. Знайдіть поле Endpoint та скопіюйте його значення.
Моделі*	Ви можете використовувати вже додані prebuilt моделі або додати власні. Щоб додати власні, виберіть кнопку Додати. В полі Сутність IDP виберіть зі списку сутність IDP, яку ви створили у попередньому етапі або виберіть одну зі стандартних: Prebuilt-invoice Prebuilt-receipt В полі Ідентифікатор моделі введіть відповідний ідентифікатор. Виберіть кнопку Додати.

---

Для Google

Поле	Опис
Облікові дані*	Завантажте JSON файл з обліковими даними сервісного акаунта Google, який ви завантажили під час створення облікового запису Google Cloud.
Моделі*	В полі Сутність IDP виберіть зі списку сутність IDP, яку ви створили у попередньому етапі або оберіть стандартну сутність INVOICE_PROCESSOR. В полі Ідентифікатор моделі введіть введіть таку саму назву, як в полі Name вашого процесора в Google Cloud. В полі URL адреса введіть URL адресу, її необхідно скопіювати з поля Prediction endpoint в Google Cloud але не повністю, а лише починаючи зі слова projects. Виберіть кнопку Додати.

Примітка:

Поля позначені символом "*" є обов'язковими до заповнення.

6. Після заповнення всіх полів, виберіть кнопку Додати.

2.14.2.1.4. Створити шаблон розпізнавання

1. У панелі навігації, виберіть робочий стіл Студія 1.

2. Виберіть групу ярликів Центр 2, а потім виберіть групу ярликів Розпізнавання документів 3.

3. Виберіть ярлик Шаблони розпізнавання 4.

4. У панелі інструментів, виберіть + 5.

   

5. Заповніть поля 1, використовуючи підказки в таблиці нижче, а потім у панелі інструментів виберіть піктограму Зберегти або Зберегти та закрити 2.

   

Назва поля	Опис
Код*	Унікальний ідентифікатор шаблону. Код повинен бути унікальним. Код повинен бути коротким (зазвичай до 10 символів). Використовуйте тільки латинські букви та цифри.
Найменування*	Вкажіть зрозумілу назву шаблону, яка буде відображатися в інтерфейсі системи. Наприклад: "Розпізнавання рахунків" або "Шаблон для паспортів". ℹ️ Примітка: Ви можете встановити назву шаблону для різних мов. Для цього у полі Найменування, виберіть піктограму та заповніть поля для інших мов. А потім виберіть кнопку Застосувати.
Опис	Додайте короткий опис призначення шаблону та особливостей його використання.
Метод розпізнавання*	Виберіть варіант Провайдер розпізнавання форм.
Провайдер*	Виберіть один з доступних провайдерів розпізнавання: Розпізнавання Tesseract — створюється як універсальний шаблон, без прив'язки до конкретного типу документа. У шаблоні налаштовується відповідність між областю на документі, з якої буде зчитуватися текст та атрибутом документа, куди цей текст буде записано. Цей спосіб розпізнавання може використовуватися лише в парі зі сканером. Спочатку необхідно підключити сканер до платформи, після чого відсканований файл у форматі JPEG або TIFF передається до модуля Tesseract. Tesseract додає до завантаженого файлу текстовий шар, який використовується для розпізнавання. Далі текст із фрагмента документа, визначеного координатами в шаблоні, у вигляді текстового значення записується у відповідний атрибут документа. Шаблон можна використовувати для атрибутів наступних типів: Образ документа Файл Розпізнавання форм Azure — для розширеного розпізнавання з використанням Azure AI Document Intelligence. Шаблон створюється з прив'язкою до конкретного типу документа. Розпізнавання форм Google — для розширеного розпізнавання з використанням Google Cloud Vision API. Шаблон створюється з прив'язкою до конкретного типу документа.

---

Налаштування для провайдера "Tesseract"

Шаблон — Введіть налаштування шаблону у форматі JSON масиву, де кожен об'єкт містить наступні параметри:

[
  {
    "attribute": "",                    // Код атрибута, в який бажаєте записати витягнуті результати
    "top": null,                        // Координата Х верхнього лівого кута області розпізнавання
    "left": null,                       // Координата Y верхнього лівого кута області розпізнавання
    "width": null,                      // Ширина області розпізнавання
    "height": null,                     // Висота області розпізнавання
  }
]

Примітка:

Якщо у полі Шаблон вказати порожній JSON-масив [], система виконає лише розпізнавання тексту у відсканованому файлі та додасть до нього текстовий шар. У цьому випадку витягнуті текстові значення не будуть записані в жоден атрибут документа.

Наприклад, для розпізнавання дати документа з першої сторінки, області розміром 200x40 пікселів, що розташована на відстані 100 пікселів зверху та 50 пікселів зліва:

[
  {
    "attribute": "documentDate",
    "top": 100,
    "left": 50,
    "width": 200,
    "height": 40,
  }
]

---

Налаштування для провайдерів "Google" та "Azure"

Назва поля	Опис
Сутність*	Виберіть зі списку потрібну IDP сутність.
Тип документа*	Виберіть тип документа, для якого створюється шаблон розпізнавання. Це визначає, які атрибути будуть доступні для мапінгу.
Кнопка "Додати мапінг"	Виберіть кнопку Додати мапінг щоб створити зв'язок між даними, які потрібно розпізнати в документі, та місцем, куди ці дані будуть збережені в системі. В межах шаблону ви можете зробити декілька таких зв'язків.
Шар результату розпізнавання	Виберіть один з наступних варіантів: Сутність — використовується для роботи з попередньо навченою моделлю розпізнавання (Azure, Google). Система вже "знає" де шукати конкретні дані на документі певного типу. Не потребує вказання ключових слів чи шаблонів — модель сама визначає потрібні поля. Поля для розпізнавання обираються зі стандартного переліку моделі (наприклад, "Due Date", "Remittance Address") Пари ключ-значення — використовується для пошуку даних за конкретними маркерами в документі. Вимагає більше ручного налаштування, але дає більше контролю над процесом розпізнавання.

---

Налаштування для шару результату типу "Сутність"

Назва поля	Опис
Поле результату розпізнавання*	Виберіть зі списку потрібне поле моделі, яке містить розпізнаний текст. Наприклад: "Due Date" для дати платежу. Під полем ви побачите підказку англійською мовою, яка пояснює призначення цього поля.
Підполе результату розпізнавання	Це поле з'являється коли поле, обране вище, є складним і містить підполя. Наприклад: адреси, які складаються з вулиці, міста, регіону. Виберіть зі списку потрібне підполе.
Тип атрибута документа*	Виберіть один з наступних типів атрибута, до якого бажаєте налаштувати мапінг: Атрибут з бібліотеки — користувацькі атрибути Атрибут з документа — стандартні атрибути
Атрибут документа*	Виберіть зі списку конкретний атрибут, куди буде збережено розпізнане значення.

---

Налаштування для шару результату типу "Пари ключ-значення"

Назва поля	Опис
Ключ токена*	Введіть ключове слово, за яким буде знайдено потрібний текст
Регулярний вираз токена*	Введіть регулярний вираз — це шаблон, який використовується для визначення структури тексту, який треба розпізнати Приклади: \d+ — для пошуку будь-якої послідовності цифр (наприклад, номера) \d{2}\.\d{2}\.\d{4} — для пошуку дати у форматі ДД.ММ.РРРР [A-Z]{2}\d{6} — для пошуку коду, що складається з 2 літер та 6 цифр Див. Синтаксис регулярних виразів.
Тип атрибуту документа*	Виберіть один з наступних типів атрибута, до якого бажаєте налаштувати мапінг: "Атрибут з бібліотеки" — користувацькі атрибути "Атрибут з документа" — стандартні атрибути
Атрибут документа*	Виберіть зі списку конкретний атрибут, куди буде збережено розпізнане значення

Примітки:

• Поля позначені символом "*" є обов'язковими до заповнення.

• Для розпізнавання таблиць підтримується функціонал мапінг масиву. Для цього, необхідно скористатись попередньо навченою моделлю (pre-built model).

2.14.2.2. Застосувати шаблон розпізнавання Tesseract

Оскільки шаблон розпізнавання форм Tesseract створюється як універсальний шаблон і не має прив’язки до конкретного типу документа, ви можете застосовувати його до будь-яких типів документів. Для цього виконайте наступні кроки:

1. У панелі навігації виберіть робочий стіл Студія 1.

2. Виберіть ярлик Типи документів 2.

3. Відкрийте тип документа, до якого бажаєте застосувати шаблон 3.

   

4. Перейдіть на вкладку Конструктор.

   

5. Додайте на форму атрибут типу Образ документа або Файл 1, у який буде завантажено відсканований та розпізнаний файл.

6. Додайте на форму атрибути типу Текст 2, у які, згідно з налаштуваннями шаблону розпізнавання, будуть записані текстові фрагменти, визначені координатами.

   

7. Наведіть курсор на файловий атрибут, а потім виберіть піктограму , щоб налаштувати дії.

   

8. Установіть прапорці біля наступних дій 1:

   • Сканувати + розпізнати
   • Сканувати
   • Параметри сканування

9. Виберіть Зберегти 2.

   

10. Виберіть файловий атрибут 1, а потім у меню Налаштування атрибута знайдіть поле Шаблон розпізнавання 2 та виберіть зі списку потрібний шаблон.

    

11. У панелі інструментів виберіть піктограму Зберегти A або Зберегти та закрити B.

    

12. Створіть документ цього типу.

    1. У панелі навігації виберіть робочий стіл Документи 1.

    2. Виберіть ярлик Документи 2, а потім у панелі інструментів виберіть + 3.

       

    3. У полі Тип документа 1 виберіть потрібний тип, а потім виберіть Створити 2.

       

13. Після того як ви створите документ, відкриється його форма. У файловому атрибуті (який ви налаштовували в попередніх кроках) виберіть піктограму , щоб налаштувати сканер.

    

14. У секції Сканер 1 виберіть зі списку підключений сканер. Якщо ви ще не підключали сканер, див. Налаштування сканера.

15. У секції Формат файлу 2 виберіть JPEG або TIFF. Інші формати не підтримуються для розпізнавання за допомогою Tesseract.

16. Виберіть Змінити 3, щоб зберегти зміни.

    

17. У файловому атрибуті виберіть піктограму , щоб відсканувати документ і розпізнати його.

    

18. Після завершення сканування у файловому атрибуті 1 буде розміщено файл із текстовим шаром (за потреби ви зможете виділяти текст у файлі та використовувати його в будь-якому місці). Також необхідні фрагменти тексту будуть записані в значення атрибутів 2 відповідно до налаштувань шаблону розпізнавання.

    

2.14.2.3. Застосувати шаблон розпізнавання Azure або Google

Примітка:

Перед застосуванням шаблону, переконайтеся, що налаштували IDP розпізнавання.

Існує два способи застосування шаблону розпізнавання провайдера Azure або Google:

• Спосіб 1: через системний ярлик.
  У цьому способі розпізнавання зможе виконувати лише адміністратор платформи. Інструкція з розпізнавання ідентична інструкції з розпізнавання за допомогою ШІ — Спосіб 1: через системний ярлик.

• Спосіб 2: через користувацький ярлик.
  У цьому способі розпізнавання зможуть виконувати будь-які користувачі платформи, яким адміністратор надасть доступ до ярлика. Інструкція з розпізнавання ідентична інструкції з розпізнавання за допомогою ШІ — Спосіб 2: через користувацький ярлик.

Примітка:

На відміну від розпізнавання за допомогою ШІ, IDP-розпізнавання підтримує обробку лише одного документа за один раз.

---

Після того, як ви здійсните розпізнавання документа за допомогою IDP, ви можете підсвічувати потрібний вам контент у відсканованому документі, щоб швидко знайти потрібну інформацію. Для цього виберіть атрибут, контент якого хочете побачити в документі 1, а тоді потрібний вам фрагмент документа підсвітиться зеленим кольором 2.