SnapIT: Автоматический поиск текста, извлеченного из изображений

Вы можете объединить действие Заполнить найденные значения, представленное в разделе Заполнение коллекции поиска в базе знаний, с функцией извлечения текста из изображений с помощью технологии распознавания текста (Optical Character Recognition, OCR), с которой можно ознакомиться в Извлечение текста из изображений, как часть процесса, для дальнейшего использования в функции SnapIT. Функция SnapIT позволяет вашим конечным пользователям находить совпадения текста, извлеченного из изображений, в качестве части процесса. Например, если для конечного пользователя отобразится сообщение об ошибке, он может сделать снимок экрана или сфотографировать сообщение, создать инцидент с этим изображением в виде атрибута вложения, и для него автоматически будет предоставлены варианты решения проблемы.

В этом разделе описывается, как извлекать текст из изображений и выполнять его поиск в базе знаний в качестве части процесса обработки инцидента. Вы можете использовать подобные технологии для этой функциональности в других модулях.

Мы рекомендуем вам реализовать поэтапное решение, чтобы гарантировать должную работу каждой части программного обеспечения перед тем, как перейти к следующей части. Во-первых, выполните извлечение текста из изображения.

Настройки системы распознавания текста

Используемая технология распознавания текста (Abbyy), располагается в облаке, и вы должны оформить подписку и зарегистрировать учетную запись на сайте abbyy.com для того, чтобы ваша организация могла ее использовать. Затем вам необходимо создать приложение на веб-сайте компании Abbyy для использования вместе с системой.

Для оформления анкеты OCR для вашей организации:

1. На консоли Ivanti в меню Настройки щелкните Система.
   Появится диалог "Системные настройки".
2. В диалоге Настройки интерфейса OCR установите следующие значения:
   URL-адрес – URL-адрес веб-службы OCR. Установите для него значение https://cloud.ocrsdk.com/
   ИД учетной записи - ваше имя в приложении Abbyy.
   Пароль учетной записи – пароль приложения Abbyy.
   Макс. время ожидания – время ожидания ответа. По нашим данным, обычно для этого требуется 10 секунд, и мы рекомендуем установить для этого параметра значение 10.
3. Сохраните настройки.

Настройка действий программы распознавания текста (OCR)

После конфигурации системных настроек приложения OCR вы можете настроить объект и атрибуты, которые будут использоваться для хранения изображения и извлеченного из него текста.

Для настройки действий приложения OCR:

1. В Дизайнере объектов добавьте действие OCR в объект, который нужно использовать в функции распознавания текста.
   Например, Управление инцидентами\Инцидент.
2. Нажмите OK и сохраните изменения.
   
   Новый атрибут с именем Статус OCR будет автоматически добавлен в объект. Этот атрибут будет использоваться для записи запросов OCR. Его значения - 0 = нет, 1 = успешно, 2 = ошибка.
   
   Кроме того, будет создано новое действие с именем Извлечь текст, которое вы сможете использовать в Дизайнере процессов.

После создания объекта с действием OCR вы можете сконфигурировать атрибуты, которые будут хранить изображение и извлеченный из него текст.

3. Добавьте атрибут в объект и установите для элемента Тип данных значение Вложение.
   
   Например, Вложение OCR.

Убедитесь, что свойство Тип вложения имеет значение Нет.

4. Установите в свойстве Включить извлечение текста? для атрибута значение True и сохраните изменения.
   
   Для объекта будет добавлен новый атрибут с именем Текст из заголовок атрибута.
   
   Например, Текст из вложения OCR. Этот атрибут будет хранить текст, извлеченный из изображения.
   
   

Вы можете изменить текст действия Извлечь текст (и добавить многоязычные версии), используя дерево Бизнес-объекты в Дизайнере процессов. Для получения дополнительной информации об использовании Дизайнера процессов см. раздел Дизайнер процессов. Для получения дополнительной информации об создании многоязычной системы см. раздел Дизайн многоязычной системы.

Вы можете добавить свойство Включить извлечение текста? в более чем один атрибут вложения для одного объекта. В этом случае каждый атрибут будет иметь свой собственный атрибут Текст из..., но будет использовать одно и тоже действие Извлечь текст.

Создание окна и процесса для извлечения текста

Во время конфигурации системных параметров функции распознавания текста (OCR) и настройки ее действия для нужного объекта вы можете создать требуемое окно и процесс для извлечения текста.

Для создания окна и процесса:

1. С помощью Диспетчера окон добавьте атрибуты Вложение OCR и Текст из вложения OCR в это окно Инцидент.

Вы также можете добавить атрибут Статус OCR в окно на этапе создания, чтобы облегчить отладку. Однако мы рекомендуем удалить атрибут Статус OCR перед миграцией дизайна в рабочую версию системы. Вы также можете расширить процесс регистрации инцидента, если атрибут Статус OCR будет иметь значение 2.

2. В Дизайнере процессов создайте новый процесс Управление инцидентами\Инцидент.

Для получения дополнительной информации об использовании Дизайнера процессов см. раздел Дизайнер процессов.

3. В диалоге "Инструментарий" () переместите в область рабочего пространства.
4. Переместите Экземпляр автоматического действия в область рабочего пространства.
   Отобразится диалог выбора действия.
5. Выберите Извлечь текст и нажмите OK.
   Диалог будет закрыт, и текст в поле "Экземпляр автоматического действия" будет обновлен.
6. Переместите элемент Начальный статус в область рабочего пространства.
   Отобразится диалог выбора статуса.
7. Выберите Открыть и нажмите OK.
8. Свяжите с действием Извлечь текст и действие Извлечь текст со статусом Открыть.
9. Завершить все действия для процесса, затем сохраните и активируйте его.

10. В приложении Web Access добавьте ярлык созданного процесса.

Для получения дополнительной информации о добавлении ярлыков в приложение Web Access см. раздел Добавление элементов на панель ярлыков. Если вы добавите ярлык в приложение самообслуживания, он также станет доступен в приложениях Ivanti Workspaces.

Теперь после завершения дизайна ваши пользователи могут использовать новый процесс для поиска текста, извлеченного из изображений.

Для извлечения текста из изображения:

1. Нажмите новый ярлык для отображения окна "Инцидент" и заполните обязательные поля.
2. Нажмите элемент Выбрать файл или Обзор рядом с полем вложения OCR (метка зависит от типа используемого браузера) и выберите изображение, которое содержит текст.

Если вы используете приложения Workspaces на устройстве, которое имеет подходящую камеру, вы можете выбрать существующее изображение или сделать фотографию.

3. Сохраните инцидент.
   Через некоторое время инцидент будет сохранен и поле Текст из вложения OCR будет заполнено текстом, полученным из изображения. Если вы добавите в окно поле Статус OCR, в нем будет содержаться значение 1, если распознавание текста будет успешным, или 2, если оно завершится с ошибкой.

Реализация функции SnapIT

После завершения настройки функциональности OCR вы можете настроить функцию поиска статей в базе знаний для того, чтобы автоматически выполнять поиск текста, находящегося в поле Текст из вложения OCR.

Для поиска извлеченного текста в базе знаний:

1. В Центре конфигурации проверьте, что элемент Фоновая служба в разделе Сконфигурированные службы содержит используемый вами экземпляр.
   Фоновая служба добавит элементы в базу знаний.
2. Добавьте действие Автоматический поиск в объект Инцидент.
   Для получения дополнительной информации см. раздел Заполнение коллекции поиска в базе знаний.
3. В Дизайнере объектов выберите атрибут Текст из вложения OCR, а затем на панели Свойства в разделе Управление статьями знаний установите для параметра Тип поиска значение Родной язык, а для параметра Автопоиск? значение True и сохраните изменения.
4. В Диспетчере окон добавьте коллекцию Поиск соответствий в окно Инцидент.
5. В Дизайнере процессов деактивируйте и откройте созданный ранее процесс.
6. Переместите Экземпляр автоматического действия в область рабочего пространства.
   Отобразится диалог выбора действия.
7. Выберите параметр Заполнить найденные значения и нажмите OK.
   Диалог будет закрыт, и текст в поле "Экземпляр автоматического действия" будет обновлен.
8. Свяжите автоматические действия Заполнить найденные значения и Извлечь текст, а также статус Открыть.

9. Сохраните и активируйте процесс.
10. В приложении Web Access создайте и сохраните инцидент, используя представленный ранее процесс и изображение.
    В этот раз поле Текст из вложения OCR будет, как и раньше содержать текст, извлеченный из изображения, а внизу окна появится вкладка Поиск соответствий. На этой вкладке содержатся лучшие совпадения, полученные во время поиска в базе знаний для текста, извлеченного из распознанного вложения и находящегося в поле Текст из вложения OCR. Вы можете открыть элементы на этой вкладке для просмотра их информации.

Вы также можете использовать вычисление для объединения результатов на вкладке Поиск соответствий в одном поле с помощью новой функции вычислений, которая была добавлена в этой версии. Для получения дополнительной информации см. раздел Использование вычислений для создания одного поля из соответствий поиска.

Использование функции распознавания текста с электронной почтой

Вы можете использовать компонент электронной почты на консоли для активации представленного выше процесса по электронной почте. Когда вы настраиваете назначение для входящей почты, назначьте атрибут Вложение в дереве Атрибуты для атрибута Вложение OCR в дереве Бизнес-атрибуты окна назначения.

Для получения дополнительной информации о конфигурации функции электронной почты см. раздел Почта.