SnapIT:自动搜索从图像提取的文本

您可以将填充知识搜索集合中所述的填充搜索匹配操作与该功能相结合,以使用在流程中从图像里提取文本中所述的光学字符识别 (OCR) 技术从图像中提取文本,从而提供我们称之为 SnapIT 的功能。SnapIT 让您的最终用户可以在流程中搜索从图像中提取的文本。例如,如果最终用户看到错误消息,他们可以抓屏或拍下这条消息,以该图像作为附件属性来记录事件,并自动获得该错误的建议解决方案。

本小节将描述如何在事件流程中从图像中提取文本并在知识数据库中搜索该文本。您可以在其他模块中使用与该功能类似的技术。

我们建议您一步步构建这一解决方案,在继续进行下一步之前确保每个部分都能够正常工作。首先,实施从图像中提取文本的功能。

OCR 系统设置

所使用的 OCR 技术 (Abbyy) 托管在云中,您的组织需要在 abbyy.com 订阅并注册帐户才能使用它。然后您需要在 Abbyy 的网站上创建一个应用程序以供系统使用。

要输入您组织的 OCR 应用程序详情:

  1. 在 Ivanti 控制台中的设置菜单上,单击系统
    出现“系统设置”。
  2. OCR API 设置 下,设置以下值:
    Url – OCR Web 服务的 URL。将其设置为 https://cloud.ocrsdk.com/
    帐户 ID – 您的 Abbyy 应用程序名称。
    帐户密码 – 您的 Abbyy 应用程序密码。
    最长等待时间 – 您希望等待回应的最长时间。我们发现,通常在大约 10 秒之后,返回的任何结果都质量低下,因此我们建议将该值设置为 10
  3. 保存设置。

设置 OCR 行为

当您配置了 OCR 系统设置时,您可以设置对象和属性,它们将用于保存图像及其提取的文本。

要设置 OCR 行为:

  1. 使用对象设计器,将 OCR 行为添加到您要从中使用 OCR 功能的对象。
    例如,事件管理\事件。
  2. 单击确定并保存更改。

    随即会向对象自动添加一个名为 OCR 状态的新属性。该属性用于记录 OCR 请求是否已处理。0 = 没有,1 = 已成功,2 = 已失败。

    同样的,还会创建一个名为提取文本的新操作,您可以在流程设计器中使用该操作。

当您创建了具有 OCR 行为的对象之后,您可以配置属性来保存图像及其提取的文本。

  1. 向对象添加一个属性并将属性的数据类型设置为附件

    例如,OCR 附件

确保将附件类型属性设置为

  1. 将属性的是否启用文本提取?属性设置为并保存更改。

    随即会向对象添加一个名为来自属性标题的文本的新属性。

    例如,来自 OCR 附件的文本。这就是将保存从图像中所提取的文本的属性。

您可以使用流程设计器中的业务对象树来更改提取文本操作的文本(并添加多语版本)。有关使用流程设计器的信息,请参阅流程设计器。有关创建多语种系统的更多信息,请参阅设计多语言系统

您可以将是否启用文本提取? 属性添加到同一对象的多个附件属性。在该实例中,每个属性都将包含各自的文本,来自...在这种情况下,每个属性都有其自己的来自...的文本属性,但将使用相同的提取文本操作。

为文本提取设计窗口和流程

设置 OCR 系统设置并在所需对象上设置 OCR 行为后,您可以为文本提取设计所需的窗口和流程。

要创建窗口和流程:

  1. 使用窗口管理器,将 OCR 附件来自 OCR 附件的文本属性添加到事件窗口。

您还可以在设计阶段将 OCR 状态属性添加到窗口,帮助进行任何调试活动。但是,我们建议在将设计迁移到实际上线的版本之前,删除 OCR 状态属性。您还可以扩展流程,从而在 OCR 状态返回值为 2 时记录事件。

  1. 流程设计器中,在事件管理\事件下创建新流程。

有关使用流程设计器的信息,请参阅流程设计器

  1. 展开“工具箱”(工具箱图标),并将 起始点图标 拖动到工作区上。
  2. 自动化实例操作拖动到工作区上。
    出现“选择操作”对话框。
  3. 选择提取文本,然后单击确定。
    对话框将关闭,并将更新“自动化实例操作”上的文本。
  4. 开始状态拖动到工作区上。
    出现“选择状态”对话框。
  5. 选择打开,然后单击确定。
  6. 起始点图标 链接到提取文本操作,并将提取文本操作链接到打开状态。
  7. 根据需要完成流程,然后保存并激活它。

OCR 流程图

  1. 在 Web Access 中,向您创建的流程添加流程快捷方式。

有关向 Web Access 添加快捷方式的信息,请参阅将项目添加至快捷方式栏。如果您向 Self Service 添加了快捷方式,那么它在 Ivanti Workspaces 中也可以使用。

现在,您已完成设计,您的用户可使用新流程搜索从图像中所提取的文本。

要从图像中提取文本:

  1. 创建新的快捷方式以显示事件窗口,并填写强制字段。
  2. 单击 OCR 附件字段旁边的选择文件浏览(标签取决于您所使用的浏览器)并选择包含文本的图像。

如果您正在配备了合适的主照相机的设备上使用 Workspaces,则可以选择现有的图像或拍摄一张照片。

  1. 保存事件。
    稍等一会儿事件就可以保存完成,来自 OCR 附件的文本字段就会更新为包括图像中所提取的文本。如果您已经将 OCR 状态字段添加到窗口,则如果 OCR 请求成功,会显示 1,如果失败,则显示 2

实施 SnapIT

当您已经完成 OCR 功能设置时,您可以设置知识搜索功能,从而自动在知识数据库中搜索保存在来自 OCR 附件的文本字段中的文本。

要在知识数据库中搜索提取的文本:

  1. 在配置中心里,确保已针对您正在使用的实例启动了已配置的服务区段中的后台服务
    后台服务会将项目添加到知识数据库中。
  2. 自动搜索行为添加到事件对象。
    请参阅填充知识搜索集合以了解详细信息。
  3. 对象设计器中,选择来自 OCR 附件的文本属性,然后在属性网格中的知识管理下,将搜索类型设置为是自然语言,并将是否自动搜索?设置为,然后保存更改。
  4. 窗口管理器中,将搜索匹配集合添加到事件窗口。
  5. 流程设计器中,停用并打开您之前设计的流程。
  6. 自动化实例操作拖动到工作区上。
    出现“选择操作”对话框。
  7. 选择填充搜索匹配,然后单击确定
    对话框将关闭,并将更新“自动化实例操作”上的文本。
  8. 提取文本自动操作和打开状态之间,连接填充搜索匹配自动操作。

带填充搜索匹配的 OCR 流程图

  1. 保存并激活流程。
  2. 在 Web Access 中,和之前一样使用该流程记录并保存事件并附加上图像。
    这一次和之前一样,来自 OCR 附件的文本字段会更新为包含提取自图像的文本,但还会在窗口底部显示一个搜索匹配选项卡。此选项卡包含了针对提取自 OCR 附件图像并保存在来自 OCR 附件的文本字段中的文本所作的知识搜索中的最佳匹配项。您可以从该选项卡中打开项目查看详细信息。

通过本次发布中推出的全新计算函数,您可以使用计算来将搜索匹配选项卡中的结果合并到单个字段中。有关详细信息,请参阅使用计算从 Search Matches(搜索匹配)中创建单个字段

使用 OCR 处理邮件

您可以使用控制台中的邮件组件来实现通过电子邮件启动上述流程。当您为入站电子邮件配置映射时,在映射窗口上将消息属性树中的附件属性映射到业务属性树中的 OCR 附件属性。

有关配置邮件的详细信息,请参阅邮件