非结构化企业数据如何限制AI性能

由Reltio的首席执行官兼创始人Manish Sood撰写。约80%的企业数据存在于电子邮件、合同、通话记录和PDF文件中，传统数据库无法触及这些数据。这些"非结构化"数据并非因其缺乏价值而被忽视，而是因为难以可靠地连接到企业已依赖的结构化系统。

大多数企业已经拥有让AI工作所需的数据。那么为什么这么多AI计划未能取得预期效果？一个主要问题是，大量有价值的信息存在于AI依赖的系统之外。

电子邮件、合同、通话记录、PDF文件和临床记录包含关于客户、供应商、产品和风险的关键背景信息。非结构化数据约占企业信息的80%，但它很少进入为AI模型和自动化系统提供支持的数据层。这不是因为它缺乏价值，而是因为它难以与结构化数据可靠地连接、管理和使用。

随着企业争相部署AI和智能体系统，这种缺失的背景已成为一个重大限制。即使是训练有素的AI模型，在知识或背景有限的情况下也可能提供不完整的答案。成功的企业将不是拥有"正确"AI模型或智能体的企业，而是那些用丰富的、实时的、360度的业务背景视图（包括大量非结构化数据）来为AI提供支持的企业。

最重要的商业活动发生在人类语言中，而不是字段和表格中。人们在电子邮件、文档、聊天、通话记录、合同和报告中进行解释、谈判、记录和解读。销售人员不会以下拉菜单的形式思考。律师不会以整齐的行列起草合同。客户不会以预定义的模式描述问题。所有这些背景自然都变成了非结构化文本。

在过去几十年中，随着组织将一切迁移到数字系统，他们建立了捕获交易、库存和财务数据的系统。这些系统在记录已发生的事情方面非常出色。但原因、细微差别和意图则留给了自由文本。随着时间的推移，这一叙述层在数量和重要性上都急剧增长，特别是随着企业变得越来越复杂、受到监管和全球化。

具有讽刺意味的是，企业越是"数字化"，产生的非结构化数据就越多。AI改变了经济性，但没有改变基本原则。模型可以读取非结构化数据，但它们仍然需要干净、连接、可信的背景信息才能发挥作用。AI模型或智能体无法在非结构化文档和结构化数据库之间建立连接。背景信息需要干净地传递和提供给智能体或模型。如果没有及时且可信的背景信息，AI系统会产生幻觉、忽略细微差别或在真空中做出决策。

这就是为什么真正的转变不仅仅是分析非结构化数据。而是将其连接到智能数据层，在那里叙述性背景丰富了企业的结构化数据，并持续实时地为AI系统提供支持。当这种情况发生时，非结构化数据不再是负担，而是成为企业AI一直缺失的背景信息。

Reltio是一家背景智能公司，已开发新技术，使企业能够将非结构化数据源集成到智能数据图谱中，构建当今行业内最全面的360度实体档案。

与其将电子邮件、文档和记录视为独立的项目，来自非结构化源的相关信息可以连接到企业已经管理的实体。通话记录中客户表达的关注点、合同修订中隐藏的供应商义务，或支持记录中反复出现的反馈，都可以成为共享的、丰富的、受管理的档案的一部分。

关键的是，这些信号继承了与结构化数据相同的质量控制、治理和访问策略。它们变成了可重用的、及时的背景信息，可以在系统间流动，从仪表盘和工作流到AI应用程序。

同时，公司正在使用一种新型的搜索，它寻找的是意义，而不仅仅是关键词，这样AI智能体可以挖掘隐藏在文档、幻灯片、聊天记录甚至图像中的完整故事。

通过一种称为检索增强生成的方法，或称"RAG"，AI可以即时"查找信息"。它提取最相关的文件和段落，然后使用这些材料来回答问题或提出建议，而不是试图将所有内容都塞进僵硬的字段和类别中。这很重要，因为许多商业知识存在于细微差别中：电子邮件背后的意图、合同条款的背景，或技术报告中的领域语言。

当检索到的内容与正确的客户、产品、供应商和其他关键记录连接起来时，真正的回报才会到来。那时，AI不仅仅是找到信息，而是在理解它在您的业务背景中的含义。

结合起来，结构化数据加上基于意义的搜索为AI智能体提供了更强的基础：更准确的答案、更清晰的解释，以及在采取行动时更有信心。

结果是明显更丰富的360度档案。随着更多结构化和非结构化信号的连接，企业数据更好地反映了业务的实际运作方式。

企业争相部署的AI智能体、副驾驶和智能自动化将仅与其底层数据基础一样好。如果该基础缺失了80%的相关信息，因为没有人能够访问隐藏在电子邮件和文档中的内容，那么这些AI投资将无法达到预期效果。

金矿已经存在。从中提取价值的工具现在已经可用。问题是，您的组织是否会采取行动，同时还有时间获得竞争优势，还是等到统一数据成为基本要求且机会窗口关闭。

企业不需要新的数据源。电子邮件、文档、记录和报告已经存在。变化在于这些信息如何在组织内连接、治理和重用。

了解Reltio如何帮助企业连接碎片化数据，并为AI提供规模化所需的背景信息。

本文由Reltio与Insider Studios合作创建。