数据和分析市场发展如此之快,很难衡量什么是真正的趋势,什么是昙花一现的时尚。幸运的是,数据和分析是我们的业务,我们的专家已经确定了您在 2023 年应该关注的地方。
今年数据和分析领域的关键概念和解决方案是什么?企业正在采用哪些新方法和工具,为什么?
我们的专家会回答这些问题,帮助您驾驭不断变化的数据和分析环境,以便您实现业务转型,并按照跟上步伐。
趋势:数据产品
您的数据不仅仅是信息的花絮,它有可能为整个组织的数据使用者提供切实的价值。现在是时候开始通过采用数据产品思维来满足整体业务策略来相应地处理它了。
以考虑数据产品的方式看待您目前为客户提供服务的任何其他产品或服务。
通过采用数据产品思维方式,您可以将重点从简单地将数据视为孤立的实体转变为考虑用户的需求,并以有助于他们成功的方式打包数据。这涉及创建一个有凝聚力的产品,将数据与用户有效利用数据所需的工具和资源相结合。打包数据产品以使其更易于使用的示例包括:
确定与谁联系以解决有关数据的问题或问题。
有关如何使用它的适合受众的文档,例如字段定义、示例报表、仪表板或查询。
有关数据本身的信息,例如新鲜度及其来源。
目标是改善每个人的数据使用者体验,并减少传统解决方案中经常存在的复杂依赖关系和所有权问题。数据产品可以单独使用,也可以与其他产品结合使用,以回答组织内日益复杂的问题。
若要采用数据产品思维方式,请首先确定数据使用者对你心目中的特定数据产品的需求,并寻找成功使用它所需的共性。这可以帮助你创建满足多个团队需求的数据产品。拥有许多数据产品后,数据网格(见下文)就变得有价值了。
最终用户体验应始终是任何数据产品的核心。数据产品可确保这一点,因此对于数据驱动型组织至关重要。
趋势:数据网格
您是否觉得您的数据团队行动速度不够快,总是落后于需求曲线,并且在没有可衡量的影响的情况下花钱?也许更糟的是,您是否注意到,当出现初步进展迹象时,您的团队似乎放慢了脚步,无法跟上最初获得的竞争优势的步伐?
不要失去耐心——可能有更好的处理方式!
数据网格是一种分散的方法,使团队能够创建自己的数据产品并与他人共享。它强调人与技术之间的交互,以改善协作和数据共享所有权,从而加快决策速度,提高敏捷性和竞争力,以及持续改进和创新。
若要确定数据网格是否适合你的组织,请评估你当前的数据方法是否满足业务需求。如果您已经达到了一个复杂的点,纯粹的集中式方法无法解决问题,那么数据网格可能是一个可行的解决方案。
若要成功实施数据网格策略,需要:
首先优先创建数据产品,通过授权面向领域的团队创建自己的数据产品来满足消费者最紧迫的需求。
提供一个框架,使团队能够轻松创建、查找和与他人共享高质量且一致的数据产品。
确保有明确的期望和机制来应用数据产品的必要法律、合规性和安全要求。
警告:数据网格策略并不适合所有人,尤其是在数据团队分散得太薄或没有适当的数据治理的情况下。如果没有适当的策略,你会发现自己陷入了比开始时更大的混乱之中。
趋势:事件驱动架构
如今,组织正在其现代数据架构中使用许多不同的基于云的工具和服务。添加到体系结构中的工具越多,创建的意外事件就越多,从而使其工作的协调更加难以管理。
管理工具集成的最简单方法是安排按特定时间间隔运行的作业(就像许多组织所做的那样),但这也可能是最难维护的。通常,业务流程的最佳方法是创建由事件驱动的工作流。
事件驱动的架构就像管弦乐队的指挥,它帮助所有不同的乐器和谐地协同工作。它使用事件消息在解耦的服务之间触发和传达任务,确保一切顺利高效地运行。事件驱动架构有很多好处,包括:
数据可以在可用时立即进行处理。隔夜批量装载的滞后时间已经消失。这是流式处理工作负载的基础,它还支持实时和近实时分析。减少了代码和数据之间的依赖关系,使其更易于推出和维护,而不会造成中断。
云的成本和功能得到优化,因为按需任务仅在需要时运行。费用服务全职运行只是等待某事发生的日子已经一去不复返了。
数据可观测性得到提高,更直观。当任务未能达到其预期目的时,工程师可以快速查明失败的进行事件,诊断导致失败的组件,并在其他事件并行继续时修复它。
事件驱动型架构不是全有或全无的追求。在开发任何新工作负载之前,请先问问自己它是否可以是事件驱动的体系结构。如果要重构现有工作负载,请解决维护起来最麻烦的工作负载。
生命太短,无法不断管理损坏的数据管道和工作流。您实施事件驱动方法的次数越多,您就越需要花费更多的时间来寻找在节省资金的同时利用数据来造福组织的方法。
趋势:机器学习
机器学习 (ML) 并不新鲜,尤其是对于具有高级分析成熟度的组织而言。它已经存在了一段时间,根据麦肯锡全球调查,人工智能工具的采用率持续增长,而且好处仍然很大。投资于 ML 和 AI 技术的组织正在扩大其竞争优势,并在整个组织中释放更多价值。
然而,问题在于能够大规模重新部署 ML 模型并重新训练它们以使其保持相关性。
进入“工业化机器学习”——如果你准备将数据科学视为一个一次性的试点项目,而是你现有数据分析环境的组成部分,你应该注意这个趋势。这是构建机器学习管道(而不仅仅是模型)的做法,以确保您可以自动化和优化 ML 工作流。
您准备好接受工业化 ML 了吗?如果您正在使用现代数据堆栈,使用云原生 AI 工具,并且需要扩展您的 ML 用例,那么将工业化机器学习视为数据策略的一部分是有意义的。
首先确定您的初始用例,并评估技术、流程或内部技能组合中的任何差距或障碍。然后寻找机会,在业务的所有领域加速机器学习工作的开发和部署。对于每个用例,您将改进模型训练并微调流程,以获得有价值的见解和经验,并最终通过机器学习取得长期成功。
不要浪费你花在机器学习上的时间和精力,只是为了让它变成一个短暂的一次性项目。扩展您的机器学习工作并扩大您的竞争优势。
趋势:数据素养
您在最新技术上投入了时间、金钱和资源。您已经制定了数据策略路线图,实施了成功的数据仓库,甚至探索了分析数据的新方法,但您的用户仍未完全启用。
怎么了?
如果您的业务用户仍在努力了解何时使用数据以及如何解释数据,那么您的组织缺乏数据素养。
你并不孤单。根据 Gartner 年度首席数据官调查,数据素养是数据驱动型组织成功的第二大内部障碍,到 2023 年,它将成为推动业务价值的关键。
那么,你怎么知道你是否有数据素养问题呢?寻找一些常见迹象,包括用户对数据和分析产品的采用率低、整个组织效率明显低下、缺乏有用的见解或对数据的使用不成熟等。仅凭这些原因都并不意味着您存在数据素养问题,但如果所有基础部分都已到位,并且您的组织仍未实现业务目标,那么是时候深入挖掘了。
数据素养无法通过技术来实现(尽管有一些工具可以帮助您走上正确的轨道)——这是您需要采用的做法。但是,有了某些事情,您就可以开始为您的业务用户提供以下信息:
何时在业务流程中插入数据和分析
如何阅读/解释图表和可视化效果
如何处理发现的见解
如何利用现有的报告和数据分析计划
如何负责任和准确地使用数据
如果您已准备好投资于更好的数据素养,请首先评估业务用户的特定需求并评估他们的分析成熟度。这将有助于确定需要额外培训和支助的领域。您围绕提高数据素养创建的任何计划都必须加以考虑,并将其集成到您的数据策略中。
请记住,数据素养的目标是使业务用户能够了解他们在数据方面看到、做什么和共享的内容。