如何将SAP数据集成到任意云平台
十年前就在使用sap的客户询问我当时突然出现的新事物：大数据。五年前，变成了数据湖和机器学习。现在一切都是关于数据集成，当然还有人工智能。有时处理数据的基本方法已经改变或者发展。有时只是名字的改变。例如，在过去十年中，数据湖演变成数据网格（data meshes)，当你想到它时，它只不过是一个相互连接的稍微复杂的数据湖。
那么有一个问题:如何集成sap数据？
十年前很热门的一个话题现在仍然很热门:如何将sap数据与hadoop集群或企业多云集成?每个超大规模云厂商都有一个现成的答案，但是如果您是sap客户，您不会对其中的每一个都100%满意。这就是为什么我们创建了解决方案snp glue。
近期的glue系列文章，我们将深入探讨将sap与您选择的云技术集成所面临的挑战，以及我们如何应对这些挑战。我们将自己的技术构建为中间件是有充分理由的，从各种sap数据源的增量捕获到性能和灵活性。
第一篇文章中，我将介绍背景，而在后续的文章中，将详细介绍云厂商以及snp glue与它们进行技术集成的功能。
为什么要将sap与云数据仓库或数据湖集成?
现在最显而易见的答案是“这样你就可以在这些数据上释放现代人工智能的力量”……
然而，公平地说，虽然这在某种程度上可能是正确的，但现实往往要简单得多!
在snp，我们看到两种客户案例:
第一种是单一集成场景，就像一个专门的应用程序来帮助用户处理供应链的单一方面。或者仪表盘。或者以高度选择性的方式向外部审计人员提供数据。
第二个是大规模的sap集成，每个生产系统中几乎所有sap应用程序表都需要对云中的数据湖可用。
用例是多重的，包括报告、指示板、审计、供应链优化、预测性维护、减少客户流失等等。显然，在sap数据副本上实现这样的用例(其中一些个人数据可能因gdpr原因而匿名!)有许多优点，最明显的是避免对sap的任何性能影响。其他优点是更容易混合来自多个数据源的数据，并为ai/ml使用云特定功能。
显然，当一项技术能够很好地扩展到第二种情况时，您也可以覆盖第一种情况。然而，考虑到sap erp的巨大范围，集成的技术需要非常强大。
这样的软件需要涵盖这些不同的方面和特性。最明显的是实现真正的可扩展性。snp glue可以将数以万计的sap表从多个sap生产系统复制到云中，从而使数据可用于广泛的用例。初始满载和增量，理想情况下以大规模并行的方式。使用snp glue, snp客户完全可以实现这一点，例如，近乎实时地从一长串sap系统(包括erp和bw)中复制50,000个sap表到云中的数据湖。
如果没有良好的cdc(更改数据捕获)，即增量复制，您将需要定期执行全负载。数据将不断过时。cdc可以针对不同的sap数据源使用不同的技术来实现，例如，数据库触发器适用于erp，但不适用于sap bw。
为了获得良好的性能并最大程度地减少数据在必须经过的不同跃点链中的潜在“故障点”，您需要将目标定位在 sap 数据源和数据存储（例如 snowflake）之间建立直接的连接。通过减少中间人、潜在的故障点，从而使集成变得更加稳固。
根据数据源、sap模块或应用程序以及场景，您需要区分“应用程序集成”和“数据集成”。应用程序集成将更多地在源端由事件驱动(例如通过sap business events、sap bapi)，而在接收端由事件代理驱动(例如kafka)。对于数据集成场景，您需要考虑使用原始sap表来扩展集成解决方案并覆盖尽可能多的领域。
sap数据-关键且复杂
sap数据往往是“特殊的”。在技术层面和应用层面都是如此。例如，一旦您必须根据货币键将小数点插入sap金额字段，而货币键在同一数据库表中找不到，您就会知道我所说的“技术困难”是什么意思。集成解决方案不仅需要扩展和执行，还需要能够覆盖这些技术(不用说，snp glue就可以)。此外，对于任何sap集成解决方案，我建议不要忘记与数据目录集成的必要性。
在应用程序级别，sap 数据的性质在结构化数据（例如 sap erp 表）、非结构化数据（例如 sap 存档或 sap 过账附件）、非 erp 数据（例如 sap bw 查询）或直接访问 sap 事务代码输出之间差异很大。一个好的集成解决方案应该能够处理许多这些数据源，而不仅仅是表。
etl to elt
最后，对于大规模场景，您还需要从古老的 etl 范式（提取-转换-加载）更改为 elt 范式，其中数据首先迁移（提取和加载），然后才转换（即过滤、清理、丰富、与其他源相结合等）。但是，这并不意味着 sap 集成解决方案中不需要任何 etl 功能。例如，在提取数据时应该可以直接屏蔽一些个人数据（同样，不用说，snp glue 不仅如此，而且通过原生sap 集成还可以做到这一点）。
snp glue涵盖了所有类型的数据目标。我们的解决方案最初是为了将sap与基于hadoop的数据湖集成而构建的，现已发展到涵盖anydb和anycloud：
anydb, i.e. oracle, sap db, sap ase, sap iq, microsoft sql server, db2, db4, db6, …
anycloud, i.e. aws (e.g. redshift), azure (e.g. azure sql), gcp (e.g. bigquery), and snowflake
anytargets, 更多数据源和数据目标平台将在下期介绍中阐述
最后，关于如何安装和部署snp glue。这相当简单：snp glue 部署为基于 abap 的插件，适用于所有类型的 sap 部署：
经典的sap本地部署安装
托管sap以及基于私有云的sap 安装
sap rise
与此同时，我们正在推出其他功能，以最小的sap占用空间添加基于云原生的本机部署，以及原生非sap功能，以便能够利用sap netweaver以外的数据源，具有极大的灵活性和可扩展性。
OPPOA59m拆解教程
3DSVSP骨科虚拟手术规划平台已获得FDA许可
NEC电子中国将携全新解决方案亮相AMRChina 2008
应急灯电路图工作原理
文件系统-一切皆文件的设计理念
如何将SAP数据集成到任意云平台
汽车电路的基本接线规律
苹果新获两项汽车专利，涉及增强型车辆态势感知警报系统
凌阳16位MCU一改台湾芯片抗干扰性差软肋，EMC测试达国标
人工智能将真正地从实验室走进我们的生活
为汽车行业赋能 科达嘉携车规级电感亮相慕尼黑上海电子展
人脸识别市场竞争激烈 探讨新的商业模式十分重要
CPLD逻辑电路
中国半导体技术新突破，成功研发3纳米晶体管
厂家直销8路电话录音卡 8路电话录音板卡 PCI插槽 录音系
开发本该如此高效！动手实操指南奉上
AMD新显卡曝光 性能可达到RTX 2080 Ti级别
TE Connectivity联手贸泽电子推出全新电子书 深入探讨车队远程信息处理的设计注意事项
艾迈斯得通过取消中止协议发起针对欧司朗的收购要约 并宣布拟每股38.50欧元的价格收购欧司朗
Mini/Micro LED相关项目传来最新动态
那么有一个问题:如何集成sap数据？
十年前很热门的一个话题现在仍然很热门:如何将sap数据与hadoop集群或企业多云集成?每个超大规模云厂商都有一个现成的答案，但是如果您是sap客户，您不会对其中的每一个都100%满意。这就是为什么我们创建了解决方案snp glue。
近期的glue系列文章，我们将深入探讨将sap与您选择的云技术集成所面临的挑战，以及我们如何应对这些挑战。我们将自己的技术构建为中间件是有充分理由的，从各种sap数据源的增量捕获到性能和灵活性。
第一篇文章中，我将介绍背景，而在后续的文章中，将详细介绍云厂商以及snp glue与它们进行技术集成的功能。
为什么要将sap与云数据仓库或数据湖集成?
现在最显而易见的答案是“这样你就可以在这些数据上释放现代人工智能的力量”……
然而，公平地说，虽然这在某种程度上可能是正确的，但现实往往要简单得多!
在snp，我们看到两种客户案例:
第一种是单一集成场景，就像一个专门的应用程序来帮助用户处理供应链的单一方面。或者仪表盘。或者以高度选择性的方式向外部审计人员提供数据。
第二个是大规模的sap集成，每个生产系统中几乎所有sap应用程序表都需要对云中的数据湖可用。
用例是多重的，包括报告、指示板、审计、供应链优化、预测性维护、减少客户流失等等。显然，在sap数据副本上实现这样的用例(其中一些个人数据可能因gdpr原因而匿名!)有许多优点，最明显的是避免对sap的任何性能影响。其他优点是更容易混合来自多个数据源的数据，并为ai/ml使用云特定功能。
显然，当一项技术能够很好地扩展到第二种情况时，您也可以覆盖第一种情况。然而，考虑到sap erp的巨大范围，集成的技术需要非常强大。
这样的软件需要涵盖这些不同的方面和特性。最明显的是实现真正的可扩展性。snp glue可以将数以万计的sap表从多个sap生产系统复制到云中，从而使数据可用于广泛的用例。初始满载和增量，理想情况下以大规模并行的方式。使用snp glue, snp客户完全可以实现这一点，例如，近乎实时地从一长串sap系统(包括erp和bw)中复制50,000个sap表到云中的数据湖。
如果没有良好的cdc(更改数据捕获)，即增量复制，您将需要定期执行全负载。数据将不断过时。cdc可以针对不同的sap数据源使用不同的技术来实现，例如，数据库触发器适用于erp，但不适用于sap bw。
为了获得良好的性能并最大程度地减少数据在必须经过的不同跃点链中的潜在“故障点”，您需要将目标定位在 sap 数据源和数据存储（例如 snowflake）之间建立直接的连接。通过减少中间人、潜在的故障点，从而使集成变得更加稳固。
根据数据源、sap模块或应用程序以及场景，您需要区分“应用程序集成”和“数据集成”。应用程序集成将更多地在源端由事件驱动(例如通过sap business events、sap bapi)，而在接收端由事件代理驱动(例如kafka)。对于数据集成场景，您需要考虑使用原始sap表来扩展集成解决方案并覆盖尽可能多的领域。
sap数据-关键且复杂
sap数据往往是“特殊的”。在技术层面和应用层面都是如此。例如，一旦您必须根据货币键将小数点插入sap金额字段，而货币键在同一数据库表中找不到，您就会知道我所说的“技术困难”是什么意思。集成解决方案不仅需要扩展和执行，还需要能够覆盖这些技术(不用说，snp glue就可以)。此外，对于任何sap集成解决方案，我建议不要忘记与数据目录集成的必要性。
在应用程序级别，sap 数据的性质在结构化数据（例如 sap erp 表）、非结构化数据（例如 sap 存档或 sap 过账附件）、非 erp 数据（例如 sap bw 查询）或直接访问 sap 事务代码输出之间差异很大。一个好的集成解决方案应该能够处理许多这些数据源，而不仅仅是表。
etl to elt
最后，对于大规模场景，您还需要从古老的 etl 范式（提取-转换-加载）更改为 elt 范式，其中数据首先迁移（提取和加载），然后才转换（即过滤、清理、丰富、与其他源相结合等）。但是，这并不意味着 sap 集成解决方案中不需要任何 etl 功能。例如，在提取数据时应该可以直接屏蔽一些个人数据（同样，不用说，snp glue 不仅如此，而且通过原生sap 集成还可以做到这一点）。
snp glue涵盖了所有类型的数据目标。我们的解决方案最初是为了将sap与基于hadoop的数据湖集成而构建的，现已发展到涵盖anydb和anycloud：
anydb, i.e. oracle, sap db, sap ase, sap iq, microsoft sql server, db2, db4, db6, …
anycloud, i.e. aws (e.g. redshift), azure (e.g. azure sql), gcp (e.g. bigquery), and snowflake
anytargets, 更多数据源和数据目标平台将在下期介绍中阐述
最后，关于如何安装和部署snp glue。这相当简单：snp glue 部署为基于 abap 的插件，适用于所有类型的 sap 部署：
经典的sap本地部署安装
托管sap以及基于私有云的sap 安装
sap rise
与此同时，我们正在推出其他功能，以最小的sap占用空间添加基于云原生的本机部署，以及原生非sap功能，以便能够利用sap netweaver以外的数据源，具有极大的灵活性和可扩展性。
OPPOA59m拆解教程
3DSVSP骨科虚拟手术规划平台已获得FDA许可
NEC电子中国将携全新解决方案亮相AMRChina 2008
应急灯电路图工作原理
文件系统-一切皆文件的设计理念
如何将SAP数据集成到任意云平台
汽车电路的基本接线规律
苹果新获两项汽车专利，涉及增强型车辆态势感知警报系统
凌阳16位MCU一改台湾芯片抗干扰性差软肋，EMC测试达国标
人工智能将真正地从实验室走进我们的生活
为汽车行业赋能 科达嘉携车规级电感亮相慕尼黑上海电子展
人脸识别市场竞争激烈 探讨新的商业模式十分重要
CPLD逻辑电路
中国半导体技术新突破，成功研发3纳米晶体管
厂家直销8路电话录音卡 8路电话录音板卡 PCI插槽 录音系
开发本该如此高效！动手实操指南奉上
AMD新显卡曝光 性能可达到RTX 2080 Ti级别
TE Connectivity联手贸泽电子推出全新电子书 深入探讨车队远程信息处理的设计注意事项
艾迈斯得通过取消中止协议发起针对欧司朗的收购要约 并宣布拟每股38.50欧元的价格收购欧司朗
Mini/Micro LED相关项目传来最新动态