搜索
SAPBI项目MM模块ETL设计说明书当前版本:拥有者:最后更新日期:最后更新者:作者:创建日期:批准者:批准日期:修订历史版本号更新日期修订作者主要改变描述目录1.概述.......................................................................................................................................................52.ETL系统架构设计..................................................................................................................................62.1库存模型ETL系统逻辑架构.........................................................................................................62.2库存模型ETL数据流....................................................................................................................72.2.1日常库存及呆滞数据流..........................................................................................................................72.2.2历史库存及呆滞数据流..........................................................................................................................82.2.3数据源环境...............................................................................................................................................83.库存模型设计.......................................................................................................................................103.1PSA设计....................................................................................................................................103.2LEVEL1ODS层设计...................................................................................................................113.3LEVEL2EDW层设计..................................................................................................................143.3.1库存数据................................................................................................................................................143.3.2历史库存数据........................................................................................................................................343.3.3顶正呆滞................................................................................................................................................553.4LEVEL3DM层设计....................................................................................................................664.采购模型设计.......................................................................................................................................704.1PSA设计....................................................................................................................................704.2LEVEL1DSO设计......................................................................................................................704.3LEVEL2EDW设计......................................................................................................................714.4LEVEL3DM设计........................................................................................................................775.MM数据装载流程...............................................................................................................................801.概述本项目ETL部分的核心功能就是按照本设计说明书的架构，将数据由数据源系统(SAPR3)加载到数据仓库(SAPBW)中。其实现的困难在于ETL工作将面临复杂的源数据环境，包括多种R3标准数据源和增强结构、繁多的数据种类、巨大的加载数据量、错综复杂的数据关系和参差不齐的数据质量，这些都使ETL的架构和应用设计面临相当的挑战。通过高效的ETL系统结构、层次化的应用功能划分和BW标准的元素，ETL系统和应用架构设计需要能够达到以下目标：支持在此框架下实现BW数据仓库所需要的ETL功能；支持在规定的时间窗口内能够完成数据加载工作，即需要满足日常数据加载的性能需求；能够支持有效的应用程序开发模式，提高开发效率，尽量减少应用开发成本；减少系统维护的复杂性，支持后续增加新数据或功能的开发工作。ETL设计说明书为ETL开发提供指导，着重叙述数据仓库系统ETL系统的架构、功能和实施过程，其中包含了主要数据转换过程以及涉及到的客户化例程的说明。ETL过程依赖于源数据的准备就绪，本设计说明书同时也列出了模块所对应的SAP标准数据源和主数据数据源。由于ETL的复杂性，本设计尝试从多个层面进行说明，希望能够尽可能回答开发过程中所面临的问题达到指导开发的目的，但实际开发过程中，开发人员仍然可能遇到设计说明书没有涉及的问题，因此，遵循设计的基本思想，通过开发人员的反馈，在开发的过程中不断地完善和修正设计，对于ETL的开发是非常重要的。对于任何ETL开发过程中遇到的技术问题，开发人员需要与设计人员协商讨论，以迅速解决问题，保证开发顺利进行。而同时，为保证ETL系统架构的完整、统一、程序的可维护性以及开发的可管理性，对设计的修改必须得到控制，重要的变动必须通过版本管理流程来协调进行。本设计说明书将包括以下部分：架构设计：设计对应模块ETL系统的逻辑架构以及分析数据流。ETL过程说明：包括ETL过程涉及到的各步骤说明，如信息包的更新机制，转换过程中涉及到的特定例程控制，DTP的执行和更新机制等等。数据加载流程：说明了对于本模块而言在运行特定步骤之前需满足的条件。2.ETL系统架构设计2.1库存模型ETL系统逻辑架构上图是ETL系统逻辑架构。从宏观设计上，历史数据、初始数据加载和日常数据加载的ETL都将按照此架构设计。该架构将ETL作为一个整体来设计。对于数据仓库的加载，ETL分为数据抽取（Extract）、数据转换（Transform）以及数据加载（Load）3个阶段。2.2库存模型ETL数据流2.2.1日常库存及呆滞数据流2.2.2历史库存及呆滞数据流2.2.3数据源环境数据源全部由SAP系统提供，数据源包括两种类型业务数据数据源日常增量源数据：即物料凭证，2LIS_03_BF初始加载源数据：即库存初始化，2LIS_03_BX主数据数据源文本数据源属性数据源层次结构数据源3.库存模型设计3.1PSA设计PSA数据源：库存模型的PSA业务数据源包含2LIS_03_BX及2LIS_03_BF，并且使用0CO_PC_ACT_1作为价格数据源，计算库存价值；数据源增强：2LIS_03_BF中增强了ZZMAUFNR_IND及UMLGO字段，ZZMAUFNR_IND用来判断是否是生产订单大订单，这个字段的用处是PP模型需要使用，不涉及库存模型计算；UMLGO表示收货库存地点；信息包：2LIS_03_BF信息包包含增量、全量及初始化信息包初始化信息包增量信息包全量信息包3.2Level1ODS层设计MM_D131,库存管理的货物移动MM_D131是写优化DSO，其结构与PSA一样，存储最原始的货物移动，其结构如下：在2LIS_03_BF到MM_D131的数据加载中，在DTP中过滤了不必要的工厂代码，在过滤器中设置如下所示：MM_D160,库存管理的库存初始化初始化库存模型是写优化DSO，其结构与2LIS_03_BX保持一致，在数据2LIS_03_BX到MM_D160的数据加载中，无数据过滤；MM_D140,实际成本核算/物料分类账3.3Level2EDW层设计3.3.1库存数据MM_D223库存中间数据MM_D223从MM_D131加载数据，过滤掉其中库存种类为空的数据；该数据源存储的是物料移入移出的记录，并无特别计算；开始例程如下：DELETESOURCE_PACKAGEWHERESTOCKTYPE'A'ANDSTOCKTYPE'B'ANDSTOCKTYPE'C'ANDSTOCKTYPE'D'ANDSTOCKTYPE'F'ANDSTOCKTYPE'H'ANDSTOCKTYPE'Q'ANDSTOCKTYPE'R'ANDSTOCKTYPE'V'.ZFIR_DA