分析报表引擎分析报表引擎是分析报表的核心内容设置的地方，下图可以简要说明分析报表引擎下各节点之间的关联关系：一、数据源数据源，顾名思义数据的来源。在数据源中存储了所有建立数据库连接的信息，通过提供正确的数据源名称便可以找到相应的数据库连接。数据源节点用于解决不同产品之间或同产品不同功能模块之间需要进行数据提取、查询和分析时的不同的数据源配置问题。数据源配置界面如下图所示，从该图中可以看出数据主要被划分为三部分：默认定义数据源、有效数据源和执行数据源。1、默认数据源：查询分析默认定义在哪个数据源上及当前环境读取哪个数据源上定义的数据信息。2、有效数据源：启动中间件时的所有能够连接的合法数据源，实际上也就是nchome\ierp\bin\prop.xml文件中的所有定义过并且能够正常连接的数据源。3、执行数据源：执行数据源指的是设置查询分析时可定义为取数来源的数据源，设置后会存储在\nchome\resources\smart\datasource.xml文件中。二、元定义驱动用于配置元定义驱动扩展信息，通过驱动的方式来挂接不同类型的业务数据。元定义可以用于语义模型、数据集成等数据分析设置使用。目前uap默认提供了语义元数据、语义查询模型、数据字典三种元定义驱动。元定义驱动对应的后台配置文件位于：\nchome\resources\smart\meta_driver.xml文件中,配置信息如下:元定义类型元定义显示名多语资源目录多余资源ID驱动类全路径名取数数据源三、数据集成1、数据集成简介数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，然后按照定制的处理流程将查询结果集进行转换、清洗，并最终持久化到指定的目标数据源中同时对目标数据提供基于元数据管理以及与其他业务模块的集成，最终为企业提供全面的数据共享。2、数据集成功能介绍数据集成主界面如下图所示，界面上方预置常用功能按钮，下方分为三个区域：其中：作业明细区列示了数据集成中的全部作业信息，每个作业下列示着该作业的全部任务信息。任务设计展现区：鼠标双击某个作业后在任务设计展现区即可展示出该作业的任务信息，双击某个作业即可进入该作业的设计界面。元定义/转换器展示区分为两个页签，在元定义页签列示了可以用于任务设计的全部元定义信息，此部分数据来源于元定义驱动处配置的全部元定义信息。转换器页签列示了可以用于任务设计的全部转换器。转换器分为输入（数据的来源）、通用（数据的处理工具）和输出（将数据之久化到何处）。下面介绍下这些转换器的使用。转换器--输入1、Excel输入，支持将外部数据通过excel格式导入。例，如下图举例将学生的成绩信息通过excel方式维护完毕。将转换器“Excel输入”拖放在任务设计展现区，并鼠标双击后进入设置界面，如下图所示：在“文件”页签，字段“Excel文件：”后录入所要导入的excel的文件路径。注：此路经读取的是服务器路径，因此需要将待导入的文件放置在服务器上。选择工作簿类型的信息后点击“获取工作簿”后会将excel中的所有工作簿读取过来。在“属性设置”页签,可以勾选“首行值作为列名”来确定列名称，点击“获取元数据”即可获取到所有元数据信息并列示在界面下方。以上通过Excel导入方式获取的数据最终直接输入的结果如下所示：2、SQL脚本，即通过拼SQL作为获取数据的来源。将转换器“SQL脚本”拖放在任务设计展现区，并鼠标双击后进入设置界面，如下图所示：界面左侧列示了数据字典，在界面右侧空白区域直接录入sql语句并校验通过后直接点击“确定”按钮即可，比较简单，不再做过多的介绍。3、元定义将转换器“元定义”拖放在任务设计展现区，并鼠标双击后进入设置界面，如下图所示：在模型参照中点击后方参照图标后即可进入“选择元数据”的选择界面，以选择物料基本信息为例，点击“确定”按钮完成所有设置。则直接输出后所得数据即是通过物料基本信息元数据获取的全部数据信息。4、日期生成,即按照所选年份生成期间的日期。将转换器“日期生成”拖放在任务设计展现区，并鼠标双击后进入设置界面，如下图所示：设置需要生成日期的起始和结束年份及生成的日期的类型，则最终直接的数据展现结果按照此处设置的格式进行展现。转换器—通用在介绍转换器—通用下的各个转换器功能前，我们先看下直接进行输入输出的情况，即讲任务设置如下，其中，sql脚本设置为select*frombd_account;即，查询科目表中全部数据。进入数据预览，结果如下:可以看出，直接输出情况会将sql拼接的语句结果直接展示出来，如需要对结果数据进行加工处理，如查询的字段、排序等只能在sql语句中直接写定，而sql语句拼写过长对于非技术人员来说有一定困难。“转换器—通用”即是用来对sql语句查询结果的二次加工，操作简单，使得非技术人员也可以快速对数据进行加工处理。1、查询:可以对输入的数据设置关联条件，并添加过滤筛选等条件.在上面直接输入输出的任务中增加查询转换器。将“查询”转换器加入后双击该转换器进入设计界面，在元数据定义页签可以定义最终的输出字段；当来源是多个sql脚本时可以在连接页签设定sql间的连接条件；在描述符页签可以定义筛选和排序条件（测试排序功能不生效），以简单的定义输出字段为例，如下所示：则进入数据预览结果如下，可见的字段如查询处设置进行展示。2、唯一在上面的查询结果中可以看出存在code重复的数据，例code=1001，通过转换器“唯一”可以对重复数据进行过滤并保留唯一值。如下再添加“唯一”转换器。双击“唯一”转换器进入唯一条件设置界面，界面默认加载所有查询的字段，可以勾选每个字段后的唯一属性，也可以勾选“整行唯一”属性设置唯一条件，以勾选code字段为例：进入数据预览结果，如下：3、过滤数据集成还提供了数据过滤功能，再将转换器“过滤”添加到任务中，如下所示：双击“过滤”转换器图标进入过滤条件设置界面，界面左侧预置一些常用的功能按钮，点击“新增”即可新增一条过滤条件，同时通过界面左侧的升级、降级按钮实现对过滤条件的级次设置。过滤条件设置如上图所示，即过滤只显示code值为以1001开头的数据信息，则数据结果如下：4、展平根据编码列和编码规则，对指定的列进行展平。双击“展平”图标，进入展平的设置界面，根据需要进行设置。5、序列序列功能即是对数据结果增加序列号的功能。将“序列”拖放到需要的位置，并配置任务信息如下：双击“序列”图标，进入“序列”的设置界面，其中“字段名”表示在目标表中存放序列号的字段，此字段名一定要保证与数据集中的元数据名称不一致，否则名称冲突会导致任务执行报错。“起始值”表示序列号的初始值。“步长”指的是序列号间隔，例如起始值设置为0，步长设置为2，则序列号会依次是0，2，4……。“最大值”表示序列号的最大值，设置最大值时一定要保证数据的序列号不要大于此处设置的最大值，如大于任务执行会报错。将序列设置如下：则数据预览效果如下：6、行合并行合并功能是针对多个结果集的数据结果进行剔除重复数据的处理。例如下面的举例，当任务有多个数据来源且来源的元数据名称及类型完全一致时，查询到的数据可能存在重复的数据行，“行合并”功能即是对来源是多个结果集的数据进行行过滤的。转换器-目标表目标表：用于存储最终处理完毕的数据的结果信息数据。可以引用数据库中已有的数据库表，也可以创建新的库表。相对较简单，此处不做过多介绍。3、数据集成应用过程举例1、新建作业点击上方“newjob”按钮后会自动创建一个作业并展现在作业明细区。2、新建任务选中某个作业并双击该作业，则界面上方按钮区域的“添加任务”按钮变量并可用。点击下“添加任务”按钮后再进入“任务设计展现区”空白处点击下即可完成一个任务的创建。3、设计任务任务常见完毕后，双击该任务即可进入“任务设计”界面，可以拖动右侧元定义/转换器到任务设计区域来进行任务的设计，拖动完毕后，在任务设计展现区把鼠标放在某个转换器上，当鼠标变为小手状时可以直接拖动鼠标设置与其他转换器间的连线。下面分别举个简单的实例来说数据集成的功能。例1：输入输出任务中只设置输入和输出，即数据从输入条件取得，然后直接存储到输出的目标表。如下所示，输入使用SQL脚本，将转换器SQL脚本和输出的目标表拖放在任务设计展现区中，并设置连线。双击SQL脚本图标，进入SQL设计界面，可以在空白区域直接拼写查询sql，界面上方有数据源的选择框，可以参照选择“动态建模平台系统平台分析报表引擎数据源”节点中设置的全部执行数据源。SQL设计完毕点击确定完成即可。双击目标表图表，进入目标表设置界面，可以根据需要引用/创建目标表。引用即引用系统中已经创建的物化表，参照选择语义元数据管理的全部信息；创建即在指定的数据源中创建一张新的数据表，点击创建即可进入元数据编辑界面，根据需要设计创建表的编码、名称、分类及数据源信息。其中分类参照选择语义元数据分类；数据源参照选择“动态建模平台系统平台分析报表引擎数据源”节点中设置的全部执行数据源。注意：进行目标表设计前请确定好已经完成输入的设计过程，输入设计好后在目标表设置界面的字段信息页签会列示输入条件查询到的全部字段信息。4、执行作业以上即完成了一个作业的简单任务设置的全过程。作业创建完毕后选择该作业，在界面上方的运行按钮下设置了作业运行的操作设置。可以直接点击“运行”完成作业的执行，也可以点击“设置调度策略”进行作业调度的策略配置，配置后当时间满足策略配置条件时则自动执行作业（设置调度策略方法比较简单参见预警及后台任务）。任务执行后可以在调度队列中监制到此调度任务。调度任务执行完毕，可以在数据库中查看此数据集成的结果。四、调度队列调度引擎处理的业务,前台界面可通过“动态建模平台系统平台分析报表引擎”下的“调度队列”节点对所有调度任务条目进行监控。在调度队列主界面默认显示数据源处“默认数据源”下的全部作业及任务信息。可以查看作业、作业所属任务、作业和任务执行状况，并可以查看异常信息和进行性能追踪。如上面数据集成创建的作业执行时可以在调度队列中监制到其作业的执行情况。调度队列界面上方是执行作业管理区域，下方是执行任务队列区域，选择一个作业后如勾选执行任务队列处的“关联作业”并点击“查询”按钮，则将该作业下的全部任务显示在下方区域；如不勾选“关联作业”直接点击查询按钮则会将全部作业的任务均显示出来。界面字段介绍：作业名称：执行的作业名称。执行状态：显示作业的执行状态，分为COMPLETE(完成)、WAITING（等待）、RUNING（运行中）、ERROR（异常）、PAUSE（暂停）。任务总数：对应作业下的全部任务数。已完成任务数：对应作业下已经执行完毕的任务数。开始时间：作业开始执行的时间。接收时间：作业下全部任务执行完毕的时间。调度队列可以监测到的作业信息：执行级别：对于同一个作业具有多个任务情况，可以对改作业下的任务设置执行级别，任务按照级别进行批量执行，这样可以保证业务数据的先后关系。如批量计算中批量规则的先后顺序。模块信息节点信息对应的操作调用的方法企业报表数据中心--报表数据中心计算com.ufsoft.iuforeport.repdatainput.TableInputLocalCalThread税务管理税务报表查询计算等；com.ufsoft.iuforeport.repdatainput.TableInputLocalCalThread企业报表数据中心--报表数据中心多表计算nc.util.iufo.multicalc.MultiRepCalcModule数据中心--批量计算手工批量计算nc.util.iufo.batchrule.BatchCalcModule数据中心--报表数据订阅手工报表数据发布nc.util.iufo.mailrule.MailRuleModule数据中心--计划任务计划任务nc.util.iufo.schedule.PlanTaskModule数据集成作业执行nc.bs.di.schedule.JobHandler临时表和视图删除nc.bs.smart.db.TempTableSchdTask语义模型语义模型物化nc.bs.smart.data.SmartMaterialTask五、调度参数显示分析平台集群调度的控制参数。进入“动态建模平台系统平台调度参数”界面上方“集群节点信息”中列示出全部集群节点信息，包括节点ID、节点名称、活动、启用调度、调度主节点、活动时间、总权重、当前权重、执行线程数、空闲内存。选中某个节点信息行双击或鼠标右键选择“修改节点信息”即可为当前选择行设置是否启用调度和总权重。页面左下方显示作业模块管理，包括模块执行器、模块名称、执行优先级、任务权重、分属节点。执行优先级：设置了模块执行优先级后，在作业执行的时候会优先执行优先级级别高的模块作业。任务权重：按照权重值调度任务，如某个节点的总权重为100，已被任务占用的权重90，那么如果新任务的权重大于10，那么该任务则无法在此节点执行，只有其他任务释放后权重大于等于需要执行的任务权重时才能继续在此节点上执行该任务。分属节点：设置分属节点后，则该作业只能在指定的集群分属节点上执行。下方左侧的作业模块管理中，鼠标右键点击每个模块执行器所在行后选择“修改作业模块”，在弹出的界面内可以设置每个作业模块的信息，界面截图。页面右下方显示调度参数管理，包括参数名称、参数值、参数说明。选中一个参数，双击它，弹出设置调度参数界面，如图所示，设置参数值，点击“确定”即可。六、定时服务显示分析平台可处理的定时服务的信息。七、性能监控界面上方显示后台集群的性能日志。包括：标题、耗时、开始时间、线程、主机等信息。性能监控的启用：勾选“启用性能监控”后在超出以下时间开始记录中录入时间值后点击“确定”按钮即完成性能监控的启用操作，此后后台集群中的耗时凡是超过此处设置时间的操作均会被记录下来，点击标题查询后的“查询”按钮即可将监控到的耗时记录显示出来。选中某条记录后鼠标右键选择“性能追踪”即可进一步追踪到耗时操作的详细信息。性能监控处还提供了分析平台客户端性能监控日志，设置方法比较简单，勾选客户端性能日志处的“启用性能监控”并维护超出以下时间开始记录后的时间值点击确定按钮即可。之后即可检测到分析平台的耗时记录信息。八、缓存参数用于配置分析平台的与缓存相关的参数。界面分为：参数管理和缓存队列两部分。参数管理包括：客户端缓存定时刷新时间（秒）、服务器端缓存定时刷新时间（秒）、客户端最大内存数量（M）、服务器端最大内存数量（M）、客户端缓存生命周期（秒）、服务器端缓存生命周期（秒）。如需修改某个参数值可以双击该参数值即可进入参数修改界面，维护后确定即可,也可以直接修改nchome中对应的配置文件nchome\resources\smart\cache.xml文件。在缓存队列中列示了具体的缓存配置项信息，包括缓存类对象、卸除策略（值为lru（最近最少使用）、lfu（最近最频繁使用）、fifo（先进先出）、缓存加载器类名称、加载策略（值为all（全部加载）或part（部分加载））、允许缓存中存在的最大数量、VO类对象，配置文件位于nchome\resources\smart\cache.xml文件，配置文件信息如以下举例：nc.vo.smart.SmartDefModel--vo类名称nc.pub.smart.cache.SmartModelCache--缓存类名称part--加载策略lru--卸除策略100--允许缓存中存在的最大数量九、物化视图1、物化视图简介物化视图用于预先计算并保存表连接或聚集等耗时较多的操作的结果，这样，在执行查询时，就可以避免进行这些耗时的操作，从而快速的得到结果。2、物化视图流程第一步：创建物化视图时创建存储的日志空间（存储物化视图的对象的改变信息），可以建立为RowID或PrimaryKey类型的。以PrimaryKey类型为例，在源数据库中对需要执行物化的表执行如下命令，以对bd_areacl表执行物化为例：creatematerializedviewlogonbd_areaclwithprimarykey;bd_areacl为要进行物化的表，如要对其他表进行物化将其他表替换此处即可。第二步：在目标库中执行以下sql建立目标数据库与源数据库的数据库连接：Createdatabaselinkdblinkconnecttopanidentifiedby"1"using'20.10.130.164:1521/ora11g';pan为源数据库用户名，1为源数据库用户的密码，20.10.130.164:1521/ora11g为源数据库的地址及标识，可根据需要进行替换。第三步：在目标库中执行以下sql创建物化视图：creatematerializedviewpan120901refreshfaststartwithsysdatenextsysdate+10/1440asselect*frombd_areacl@dblink;pan120901为物化后在目标库中生成的数据库表；fast为增量刷新方式。以上步骤执行完毕后即可在物化视图节点查看到物化视图的信息。构建模式：有buildimmedidate和builddeferred两种模式，默认为buildimmedidate。buildimmedidate指的是创建物化视图时即生成数据；而builddeferred在创建视图时不生产数据，根据需要再生成数据。刷新模式：分为ondemand（按照需要进行刷新）和oncommit（即时刷新，基表发生变化并完成commit提交事物后立即刷新物化表）；刷新方式：分为fast（增量刷新）、complete（全部刷新）、force（判断是否可进行fast刷新，如可以则以fast方式刷新，如不可以则采用complete方式进行刷新）。十、数据镜像数据镜像就是两个数据库之间的复制。在数据镜像界面内根据需要设置源数据源和目标数据源，均是下拉选择数据源处的有效数据源。调度执行策略有三种，根据需要下拉选择设置即可。在高级设置中选定需要进行复制的表并将其选择到以选择数据表中。选择完毕后点击上方“执行”按钮。点击“执行”按钮后，数据镜像的执行作业可以在调度队列中监测到。
