红皮书-1.0查询引擎技术新一代云ERP解决方案2一.前言.11.1.背景..11.2.入门..21.3.小结..9二.对象管理.112.1.对象树..112.1.1.对象编辑..122.1.2.对象导入导出..122.2.首选项..132.3.资源权限..15三.查询模型.173.1.参数控制..183.2.SQL设计.203.2.1.数据字典..203.2.2.向导设计..213.2.3.手工设计..283.3.数据交叉..303.3.1.投影交叉..313.3.2.旋转交叉..353.4.代码嵌入..403.4.1.SQL整理.40新一代云ERP解决方案33.4.2.数据加工..433.4.3.穿透规则..473.5.查询执行..553.6.查询集成..563.6.1.复合查询..563.6.2.物化查询..563.6.3.合并查询..583.6.4.数据权限..59四.格式模型.614.1.引用查询..624.2.格式设计..634.2.1.控件管理..634.2.2.属性绑定..714.2.3.行列格式设计..734.2.4.预定义数据处理..774.3.报表浏览..854.3.1.界面初始化..854.3.2.数据处理..874.3.3.控件连动..924.3.4.报表打印..93五.报表发布.95新一代云ERP解决方案45.1.发布为功能节点..965.1.1.手动挂接..965.1.2.向导发布..97六.插件开发.996.1.生成插件..996.2.设计插件..1076.3.管理插件..1086.4.开发小结..109七.查询引擎新特性.1107.1.新特性..1107.2.功能变更清单..1107.3.功能变更清单..1117.4.新增功能描述..1117.4.1.参数重构..1117.4.2.分页技术..1157.4.3.SQL代码辅助器.1197.4.4.数据字典级别权限控制..120八.附录.1248.1.查询引擎FAQ之参数篇..1248.2.交叉表的使用样例..1278.3.查询与格式对象安装盘预置方案..133新一代云ERP解决方案58.4.查询引擎报表联查业务节点应用方案.1348.5.基于QE底层的查询个性化设计方案.1398.6.个性化控制类（JAVADOC）.144新一代云ERP解决方案1一.前言查询引擎（QueryEngine，简称QE）的功能定位是，一个面向高级实施人员和专业开发人员的查询建模产品，可以全面支持复杂查询的设计和个性化的报表展现。1.1.背景查询引擎在功能流程和查询模型方面参考了其前身产品“自定义查询”的理念，在界面设计方面汲取了FormDesign的思路，同时融入了DW的技术，并依赖于通用的U8CLOUD数据字典。（1）自定义查询：U8CLOUD于2000年开始研发的一个面向中级实施人员和二次开发人员的查询报表工具，由查询管理中心、报表格式设计、报表浏览、报表权限控制和数据加工厂几个模块构成，此工具首次提出了基于数据字典来管理数据并建立查询对象的思路，能够提供比较丰富的查询分析、数据加工和报表展现功能。（2）FormDesign：U8CLOUD于2003年开始研发的一种界面开发模式，定位于支持功能建模。（3）数据字典：一种管理数据库逻辑结构的机制，存在于物理数据库和用户接口之间。U8CLOUD于2002年开始研发数据字典，最开始只用于自定义查询，后来经过功能强化和逐步推广，成为现在的DDC（DataDictionaryControl）。其功能包括数据库对象的管理与编辑、数据字典的解析生成等。（4）数据仓库：U8CLOUD的一个独立产品，能够按照指定的入仓规则从多个业务数据库抽取数据，并通过入仓服务定期把数据加载到数据仓库。产品的需求背景如下所述。（1）复杂查询报表的需求：在实际的业务查询中，开发人员经常会遇到以下一些棘手的问题——复杂的SQL，从不同的查询条件得到完全不同的查询结果，查询结果的复合，业务逻辑代码和大量数据加工算法的介入，各种各样的数据交叉和数据处理手段等等；在展现格式方面，通常要求灵活、友好、可视化、个性化的设计界面，丰富的展现控件和统计图表，依据数据对单元格、列表头和行表头的格式进行设置，表单控件之间的连动等等。这一切都对早期的查询报表工具提出了艰巨的要求。（2）二次开发的需求：随着U8CLOUD对行业用户的拓展，由业务组程序员在通用软件中针对每个查询报表需求进行开发的方案已经变得不太现实，一线人员越来越频繁的面临来自用户的个性化报表新一代云ERP解决方案2实施压力。实施团队迫切要求一个强大而且易用的二次开发工具，尽管功能的强大和易用往往存在着一些矛盾。（3）工具整合的需求：自定义查询在推出后，在实施中得到了一定的应用，但局限于出复杂程度不太高的查询报表。IUFO是公司的传统报表产品，它更偏重于报表的管理方面，比如报表的发布、审核、校验等等。数据仓库使查询的应用由单数据源拓展到了多数据源，并且提供定时同步业务数据的功能。为了有效地实现资源共享，结合发挥各个工具的优势，U8CLOUD决策层一直在推动相关产品的整合。（4）查询分析软件发展潮流的需求：近几年来，查询分析、数据挖掘、商业智能的研究不论在企业应用还是在学术领域都成为热点，ERP软件的数据建模和查询建模功能已经成为代表产品水平的重要指标。1.2.入门现在让我们来看一个最基本的查询样例，作为入门，我们知道在任何ERP系统中都存在公司和用户的概念，下面我们做一个查询某公司下用户的查询。1.企业建模平台自定义查询查询引擎查询引擎管理图一-1新一代云ERP解决方案32.在“查询设计”树下新建一个目录，“jl测试用例”，并在这个目录下面创建一个查询对象――用户查询。图一-23.选择参数定义，这里我们定义一个名为param1显示名为“公司”的参数，注意这里的数据类型选择编码参照，枚举项中选择这个编码参照的类型，我们将根据这个参数选取的值来确定待选公司，并且在查询中根据这个参数选取的值来进行结果筛选。新一代云ERP解决方案4图一-34.制作查询定义，制作一个查询定义的具体流程实际上就是为了生成一条SQL语句，查询数据源去获取数据，但是这个生成SQL语句的过程被我们用图形化界面代替了，用户只需要了解基本的SQL规则就可以了，无需亲自手动去写纷繁复杂的SQL语句，同时我们也支持手工SQL。图一-4新一代云ERP解决方案5用户可以通过增加表来增加数据字典中的数据表，也可以点击临时表引用前面做好的查询定义对象，引用查询定义对象相当于设计了一个复合查询，关于复合查询的定义参见第二章第六节查询集成。这里我们选择增加表来增加一个sm_user表，这张表里面存储的是U8CLOUD系统的用户信息。图一-5在选择字段页签下选择“用户名”等字段，这里的字段表达式可以是某表的字段，也可以是字段的运算或者函数处理表达式，例如：len(sm_user.user_name)，就是代表user_name这个字段的字符串长度。显示名可以是用户自定义的字符串，将来显示在报表的列表头区域。新一代云ERP解决方案6图一-6前面我们提到这个查询必须按照公司为条件，过滤查询出来的用户，实际上就是为SQL语句生成一个where条件，我们支持两种条件，固定和待定，顾名思义固定条件写好之后就不能变化，而待定条件是跟参数设置相关的，可以根据用户输入参数变化。我们在这里选取待定条件，用户表的公司编码字段等于前面我们设置过的param1。关于查询定义的设计后面的章节将有更详细的论述，这里只介绍最基本的功能。5.制作格式设计新一代云ERP解决方案7图一-7新建格式设计文件夹以及对象的方式与新建查询对象的方法一样，这里略去不讲。生成新的格式设计对象之后可点菜单中的界面模型引用查询，来绑定我们刚才做好的查询设计对象“用户查询”。图一-8选取刚才做好的查询之后我们在点击界面模型格式设计，这里可以选取我们预置的几种界面模型之一，新一代云ERP解决方案8例如这张表我们选取表头+表体格式。图一-9最后点菜单中的浏览，让我们浏览一下制作出的第一张报表，新一代云ERP解决方案9图一-10点浏览之后我们会看到一个选择参数的对话框，在这个参数对话框中我们可以设置自己的参数值，比如我们选取sunny_corp这个公司，点确定，则可以浏览这个公司下的所有用户，如下图。图一-11选择表头区域的公司参照，我们可以浏览不同公司下的用户。至此一个最简单的自定义查询已经制作完毕，我们可以将做好的查询作为独立节点发布到系统下供用户使用。1.3.小结在本章中我们介绍了查询引擎的发展历史以及产品的需求背景，通过一个入门样例，让用户初步了解了查询引擎的基本功能，在后面的章节中我们将详细介绍查询引擎的各项功能，并通过一些样例使得用户能够使用本产品进行快速便捷的二次开发。下图是对查询引擎开发流程的一个示意：新一代云ERP解决方案10图一-12查询建模体系新一代云ERP解决方案11二.对象管理2.1.对象树查询引擎的管理调度功能由主界面完成，主界面左侧为一棵对象树，树上挂有代表查询对象和界面对象的节点，右侧为显示当前选中对象基本属性的属性框。图二-1管理调度主界面·对象树（ObjectTree）：对象树是一个支持层次管理的数据结构，它维护自身的加载、存储和节点的目录管理，每个节点的信息主体存储在数据库的一个BLOB字段中。对象树上的节点通常分为目录（Folder）和对象两类，并支持快速定位（在树获得焦点时用ctrl-f快捷键可弹出查找对话框，支持按编码或名称来模糊查找）。·属性框（ObjectInspector）：一个自动显示对象的属性和取值的控件，取值部分会根据属性的数据类型采用不同的渲染器来展示，不同的编辑器来编辑。新一代云ERP解决方案122.1.1.对象编辑目录的编辑操作如下：（1）增加/删除/修改：在根节点或目录节点之下可以增加目录，删除目录时会删除目录下的所有对象。目录的可修改属性为目录名称。同一目录下的目录和对象不能重名。（2）复制/剪切/粘贴：在查询子树或格式子树下，可以将一个目录及其下属内容从某位置拷贝或移动到另一个位置。对象分为查询对象和格式对象，其编辑操作如下：（1）增加/删除/修改：在根节点或目录节点之下可以增加查询对象或者界面对象。前者的属性为编码、名称和数据源，后者的属性为编码和名称，其中编码一经使用，就不再建议作任何修改，因为此编码可能被其它对象引用。请注意对象的唯一标识是编码而不是显示名称，一个查询对象或是格式设计对象可以有多个显示名称但是只能有唯一的编码。（2）复制/剪切/粘贴：在查询或格式子树下，可以将一个对象从某位置拷贝或移动到另一个位置。请注意这里的复制粘贴都是在同一棵树下的，如果复制格式设计对象到查询对象树下则会出错。2.1.2.对象导入导出（1）导出：选中某个对象，可将其导出为XML文件，文件里描述了对象的所有信息；也可选中某个目录，将该目录下所有的子目录和对象都导出到指定位置（保持原有的目录级次）。（2）导入：在选中某个目录之后，导入功能可用。导出的XML文件，可以导入到当前目录下。此功能可用于对象的跨数据库复制。导入时，我们可以选择单个文件，也可以选择一组文件或目录，导入后会保留原目录的级次结构。需要注意的是： 在导出查询对象或界面对象时，需将其引用的查询对象一并导出才有意义； 导入不能违反对象主键及名称的唯一性约束。下图显示了某查询对象所导出的XML文件。新一代云ERP解决方案13图二-2导出XML文件（3）在导入导出的过程中需要注意的一个问题是数据源的问题，在实际应用中经常出现这样的场景：实施人员在自己的环境（数据源为home）下做了一对查询模型设计和格式设计，然后导出这一对设计对象为xml文件，然后到用户的环境（数据源为customer）下执行导入，发现无法查出数据，并且提示“找不到查询所用数据源”，这是因为导出成XML文件的时候，记录在XML文件中的执行数据源是home，而客户的数据源名称是customer，与查询模型设计中的数据源不符合，这样查询模型就无法到正确的数据源下去取数，可以在弹出的提示框“是否修改执行数据源为当前数据源”，选择“是”，则该查询设计模型的数据源被修改为当前账套的数据源，这样就可以在客户的数据源中正确取数了。2.2.首选项QE数据源的配置统一放在查询引擎环境变量设置（又称首选项）这个节点里面，该节点位于企业建模平台二次开发平台自定义查询下，界面如图2-6所示：新一代云ERP解决方案14图二-3查询引擎首选项管理这个节点存放查询引擎运行所需要的环境变量或者首选项变量，这些变量被存储在后台queryengine.xml中，位于u8chome/ierp/bin目录下，由于本文下面的章节中还有需要涉及到环境变量设置的地方，所以这里只提及数据源环境变量的设置。✓有效数据源：启动中间件时的所有能够连接的合法数据源，实际上也就是prop.xml文件中的所有定义过并且能够正常连接的数据源。✓查询执行可用数据源：查询引擎所能够引用的执行数据源列表，查询引擎管理中所有的查询模型的取数数据源范围就在这个列表中定义。请注意一个查询执行数据源必须是一个有效数据源。✓数据加工数据源：查询引擎中高级功能“数据加工”所使用的数据源，二次开发人员需要特别注意在使用数据加工这个功能时，在获取数据源的时候有如下语句：getEnv().getDefaultDsn();这句话返回的就是在这里定义的“数据加工默认数据源”。支持多种数据加工数据源，这里定义的时在默认情况下的数据源，下表列出在各种查询引擎版本下的数据加工数据源及其含义。新一代云ERP解决方案15版本号对应数据源及其含义LOGIN查询引擎单数据源版本，数据源为当前登陆账套数据源Default默认数据源，在查询引擎环境变量设置中显式定义的数据加工默认数据源DW查询引擎的DW版本，数据源为查询引擎环境变量中定义的DW数据源BPM查询引擎的BPM版本，数据源为查询引擎环境变量中定义的BPM数据源QMD查询引擎多数据源版本，数据源为查询对象设计中查询对象的数据源表二-1首选项配置的内容还包括数据仓库应用的一些配置，以及界面操作过程中的与个性化或性能相关的设置，比如后面会提及的查询执行的最大行数限制等等。首选项对应的配置文件是%U8C-HOME%\ierp\bin\queryengine.xml，是被全集团共享的。2.3.资源权限单数据源版查询引擎支持对不同公司的不同用户授予全部权限或浏览权限。全部权限是指所有查询、格式对象的设计和浏览权限，浏览权限是指能够浏览指定格式对象的报表展现。新一代云ERP解决方案16图二-4查询引擎权限分配如果想做更细粒度的资源权限控制，比如建立基于创建者的权限体系，或者对查询设计者的可查数据字典进行限制，则需要通过下文介绍的管理插件和设计插件技术进行开发。新一代云ERP解决方案17三.查询模型查询模型的定义包括参数定义、SQL设计（含交叉定义）、SQL整理、数据加工、穿透规则等几部分，其中穿透规则描述的是本查询与外部查询的通信关系，剩余部分都用于描述查询内部的属性。查询引擎的查询模型（数据模型）设计如下：图三-1查询模型示意图查询设计态和运行态的基本流程如下图所示：新一代云ERP解决方案18图三-2查询模型流程3.1.参数控制参数是查询模型中代表动态信息的元素。在SQL设计、SQL整理和数据加工中，均可以根据参数的不同，对查询的定义和执行进行调整。过滤型参数：如果创建某个参数的作用是根据其取值的不同改变WHERE条件的设置，则这类参数成为过滤型参数，这是最常用的参数功能（参数的FAQ可以参见附录）。（1）参数定义：用于定义本查询内部引用的所有参数，其中参数名要保证互不相同。数据类型包括自由录入、枚举、参照几种，当类型为枚举时，枚举项为用“@”分隔的枚举值，或者是一个单字段的查询SQL；当类型为参照时，枚举项为基础参照名，或者是用尖括号括起的自定义参照的类名。致开发者：该类应该放置在client以上的包中，对于放置在private中的类，则会抛出ClassNotFoundException（2）参数引用：参数可在SQL设计的筛选条件页签引用，也可在SQL整理或数据加工的嵌入代码中利用编码向导引用。这里当筛选条件是待定条件的时候，双击“值”，文本框，就可以弹出参数选择对话框，点击选择对应的参数即可。（3）参数设置：运行态要求用户首先对参数进行设置，这与查询模板的使用类似。当报表引用了多个查询时，参数将通过多页签设置，每个页签代表一新一代云ERP解决方案19图三-3参数定义图三-4参数引用新一代云ERP解决方案20图三-5参数设置替换型参数：是指参数名以#开头并以#结尾的参数，多用于手工SQL设计中，也可用于向导SQL的非待定条件部分。这种参数通常相当于preparestatment中的?占位符，关于替换型参数，后面的章节中还有详细介绍。在设置替换型参数的时候，不输入值将不被认为是忽略此参数对应的条件。3.2.SQL设计SQL设计包括向导设计方式和手工设计方式，无论采用哪种，在完成设计时系统均会对SQL进行合法性校验，如未通过校验则不能保存设计。作为向导设计的一个重要组成环节，我们有必要先介绍一下数据字典。3.2.1.数据字典前面已经提到过，查询对象的属性中包含数据源信息，因此在设计查询的时候需要加载相应数据源的数据字典。我们知道，U8CLOUD的数据库以DDC作为数据字典，但非U8CLOUD的数据库则没有DDC，此时，系统会根据执行数据源是U8CLOUD、IUFO或其它数据库三种情况分别加载不同的数据字典，而且这一机制已经预留了扩展的接口，其目的就是可以面向各种类型的数据库执行取数功能。U8CLOUD数据字典提供了统一的数据建模平台，支持对各种数据库对象进行管理，维护这些物理对象的新一代云ERP解决方案21逻辑属性，并向外系统提供访问数据库逻辑信息的接口。以查询引擎为例，查询对象的定义是基于数据字典进行的，而这份数据字典来自查询对象所指定的数据源。由于多数报表的列与业务数据库的字段存在某种对应关系，因此数据字典的存在有助于提高查询定义的直观性和易用性。图三-6U8CLOUD数据字典U8CLOUD数据字典通常在安装产品时候由系统生成，如果想自己为某些数据库对象生成字典，可以采用数据字典管理界面提供的导入方法。导入方式包括三种（详细操作可参见《数据字典导入说明》）：1、解析PDM文件（xml格式）；2、解析U8CLOUD标准建库脚本；3、提取数据库元数据；如果需要给非U8CLOUD数据库（比如用户采用的第三方数据库）生成数据字典，可以利用PowerDesigner提供的逆向工程功能将库里的物理表生成PDM文件，修改其中表和字段的中文名称，然后以xml文件格式存储，再使用上述第一种方法导入。查询引擎中用到的数据字典都以一棵对象树的形式存在，树节点包括目录、表、视图、字段、外键等信息，通过双击对象节点可以协助录入SQL语句的成分。3.2.2.向导设计向导设计参考典型SQL的构成规则，充分利用数据字典的功能，引导用户一步步完成SQL的设计，因此新一代云ERP解决方案22是推荐使用的方式。它由以下六个环节构成，其中最后一步“交叉属性”超出了SQL的涵义，我们在后面的专门章节中进行介绍。（1）表定义：即SQL语句中的from部分，可以利用数据字典选择库里的数据表，也可以选择查询对象，从而实现查询的集成（基于查询结果定义新的查询）。图三-7表定义新一代云ERP解决方案23图三-8增加表（物理表）与临时表（2）连接定义：即SQL语句中的join部分（表间连接关系），支持典型模式和高级模式，典型模式实际就是关系数据库中的单键连接，连接字段只有一个，并且操作符都是常见的’=><’，而高级模式可以自由设置连接表达式，支持多键连接。新一代云ERP解决方案24图三-9连接定义典型模式图三-10连接定义高级模式（3）字段定义：即SQL语句中的select部分，可以定义任何SQLSERVER语法支持的查询表达式，但要保证字段别名不重复且使用规范名称（以字母开头、由字母、数字、下划线组成的字符串，新一代云ERP解决方案25且不能使用SQL保留字）。如果使用了聚集函数，则由系统自动完成groupby部分。系统中增添了这样的功能，可以在查询字段中添加U8CLOUD的公式，但是这些公式需要特定的格式，例如取得前台数据库缓存中某表的一个或多个字段，可以使用’{getColvalue(xx,yy,zz)}’，请注意单引号和大括号是必须的。这里的处理机制是先将上述公式作为一个字符串，在查出结果集之后再把公式翻译执行。所以这里的公式是基于最终结果集的。图三-11字段定义新一代云ERP解决方案26图三-12表达式生成器（4）筛选条件定义：即SQL语句中的where部分，可定义确定条件和待定条件。如果是待定条件，在值编辑框获得焦点时双击编辑框可弹出参数界面并作引用（或者在值编辑框获得焦点时按F12键或者双击弹出参数引用框）；如果是固定条件，在值编辑框获得焦点时按F11键或者双击可弹出环境变量引用框，按F12键可弹出所引用的基础数据表的参照。对于在查询字段里使用了聚集函数的SQL设计，筛选条件可能需要使用having子句。Having页签默认是隐藏的，可以在查询定义框的南部面板按Ctrl+Shift+鼠标左键弹出隐藏的Having页签。新一代云ERP解决方案27图三-13筛选条件定义（典型模式参见图3-3）（5）排序字段定义：即SQL语句中的orderby部分。图三-14排序字段定义（6）向导设计完成后在查询定义框的南部面板鼠标双击可弹出向导生成的等效SQL（待定条件全用新一代云ERP解决方案28(1=1)代替）。该功能可以用来检查SQL语句是否有错。实际上，每次做完查询设计之后点击确定时，我们都会试执行一下您的SQL语句，但是并不查出数据来，如果您的查询设计最终生成的SQL语句有问题，那么就会有相应的出错提示。图三-15由查询设计生成的SQL语句（7）数据交叉属性：交叉是一种常用的多维数据分析手段，详见后文。3.2.3.手工设计手工设计是支持自由SQL的方式，由于复杂SQL在解析、适配、执行等方面的不稳定性较大，因此不推荐普通用户使用。手工设计分为以下两个环节：1)SQL录入：用户可以在数据字典的辅助下录入SQL语句，要求遵循SQLSERVER语法。如图3-13，注意，我们在SQL定义里用到了一个替换型参数（#pk_corp#），这里替换型参数也必须在前面参数定义中定义，并且参数名要以#开头并且以#结尾。（关于替换型参数的具体说明参见附录）；新一代云ERP解决方案29图三-16SQL录入2)SQL翻译：实际上最终到数据库中执行的SQL语句都是经过翻译的，U8CLOUD系统有专门的SQL翻译器对各种SQL方言进行翻译，在手工设计中可以选择是否启用翻译器这个功能，通常建议启用。图三-17SQL录入3)字段显示名设置：系统通过对用户录入SQL的解析获得字段信息，并向用户提供输入字段显示名的新一代云ERP解决方案30机会，显示名的默认值与查询字段的物理名相同。图三-18字段显示名设置3.3.数据交叉什么叫做数据交叉？在怎样的场景下需要用到数据交叉？让我们来看两个应用场景：1．我们从数据库的原始数据表中经过连接得到这样一个结果集，该表共有三行三列，现在我们想得到部门的员工民族统计表，图三-19下图是我们想要得到的最终结果：新一代云ERP解决方案31图三-20我们知道这样的查询实际上是不能通过SQL语句来实现的，因为通过SQL语句查询出来的列中不可能存在像汉族，满族，蒙古族这样的列，这些数值是原始数据库表中某列中的值。.
