金蝶EAS Cloud 银企私有云容器化部署指导手册_v2.0.0.docx

金蝶银企私有云容器化部署指南金蝶软件（中国）有限公司2021年1月版本：v2.0.01/56目录1银企私有云部署架构..................................................................................................31.1镜像启动顺序....................................................................................................41.2镜像内存分配....................................................................................................52公共组件介绍与容器化安装......................................................................................62.1docker介绍与安装............................................................................................62.2容器化安装mysql...........................................................................................102.3安装dos2unix转换docker文件格式.............................................................132.4容器化安装zookeeper.....................................................................................132.5容器化安装redis.............................................................................................142.6容器化安装elasticsearch.................................................................................152.7容器化安装logstash........................................................................................172.8容器化安装nginx............................................................................................183Docker镜像与容器使用...........................................................................................203.1docker内部安装工具......................................................................................203.2docker镜像导出与导入..................................................................................214银企云镜像启动原理................................................................................................254.1银企云服务端..................................................................................................254.2银企云管理端..................................................................................................284.3银企云dubboadmin.........................................................................................314.4银企云补丁服务..............................................................................................324.5回单云服务......................................................................................................334.6服务启动成功验证..........................................................................................375苍穹平台k8e部署银企云........................................................................................405.1加载容器镜像..................................................................................................405.2确认镜像地址及tag........................................................................................405.3mysql建库.......................................................................................................415.4创建容器服务..................................................................................................415.5服务访问..........................................................................................................455.6logstash配置....................................................................................................485.7银企云nginx相关配置...................................................................................515.8银企云服务启动验证......................................................................................536银企云补丁升级........................................................................................................577银企云镜像升级........................................................................................................582/561银企私有云部署架构部署架构示意图部署的技术支撑层为Docker，所有部署的服务组件都是基于Docker技术实现的，以镜像作为应用程序的载体，通过容器构建运行环境，并将应用程序进行启动。部署架构的底层为基础组件层，数据库使用的是Mysql应用版本为5.7，Redis所起到的作用为数据缓存、分布式锁，Zookeeper所起到的作用为dubbo的注册中心、银行前置机分布式锁，ES与Logstash共同实现银企云日志的存储与检索，Nginx可用于高可用和https安全访问。银企云依赖组件处于部署架构的中间层，dubboadmin用于监测dubbo服务端与客户端各个实例的运行状态，ebPatch为银企云独立补丁服务，主要为银企云提供补丁升级的服务。最上层的应用，都有依赖于这两个组件提供的接口服务。银企云服务位于部署架构最顶层，ebmessage作为银企云的消息服务，提供短信与邮件的预警、登录验证的通知服务，本身作为dubbo服务端，为ebboot、ebmanage、ebreceipt提供消息服务。ebboot作为业务处理主要服务，并提供与银行接口对接，本身既是银企云dubbo服务的提供者，也是dubbo消息服务的消费者。ebfacade作为银企云服务的网关组件，对外提供http访问接口，可以通过Nginx设置为https，它是银企云dubbo服务的消费者。1、物理机部署参考：3/562、正式环境容器部署参考：1.1镜像启动顺序银企云组件的启动顺序为：ebPatch->dubboadmin->ebmessage->ebboot->ebfacade->ebmanage->ebreceipt银企云镜像启动顺序：1、ebpatch_new:v2.0.04/562、dubboadmin_new:v1.0.03、ebg850_new:v2.0.04、ebmanage_new:v2.0.05、ebreceipt_new:v2.0.01.2镜像内存分配ebmessage、ebboot、ebfacade、补丁下载器这4个服务，统一打包在一个镜像（ebg850_new）内部，启动时需要至少为该镜像容器提供4.0GB的虚拟机内存空间，其中为ebmessage服务分配512MB虚拟机内存空间，ebfacade分配1024MB的空间，ebboot分配2048MB的空间，补丁下载器默认分配128MB的空间。ebmanage作为管理端服务，与补丁下载器打包为一个镜像（ebmanage_new）,启动时需要至少为该镜像容器提供2.0GB的虚拟机内存空间。ebreceipt作为回单业务模块的服务，同样与补丁下载器打包为一个镜像（ebreceipt_new），启动时需要至少为该镜像容器提供1.0GB的虚拟机内存空间。dubboadmin作为微服务监控服务，目前是单独打成一个独立镜像（dubboadmin_new），启动需要提供512MB内存空间。ebpatch作为独立补丁服务，用于安装银企云新补丁，并为其他镜像所在容器提供更新补丁服务，单独打成一个独立镜像（ebpatch_new）,启动需要提供512MB内存空间。容器cpu与内存分配最低配置银企云镜像名称CPU核心数内存分配ebpatch_new1512MBdubboadmin_new1512MBebg850_new24096MBebmanage_new22048MBebreceipt_new21024MB5/562公共组件介绍与容器化安装2.1docker介绍与安装1、什么是docker？Docker的思想来自于集装箱，集装箱解决了什么问题？在一艘大船上，可以把货物规整的摆放起来。并且各种各样的货物被集装箱标准化了，集装箱和集装箱之间不会互相影响。那么我就不需要专门运送水果的船和专门运送化学品的船了。只要这些货物在集装箱里封装的好好的，那我就可以用一艘大船把他们都运走Docker解决了软件环境部署复杂的问题。在软件部署的时候，经常会发生在这台机器上可以跑，但是在另一台机器上却运行失败的情况。运维人员需要不断在开发环境和服务器环境之间调试。使用Docker,只需要简单的几行命令，就可以做到所有的运行环境都一致。2、什么是docker镜像？Docker镜像可以看作是一个特殊的文件系统，除了提供容器运行时所需的程序、库、资源、配置等文件外，还包含了一些为运行时准备的一些配置参数（如匿名卷、6/56硬件平台服务器最低要求：8核3.0GHz以上，16G内存，500G存储空间、100M带宽，3台网络代理物理机：2核3.0GHz及以上CPU，4G运行内存，100G存储空间，100M带宽，双网卡，1台操作系统LinuxCentos7.0及以上RedHatEnterpriseLinuxAdvancedServerSuseLinuxEnterprise中间件Redis3.2及以上Zookeeper3.4.9及以上Elasticsearch6.7.1及以上Logstash6.7.1及以上Nginx1.8.1及以上数据库Mysql5.7.17及以上，支持8.0浏览器Chrome、FirefoxChrome59及以上Firefox59及以上环境变量、用户等）。镜像不包含任何动态数据，其内容在构建之后也不会被改变。银企云的镜像就是将单独部署在服务器的文件目录跟随JRE环境统一打包在一起，形成一个镜像文件。镜像文件可通过启动脚本或管理工具，将镜像导入在容器内运行。3、什么是docker容器？容器不是一台机器。Docker利用的是Linux的资源分离机制，例如cgroups，以及Linux核心命名空间（namespaces），来建立独立的容器（containers）。容器看上去是一台机器，实际上是一个进程。相比于虚拟机，容器的优势主要有：资源占用少启动速度快本身体积小Docker容器创建和销毁非常方便，很适合用来动态扩容和缩容，可以直接用在云计算当中的弹性服务当中。另外，基于Docker容器的隔离特性，一台服务器上可以同时跑很多个程序而做到管理方便，符合微服务架构的需要。4、Docker可以解决哪些问题？作为一种新兴的虚拟化方式，Docker跟传统的虚拟化方式相比具有众多的优势。首先，Docker容器的启动可以在秒级实现，这相比传统的虚拟机方式要快得多。其次，Docker对系统资源的利用率很高，一台主机上可以同时运行数千个Docker容器。容器除了运行其中应用外，基本不消耗额外的系统资源，使得应用的性能很高，同时系统的开销尽量小。传统虚拟机方式运行5个不同的应用就要起5个虚拟机，而Docker只需要启动5个隔离的应用即可。Docker在如下几个方面具有较大的优势：高效的利用系统资源快速的启动时间一致的运行环境持续交付和部署轻松的迁移、简单的管理轻松的维护和扩展快速的交付和部署5、Docker在linux系统安装步骤：1）检查内核版本，必须是3.10及以上[root@localhost~]#uname-r2）安装docker[root@localhost~]#yuminstalldocker3）启动docker[root@localhost~]#systemctlstartdocker查看版本[root@localhost~]#docker-vDockerversion1.12.6,build3e8e77d/1.12.64）开机启动docker7/56[root@localhost~]#systemctlenabledocker5）停止docker[root@localhost~]#systemctlstopdocker6）重启docker服务[root@localhost~]#sudosystemctlrestartdocker或者[root@localhost~]#sudoservicedockerrestart7）设置拉取docker镜像的仓库地址[root@localhost~]#vi/etc/docker/daemon.json{"registry-mirrors":["https://imzdredd.mirror.aliyuncs.com"]}配置完成，需要重启docker服务生效6、k8s介绍Kubernetes是它是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。通过Kubernetes你可以：快速部署应用快速扩展应用无缝对接新的应用功能节省资源，优化硬件资源的使用Kubernetes特点：可移植：支持公有云，私有云，混合云，多重云（multi-cloud）可扩展：模块化,插件化,可挂载,可组合自动化：自动部署，自动重启，自动复制，自动伸缩/扩展K8s总体架构K8s集群由两节点组成：Master和Node。在Master上运行etcd,ApiServer,ControllerManager和Scheduler四个组件。后三个组件构成了K8s的总控中心，负责对集群中所有资源进行管控和调度.在每个node上运行kubectl,proxy和dockerdaemon三个组件,负责对节点上的Pod的生命周期进行管理，以及实现服务代理的功能。另外所有节点上都可以运行kubectl命令行工具。APIServer作为集群的核心，负责集群各功能模块之间的通信。集群内的功能模块通过ApiServer将信息存入到etcd,其他模块通过ApiServer读取这些信息，从而实现模块之间的信息交互。Node节点上的Kubelet每隔一个时间周期，通过ApiServer报告自身状态，ApiServer接收到这些信息后，将节点信息保存到etcd中。ControllerManager中的nodecontroller通过Apiserver定期读取这些节点状态信息，并做响应处理。Scheduler监听到某个Pod创建的信息后，检索所有符合该pod要求的节点列表，并将pod绑定到节点列表中最符合要求的节点上。如果scheduler监听到某个Pod被删除，则调用apiserver删除该Pod资源对象。kubelet监听pod信息，如果监听到pod对象被删除，则删除本节点上的相应的pod实例，如果监听到修改Pod信息，则会相应地修改本节点的Pod实例。8/567、k8s可以做什么？使用Web服务，用户希望应用程序能够7*24小时全天运行，开发人员希望每天多次部署新的应用版本。通过应用容器化可以实现这些目标，使应用简单、快捷的方式更新和发布，也能实现热更新、迁移等操作。使用Kubernetes能确保程序在任何时间、任何地方运行，还能扩展更多有需求的工具/资源。2.2容器化安装mysqllinux系统下可以先输入sudo-i获得root权限，之后输入dockerpullmysql:5.7，会获取最新的mysql镜像，接着进行mysql容器的创建：sudodockerrun--name=mysql-it-p3306:3306-eMYSQL_ROOT_PASSWORD="kduser"-dmysql:5.7--name之后定义名字，MYSQL_ROOT_PASSWORD为自己定义的密码。如果已经创建过相应容器，则输入dockerps-a查看所有的容器，找到对应容器的containerID输入dockerstartcontainerID。之后输入dockerexec-itmysqlbash进入容器bash，9/56接着输入mysql-uroot-p进入mysql，之后输入showdatabases;查看数据库(进入mysql之后所有指令结尾都需要;)之后要使用某个数据库例如stock，就输入usestock;，进入stock数据库后就可以进行常规的sql处理。修改数据库密码：updatemysql.usersetauthentication_string=password('root')whereuser='root';flushprivileges;10/56银企云服务端boot可能会有ONLY_FULL_GROUP_BY的报错，此时处理方案有两种：数据库默认使用ONLY_FULL_GROUP_BY，报错：thisisincompatiblewithsql_mode=only_full_group_by解决方案：1）临时方案：set@@GLOBAL.sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';2）彻底方案：需修改mysql配置文件，通过手动添加sql_mode的方式强制指定不需要ONLY_FULL_GROUP_BY属性，my.cnf位于etc文件夹下，vim下光标移到最后，添加如下：sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION11/562.3安装dos2unix转换docker文件格式安装插件：yum–installdos2unix转换文件Dos2unixDockerfile安装telnet1、检测telnet-server的rpm包是否安装[root@localhost~]#rpm-qatelnet-server若无输入内容，则表示没有安装。出于安全考虑telnet-server.rpm是默认没有安装的，而telnet的客户端是标配。即下面的软件是默认安装的。2、若未安装，则安装telnet-server，否则忽略此步骤[root@localhost~]#yuminstalltelnet-server3、检测telnet-server的rpm包是否安装[root@localhost~]#rpm-qatelnettelnet-0.17-47.el6_3.1.x86_644、若未安装，则安装telnet，否则忽略此步骤[root@localhost~]#yuminstalltelnet2.4容器化安装zookeeper1、什么是zookeeper？ZooKeeper是一个高性能、集中化、分布式应用程序协调服务，主要是用来解决分布式应用中用户经常遇到的一些数据管理问题，例如，数据发布/订阅、命名服务、分布式协调通知、集群管理、Master选举、分布式锁和分布式队列等功能。在银企云中，zookeeper作为dubbo微服务的注册中心，负责发现并暴露银企云boot、message的微服务，提供给facade网关层调用。除此以外，银企云的银行前置机锁也是通过zookeeper实现的分布式锁。2、zookeeper的容器化安装下载Zookeeper镜像dockerpullzookeeper启动容器并添加映射dockerrun--privileged=true-d--namezookeeper--publish2181:2181-dzookeeper:latest查看容器是否启动dockerps12/562.5容器化安装redis1、什么是redis？Redis是一个高性能的key-value数据库，而且redis也是一个NOSQL类型数据库，是为了解决高并发、高扩展，大数据存储等一系列的问题而产生的数据库解决方案，是一个非关系型的数据库。银企云通过Redis缓存银行插件的基本元数据、网关token认证的缓存、消息的订阅与发布以及部分银行插件登录时分布式锁的实现。2、redis的容器化安装下载命令（速度较慢）：dockerpullredis启动redisdockerrun-p6379:6379-dredis:latestredis-server--requirepass"2020EBGBank"测试redis，进入容器内部后redis-cligetkey提示：(error)NOAUTHAuthenticationrequired.auth123456显示：oksetkey123getkey显示：1232.6容器化安装elasticsearch1、什么是elasticsearch？Elasticsearch是一个分布式的开源搜索和分析引擎,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据。在银企云中，日志管理模块对接es的查询引擎接口完成的日志搜索与查看。13/562、elasticsearch的容器化安装下载命令dockerpulldocker.io/elasticsearch运行容器ElasticSearch的默认端口是9200，我们把宿主环境9200端口映射到Docker容器中的9200端口，就可以访问到Docker容器中的ElasticSearch服务了，同时我们把这个容器命名为es。dockerrun-d--namees-p9200:9200-e"discovery.type=single-node"docker.io/elasticsearch:lastest配置跨域（以下为扩展内容，可以跳过，容器能够正常启动即可）dockerexec-ites/bin/bash#显示文件ls结果如下：LICENSE.txtREADME.textileconfiglibmodulesNOTICE.txtbindatalogsplugins#进入配置文件夹cdconfig#显示文件ls结果如下：elasticsearch.keystoreingest-geoiplog4j2.propertiesroles.ymlusers_roleselasticsearch.ymljvm.optionsrole_mapping.ymlusers#修改配置文件vielasticsearch.yml#加入跨域配置http.cors.enabled:truehttp.cors.allow-origin:"*"重启容器dockerrestartesDocker部署ElasticSearch-Headdockerpullmobz/elasticsearch-head:5运行容器dockerrun-d--namees_admin-p9100:9100mobz/elasticsearch-head:514/562.7容器化安装logstash1、什么是logstash？Logstash是一个日志收集器，可以理解为一个管道，或者中间件。功能是从定义的输入源inputs读取信息，经过filters过滤器处理，输入到定义好的outputs输出源。输入源可以是stdin、日志文件、数据库等，输出源可以是stdout、elesticsearch、HDFS等。银企云通过logstash将容器内各个服务的日志log文件采集并上传到es数据库中持久化缓存，然后通过日志管理模块对采集到的日志进行搜索与查询。2、logstash的容器化安装拉取镜像（镜像加速地址：https://imzdredd.mirror.aliyuncs.com）15/56dockerpulllogstash:6.6.1启动容器dockerrun-d-p4560:4560-itlogstash:6.6.1进入容器内部，修改配置文件dockerexec–it<contain_id>/bin/bash将usr/share/logstash/config中的logstash.yml文件清空在usr/share/logstash/pipeline中修改conf文件logstash.conf文件input{tcp{port=>4560codec=>"json"}}output{stdout{}elasticsearch{action=>"index"hosts=>["172.20.176.183:9200"]//修改为实际的ipindex=>"ebg850-%{+YYYYMMdd}"}}重新启动容器dockerrestart<contain_id>2.8容器化安装nginx1、什么是nginx？Nginx是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理服务器。其特点是占有内存少，稳定性高，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好。主要用于域名转换，配置https安全访问，回单云https单点登录配置，还可用于非容器化高可用部署，银企云服务的https反向代理等。在银企云中，可以为增强网关服务安全等级，配置https的访问方式，增加IP白名单访问限制，回单云单点登录https跳转。2、nginx的容器化安装启动容器：16/56dockerrun--namenginx-d-p80:80-p443:443nginx进入Nginx容器，如果忘记配置文件nginx.conf的位置，可以使用find-namenginx查找：进入/etc/nginx就可以看到nginx.conf文件，接下来退出容器，使用dockercp<容器id>:/etc/nginx/nginx.conf/home/kduser/mirror/nginx.conf拷贝出配置文件在修改完成配置文件后，再次使用dockercp命令，将配置文件覆盖回容器内部，最后使用dockerrestartnginx命令完成容器重启，并访问http://172.18.8.204:8017/56出现上图，代表配置修改成功，然后可以在银企云直接配置8800作为招行模拟银行前置机的访问端口。3Docker镜像与容器使用以dubboadmin为例，将其镜像导出tar文件归置在/home/kduser/mirror导入银企云dubboadmin命令：dockerreload–i/home/kduser/mirror/dubboadmin.tar而后检查镜像是否导入成功，可以参考10节docker镜像的导出与导入dockerimages接下来容器启动，注意修改脚本中的镜像版本shdocker_dubboadmin.shdubboadmin启动脚本其他镜像的操作同上述操作步骤，详细参考第4章银企云镜像启动原理。3.1docker内部安装工具在使用docker容器时，有时候里边没有安装vim，敲vim命令时提示说：vim:commandnotfound，这个时候就需要安装vim，可是当你敲apt-getinstallvim命令时，提示：Readingpackagelists...Done18/56BuildingdependencytreeReadingstateinformation...DoneE:Unabletolocatepackagevim这时候需要敲：apt-getupdate，这个命令的作用是：同步/etc/apt/sources.list和/etc/apt/sources.list.d中列出的源的索引，这样才能获取到最新的软件包。等更新完毕以后再敲命令：apt-getinstallvim命令即可。apt-getinstalltelnet安装telnetapt-getinstallnet-tools安装ifconfig3.2docker镜像导出与导入以nginx为例，导出docker镜像命令，默认在当前目录dockersave-onginx.tarnginx:latest例如，导出银企云镜像到指定目录然后使用ftp将镜像包下载到本地，再上传到使用的服务器，使用ftp下载需要对文件赋权777chmod777–R/home/kduser/ebg/images导入镜像命令dockerload-inginx.tar19/56例如，导入银企云镜像docker镜像导入（样例）1、将银企云镜像包放入服务器指定的安装目录：2、在镜像所在的当前目录下打开控制台，输入：dockerload–iebgmanage.tar20/563、查看镜像是否导入到docker：dockerimages4、停止现有正在运行的ebgmanage镜像程序，可以先使用命令查看：dockerps-a5、停止镜像容器IDdockerstop容器id停止后可再一次通过dockerps命令查看原容器是否已经停止运行。6、删除容器，根据容器ID删除指定的docker容器：dockerrm容器id21/56删除后可再一次通过dockerps-a命令查看原容器是否已经被删除。7、找到根目录下的docker.sh文件，将最后的镜像版本修改为当前镜像的版本号：8、执行安装目录下的docker.sh脚本启动ebgmanage镜像：shdocker.sh然后使用dockerps命令查看镜像是否已经启动：22/569、访问银企云管理端网站，确认是否启动成功。23/564银企云镜像启动原理4.1银企云服务端启动脚本docker_ebg850.sh：-p8182:8082是docker内部端口8082映射外部访问端口8182，这样使用宿主机的ip和8182就可以访问到容器内的服务，例如在业务端配置访问银企云服务接口的地址格式：http://172.20.176.183:8182，如果需要提升安全级别，可通过Nginx配置为https的访问。-v`pwd`/logs/ebboot:/opt/ebboot/logs是将容器内/opt/ebboot/logs目录下的日志文件持久化到宿主机的../logs/ebboot目录下（`pwd`代表启动脚本所在目录）。EBBOOT_SERVER_PORT是ebboot的服务访问端口，因为与ebfacade是打包在一起的，提供内部访问端口即可，默认填写8083，非特殊情况不需要修改。EBFACADE_SERVER_PORT是ebfacade的服务访问端口，因为与ebboot是打包在一起的，提供内部访问端口即可，默认填写8082，非特殊情况不需要修改。接下来是基础组件的配置项，涉及到的有mysql、redis、zookeeper、logstash：DB_HOST是数据库的IP地址，需要填写容器外部（宿主机）可访问IP。DB_PORT是数据库端口，默认3306，非特殊情况不需要修改。24/56DB_NAME是银企数据库名称，通常命名为ebc。DB_USER是银企数据库的用户名，推荐采用ENC加密配置方式，也可以填写明文。加密配置需要使用专业的加密工具完成，加密工具见下文介绍。DB_PASS是银企数据库的密码，推荐采用ENC加密配置方式，也可以填写明文。加密配置需要使用专业的加密工具完成。REDIS_HOST是redis外部（宿主机）可访问的IP地址。REDIS_PORT是redis外部（宿主机）可访问的端口，默认是6379，非特殊情况不需要修改。REDIS_INDEX是redis数据索引，默认填写0，非特殊情况不需要修改。REDIS_PASS是redis访问密码，如果没有设置，不需要添加REDIS_PASS配置项。ZK_HOST是zookeeper外部（宿主机）可访问的IP地址与zookeeper外部（宿主机）可访问的端口组合，端口默认为2181，格式例如：172.20.71.73:2181。ZK_PASS是zookeeper访问密码，如果没有设置，不需要添加ZK_PASS配置项。LOGSTASH_HOST是logstash外部（宿主机）可访问的IP地址与logstash外部（宿主机）可访问的端口组合，端口4560，格式例如：172.20.71.73:5601。然后是依赖组件的配置项，涉及到的组件有dubboadmin、ebpatch：EB_DUBBOADMIN_HOST是dubboadmin外部（宿主机）可访问的IP地址。EB_DUBBOADMIN_PORT是dubboadmin外部（宿主机）可访问的端口。PATCH_URL是ebpatch外部（宿主机）可访问的IP地址与logstash外部（宿主机）可访问的端口组合，格式如http://172.20.176.183:6888最后是应用本身需要的配置项：TIME_LIMIT是业务请求时间检查，默认填写30000，不需要修改。TIME_TOLERATE是业务请求有效时间范围检查，默认填写30000，不需要修改。AUTH_EXPIRE是token保持的有效时间，默认填写1200，不需要修改。CHECK_CA是检查ca签名，默认填写true，非测试环境不允许修改。CHECK_TOKEN是检查token，默认填写true，非测试环境不允许修改。MOUDLES是补丁服务所要更新的模块，默认为ebdownload,ebboot,ebfacade,ebmessage，请勿修改。随后进入镜像启动脚本存放的目录，例如/home/kduser/mirror，启动脚本shdocker_ebg850.sh25/56启动后，控制台会在下面输出一串容器id，根据容器id可以查看启动日志dockerlogs容器id通过查看日志的方式，可以确认银企云的3个服务是否正常启动。以下为服务正常启动所输出的日志信息：[2020-09-0216:00:12.017INFO58]---[main][ebg-message,,,,,]c.k.bos.message.MessageApplication:StartedMessageApplicationin5.903seconds(JVMrunningfor10.612)[2020-09-0216:00:56.279INFO114]---[main][ebg-boot,,,,,,]com.kingdee.bos.Application:StartedApplicationin24.245seconds(JVMrunningfor25.004)2020-09-0216:01:14.661INFO208---[main][ebg-facade,,,,,,]com.kingdee.bos.FacadeApplication:StartedFacadeApplicationin12.556seconds(JVMrunningfor13.382)加密工具使用步骤：1、本工具需要运行在windows操作系统上，安装1.8.0版本以上的64位JDK，并配置好JDK系统变量。2、数据库信息加密需要使用记事本编辑encrypt.bat：在input位置，替换为需要加密的信息，如数据库的账号或者密码。修改完成后，保存文件。3、双击encrypt.bat脚本文件，等待弹出框的执行结果：26/56而后从OUTPUT的输出栏，将加密后的信息拷贝出来，配置在docker相应的配置项里面，格式为ENC(******)。例如，配置数据库密码：DB_PASS=ENC(kXHQU5j58S9/5ifyetEM1iRKqPQynzx5)加密工具附件：4.2银企云管理端启动脚本docker_manage.sh:27/56-p8091:8081是docker内部端口8081映射外部访问端口8091，这样使用宿主机的ip和8091就可以访问到容器内的服务，ebmanage已经内置证书，访问方式为https，因此示例的访问地址格式为：https://172.20.176.183:8091/login，就能够访问管理端。-v`pwd`/logs:/opt/ebmanage/logs是将容器内/opt/ebmanage/logs目录下的日志文件持久化到宿主机的../logs目录下（`pwd`代表启动脚本所在目录）。EB_SERVICE_HOST是ebfacade对外部访问的地址，上文部署ebg850容器的宿主机IP为172.20.176.183，此处就配置这个地址。EB_SERVICE_PORT是ebfacade对外部访问的端口，在上文中ebg850将容器facade的服务端口8082映射到外部宿主机的8182端口，因此这里配置的是8182。EB_VERIFYCODE_CHECK是启用登录时短信验证码开关，默认是true，私有云生产环境一般由于网络限制，无法访问金蝶短信云服务，可修改为false。EB_VERIFYCODE_RANDOM是启动短信随机验证码的开关，默认是true，私有云生产环境一般由于网络限制，无法访问金蝶短信云服务，可修改为false。DB_HOST是数据库的IP地址，需要填写容器外部（宿主机）可访问IP。DB_PORT是数据库端口，默认3306，非特殊情况不需要修改。DB_NAME是银企数据库名称，通常命名为ebc。DB_USER是银企数据库的用户名，推荐采用ENC加密配置方式，也可以填写明文。加密配置需要使用专业的加密工具完成。DB_PASS是银企数据库的密码，推荐采用ENC加密配置方式，也可以填写明文。加密配置需要使用专业的加密工具完成。REDIS_HOST是redis外部（宿主机）可访问的IP地址。REDIS_PORT是redis外部（宿主机）可访问的端口，默认是6379，非特殊情况不需要修改。28/56REDIS_INDEX是redis数据索引，默认填写0，非特殊情况不需要修改。REDIS_PASS是redis访问密码，如果没有设置，不需要添加REDIS_PASS配置项。ZK_HOST是zookeeper外部（宿主机）可访问的IP地址与zookeeper外部（宿主机）可访问的端口组合，端口默认为2181，格式例如：172.20.71.73:2181。ZK_PASS是zookeeper访问密码，如果没有设置，不需要添加ZK_PASS配置项。LOGSTASH_HOST是logstash外部（宿主机）可访问的IP地址与logstash外部（宿主机）可访问的端口组合，端口默认4560，格式例如：172.20.71.73:4560。ES_HOST是elasticsearch的外部可访问IP。ES_PORT是elasticsearch的外部可访问端口，默认是9200。CHECK_CA是检查ca签名，默认填写true，非测试环境不允许修改。PATCH_URL是ebpatch外部（宿主机）可访问的IP地址与logstash外部（宿主机）可访问的端口组合，格式如http://172.20.176.183:6888。RECEIPT_HOST是回单云的可访问地址，这里需要通过Nginx将回单云的访问地址转换为https的方式。RECEIPT_PORT是回单云的可访问端口，默认443，通过进行https的方式访问用于管理端单点登录到回单云。MOUDLES是补丁服务所要更新的模块，默认为ebdownload,ebmanage，请勿修改。这里只需要留意dockerlogs的日志在启动时是否有报错，不需要进入容器执行任何操作。但是，如果想要完全开启测试模式（付款），就需要导入启动脚本到容器，并在容器内部重新启动应用。1）dockercp/home/kduser/mirror/startManage_testMode.shf731e4af20fb:/opt/ebmanage2）查看容器内部，/opt/ebmanage目录下是否导入脚本3)将ebmanage得进程杀掉，用新的脚本重启应用4）启动成功后，管理端的页面菜单中将会出现付款测试（非测试环境下，禁止使用）通过查看日志的方式，可以确认银企云管理服务是否正常启动。以下为服务正常启动所输出的日志信息：2020-09-0216:06:13.743INFO57---[main][ebg-manage,,,]com.kingdee.bos.Application:StartedApplicationin24.921seconds(JVMrunningfor25.68)29/564.3银企云dubboadmindubboadmin启动脚本参数：ZK_HOST是zookeeper外部（宿主机）可访问的IP地址与zookeeper外部（宿主机）可访问的端口组合，端口默认为2181，格式例如：172.20.71.73:2181。ZK_PASS是zookeeper访问密码，如果没有设置，不需要添加ZK_PASS配置项。SERVER_PORT是dubboadmin容器内部的服务端口，默认为9080。启动后，访问如下地址：http://172.18.8.204:9080/api/share4eb/applications如果出现类似域名无法解析的报错，需要进一步查看docker的日志进行确认修改启动脚本文件，添加--add-host相应配置，问题解决30/56将原容器删除，重新启动新容器4.4银企云补丁服务银企云补丁服务，启动脚本docker_patch.sh这里不需要配置其他的参数。然后使用shdocker_patch.sh启动容器最后访问http://172.18.8.204:6888/services/patch/31/56出现上图，代表服务启动成功4.5回单云服务银企回单云调启动脚本docker_receipt.sh-p8091:8081是docker内部端口8090映射外部访问端口8090，这样使用宿主机的ip和8090就可以访问到容器内的服务，因此示例的访问地址格式为：https://172.20.176.183:8090/#/login。-v`pwd`/logs:/opt/ebreceipt/logs是将容器内/opt/ebreceipt/logs目录下的日志文件持久化到宿主机的../logs目录下（`pwd`代表启动脚本所在目录）。EB_SERVICE_HOST是ebfacade对外部访问的地址，上文部署ebg850容器的宿主机IP为172.20.176.183，此处就配置这个...