高端客户成功事业部YonBIP旗舰版应用顾问技术手册本手册为基础技术手册，适合产品支持顾问、实施顾问学习提升I文档修订摘要日期发布版本文档描述编写人2024年5月31日V1.0创建YonBIP旗舰版技术支持部II版权©2024用友集团版权所有未经用友集团的书面许可，本文档描述任何整体或部分的内容不得被复制、复印、翻译或缩减以用于任何目的。本文档描述的内容在未经通知的情形下可能会发生改变，敬请留意。请注意：本文档描述的内容并不代表用友集团所做的承诺。III目录版权...............................................................................................................................II目录.............................................................................................................................III概述...........................................................................................................................VIII1.前置条件准备..........................................................................................................11.1获取交维文档................................................................................................11.1.1环境信息清单.....................................................................................11.1.2部署方案.............................................................................................21.2确认域名解析................................................................................................21.3下载并安装远程连接Linux主机的工具.....................................................31.3.1下载远程连接工具MobaXterm.........................................................31.3.2MobaXterm的使用方法......................................................................32.产品介绍及使用........................................................................................................62.1安装器............................................................................................................62.1.1启停及日志.........................................................................................62.1.2查看已安装的云原生组件.................................................................62.1.3查看已安装的中间件.........................................................................72.1.4查看已安装的产品.............................................................................82.1.5补丁管理.............................................................................................92.1.6扩展服务...........................................................................................102.2YMS控制台..................................................................................................10IV2.3技术中台......................................................................................................122.3.1菜单管理...........................................................................................132.3.2资源池管理.......................................................................................132.3.3微服务管理.......................................................................................142.3.4监控中心...........................................................................................152.4业务中台......................................................................................................162.5DNS...............................................................................................................162.6Harbor............................................................................................................173.巡检..........................................................................................................................223.1获取主机清单..............................................................................................223.2巡检..............................................................................................................223.3查看各中间件信息......................................................................................233.4查看各类密码..............................................................................................234.各中间件的访问及登录..........................................................................................254.1.ElasticSearch.................................................................................................254.1.1Cerebro插件访问...............................................................................254.1.2Rest访问............................................................................................264.1.3查看集群健康状态...........................................................................274.2.Kibana...........................................................................................................294.3.Minio.............................................................................................................304.4.Redis.............................................................................................................324.5.LicenseServer................................................................................................354.6.Mongodb.......................................................................................................374.7.MySQL.........................................................................................................394.8.Kafka.............................................................................................................41V4.9.Nexus............................................................................................................424.10.Registry.......................................................................................................434.11.NIFI.............................................................................................................444.12.DolphinScheduler.......................................................................................455.补丁管理..................................................................................................................465.1.补丁下载.....................................................................................................465.2.补丁上传安装器目录.................................................................................475.3.安装器中心刷新产品(补丁).......................................................................485.4.一键安装补丁.............................................................................................496.日志查找..................................................................................................................516.1.Nginx............................................................................................................516.2.LicenseServer................................................................................................516.3.Minio.............................................................................................................516.4.ElasticSearch.................................................................................................526.5.Redis.............................................................................................................526.6.Kafka.............................................................................................................526.7.Kibana...........................................................................................................536.8.Pod服务.......................................................................................................537.服务管理..................................................................................................................557.1.Nginx............................................................................................................557.2.LicenseServer................................................................................................557.3.Minio.............................................................................................................557.4.ElasticSearch.................................................................................................557.5.Redis.............................................................................................................557.6.Kafka.............................................................................................................567.7.Kibana...........................................................................................................567.8.Pod服务.......................................................................................................56VI8.旗舰版产品主机重启流程......................................................................................588.1.关机详细步骤.............................................................................................588.1.1.关闭领域资源池主机......................................................................588.1.2.关闭平台资源池主机......................................................................588.1.3.关闭中间件主机服务......................................................................588.1.4.K8S服务关闭...................................................................................598.1.5.关闭数据库......................................................................................608.1.6.关闭YKS主机................................................................................618.1.7.关闭中间件主机..............................................................................618.1.8.关闭数据库主机..............................................................................618.1.9.关闭安装器主机..............................................................................618.2.开机详细步骤.............................................................................................618.2.1.启动安装器主机..............................................................................618.2.2.启动数据库主机..............................................................................628.2.3.启动中间件主机..............................................................................628.2.4.启动YKS主机................................................................................638.2.5.检查YKS主机时间是否一致........................................................638.2.6.检查技术中台服务..........................................................................638.2.7.启动平台资源池主机......................................................................648.2.8.检查平台资源池主机时间..............................................................648.2.9.启动领域资源池主机......................................................................648.2.10.检查所有主机时间........................................................................64VII8.3.环境检查及功能验证.................................................................................658.3.1环境检查...........................................................................................658.3.2功能验证...........................................................................................659.Server版服务重启流程...........................................................................................669.1.概述.............................................................................................................669.2.数据库操作.................................................................................................669.3.重启主机.....................................................................................................689.4.启动服务.....................................................................................................689.4.1.确认数据库状态..............................................................................689.4.2.启动安装器......................................................................................689.4.3.启动中间件......................................................................................689.4.4.启动平台服务..................................................................................739.5.查看服务状态.............................................................................................76VIII概述YonBIP旗舰版应用顾问技术手册覆盖YonBIP旗舰版产品介绍及使用、巡检、各中间件的访问及登录、日志查找、服务管理、旗舰版产品主机重启流程等，Linux常用命令参考《YonBIP高级版应用顾问技术手册》中"Linux常用命令"内容。主要目的是为提高应用顾问在项目中解决问题的效率，减少基础性的问题的处理时间，对项目中需要的基本技术进行了梳理、归纳总结形成的应用顾问必备手册，使用时可以根据目录类别进行快速分类查找方案。1/771.前置条件准备1.1获取交维文档拿到项目交维邮件中的附件，从附件中获取环境信息清单文件和部署方案文件。1.1.1环境信息清单清单文件中包括了，登录各个平台的访问地址，账号以及密码等信息2/771.1.2部署方案部署方案中包括了各台主机的IP地址，主机名以及各台主机上都部署了什么服务。1.2确认域名解析技术中台和业务中台的域名如果在局域网内有做域名解析，则可以直接访问，若没有做域名解析，需要在windows中添加hosts文件——C\System32\Drivers\etc目录下，内容格式如下：3/771.3下载并安装远程连接Linux主机的工具若项目环境中有堡垒机，可以从浏览器的web页面连接主机，则不需要本章节的操作。否则需要下载远程连接工具用于连接主机，常用的远程连接工具有XShell、MobaXterm、SecureCRT等等，本文档使用的远程连接工具是mobaXterm1.3.1下载远程连接工具MobaXterm可以从如下链接中下载远程连接工具MobaXterm链接地址：http://pan.yonyou.com/s/Z0Vd10dCQnU提取密码：M9EP1.3.2MobaXterm的使用方法下载之后存放到指定位置，无需安装，双击运行即可点击左上角的Session，跳出来的新窗口，点击SSH，输入远程主机的IP地址，勾选指定用户名，输入远程连接的用户名，如果ssh的端口号是22，则无需修改端口号，若ssh连接的端口号是49622，则需要将22修改成49622，填写完成，点击OK4/77输入主机填写的用户名对应的密码，enter，即可连接到主机上执行命令。如下图所示是连接了多台主机。展开左侧菜单栏，点击Sftp，可以针对当前主机实现上传和下载的操作。5/776/772.产品介绍及使用2.1安装器安装器是YonBIP产品安装和管理的平台入口，通过安装器可以实现安装管理、产品管理、补丁管理、环境迁移、查看已安装产品以及中间件等信息、重置服务（即重新执行服务的流水线），还可以跳转进入产品（技术平台、YMS控制台及业务中台）等等。2.1.1启停及日志#启停/data/iuap-installer/startup.sh/data/iuap-installer/shutdown.sh#日志，常用于部署产品、补丁安装时报错详细日志tail-f/data/iuap-installer/logs/installer.log2.1.2查看已安装的云原生组件点击左侧菜单栏中的产品管理，点击上方菜单的云原生组件，可以查看到已安装的nexus2、DNS、Harbor以及Kubernetes产品点击对应组件的详情按钮，可以查看到部署的详细信息以及相关的登录界面的登录地址、账号、密码（密码出于安全的角度考虑做了隐藏显示）等信息。7/77DNS详情页面：Harbor详情页面：YKS详情页面：2.1.3查看已安装的中间件点击左侧菜单栏中的基础设施，点击上方菜单的中间件，可以查看到已安装8/77的中间件。点击中间件的详情按钮，可以查看到中间件的安装的信息以及相关的登录界面的登录地址、账号等信息。出于安全角度考虑，这里中间件的密码出于安全的角度考虑，全部隐藏显示，以redis为例，点击详情按钮，可以查看到中间件的IP地址以及工作端口等信息2.1.4查看已安装的产品点击左侧菜单栏中的产品管理，点击上方菜单的产品，可以查看到已安装的产品盘。9/77点击产品的详情按钮，可以查看到产品包含的所有服务、产品所使用的所有中间件并且包含针对该产品进行服务重置、卸载回滚等功能。如下图所示是友户通产品所使用的所有中间件点击产品的进入产品按钮，可以直接跳转到产品的登录页面，常用需要的登录的产品包括YMS控制台、友户通、技术中台和业务中台。2.1.5补丁管理点击安装器左侧功能菜单的补丁管理按钮，可以进行打补丁、查询补丁等操作。补丁常用的有两种：SP合集更新包（Servicepack）和QP问题包（questionpack），SP是服务补丁，一般是跨版本升级时要打的补丁，由专业运维人员操10/77作；QP补丁是问题补丁，由现场实施人员根据实际情况进行操作。2.1.6扩展服务支持第三方组件扩展开发2.2YMS控制台在安装器中找到产品管理中的YMS控制台产品，点击进入产品按钮，可以自动跳转登录到YMS控制台页面，输入账号密码即可登录到YMS的首页。YMS控制台是用友中间件管理控制台，可以查看到各个产品服务的配置信息、中间件的配置信息以及修改相关的配置，发布配置使之生效等功能。在YMS控制台中选择相应环境，点击左侧菜单栏中的YMS中间件配置，点击对应的连接池，可以查看到该连接池的相关信息，如下图所示是Redis连接池的信息。点击左侧菜单栏的配置管理，可以查看到基础全局公共配置，在这里可以查看到平台的访问协议、技术中台域名、业务中台域名等信息。11/77以早期之前的版本，技术中台以https协议安装，并以https协议登录，但是注销登录之后会自动变成http协议为例，说明一下YMS控制台的作用（最新的R5版本不存在此问题，这里只作为示例讲解使用，请勿随意修改YMS控制台的配置）。找到技术中台的开发者中心门户服务，展开portal的下拉菜单，搜索关键字“登出跳转”，将登录跳转URL的值${domain.gpaas.url}/portal/login.html修改为https://${domain.gpaas.host}/portal/login.html，然后点击保存按钮。保存之后的效果图如下所示：若修改的是某一个服务的配置信息，则可以直接点击上方红底白字的“配置12/77文件批量发布”按钮，在弹出的窗口中勾选对应的服务，然后点击提交按钮即可。若需要的是全局环境的配置信息，发布时需要针对整个产品进行发布，则需要点击左侧菜单栏的产品管理，在产品管理的页面中点击上方红底白字的“配置文件批量发布”按钮，在弹出的窗口中点击确定即可。重启相关服务，因为本次修改的是技术中台开发者中心门户的服务配置，故只需要重启yms-manage服务使配置生效即可。此服务未托管在技术中台，故只能通过命令来重启。登录安装器主机，执行如下命令，可以实现服务的重启：kubectlgetpod-A|grepyms-manage|awk'{print"kubectldeletepod-n"$1,$2}'|bash2.3技术中台YonBIPV3.0(R1_2212)版本开始技术中台可直接使用租户管理员isvadmin，带有技术中台全部功能，无需再使用其他用户YonBIPV3.0（R2-930）版本开始，技术中台和业务中台同一套登录代码，登13/77录也相同，使用登录用户来区分登录的平台，技术中台使用isvadmin，业务中台使用yhtmanager2.3.1菜单管理登录技术中台之后，点击左上方花键的菜单栏，点击YMSCloud即可查看技术中台的所有功能菜单，包括流水线、微服务管理、资源池管理、集群管理及产品管理等等，其中微服务管理和资源池管理是比较常用的功能菜单。2.3.2资源池管理点击资源池管理，可以查看环境中使用的所有资源池以及资源池的名称，点击对应资源池的名称即可以查看到该资源池中的所有主机、主机的接入状态（已接入状态的主机才可以正常使用）、主机的资源消耗情况、主机上对应的应用数量，还可以对主机上的应用进行迁移操作（应用迁移时K8S会根据负载策略迁移到资源消耗相对较少的其他主机上，不支持手动指定主机进行迁移），当主机上的应用数量为0时，还可以对主机进行删除操作等等。14/772.3.3微服务管理点击微服务管理，可以查看已部署的所有产品的所有服务点击一个微服务的服务名称，进入到微服务的详情页面，还可以对服务进行重启、销毁、迁移等操作15/77点击微服务详情页面中的实例管理，可以查看微服务的日志，登录到容器控制台，以及调整实例个数等操作。例如：当主机重启后，因资源池资源不足导致很多pod异常，从而启动两个pod，造成大量资源消耗，此时可以将所有异常pod实例个数调整为0，然后逐一调整为1，确认服务一个一个启动，如此就不会因为资源不足问题导致服务无法正常启动了。2.3.4监控中心技术中台集成了YonBIP监控中心YMC产品，点击菜单栏中的YonBIP监控中心——监控中心——YMC首页，即可跳转到监控平台中点击技术中台左上角的菜单栏，点击哈勃监控服务菜单中的任意子菜单，都可以跳转到YonBIP监控中心页面。16/77通过监控可以查看CPU、内存、磁盘、网络、容器、数据库、Nginx、Redis、Etcd、Ingress等的监控信息。2.4业务中台业务中台，是客户最常用的平台，在浏览器中访问业务中台的域名，然后输入yhtmanager的用户名等信息，即可登录到业务中台的首页，点击左上角的菜单栏，即可查看相关功能2.5DNS在安装器中找到云原生组件中的DNS信息，在浏览器中访问http://主DNS_IP:10000/，进入到DNS的管理页面17/77也可以在安装器左侧菜单栏的扩展服务中，直接点击YKS-DNS跳转到DNS的管理页面。在此页面中可以配置转发和传输（若客户有配置自己的上游DNS，可以利用此功能进行转发）、可以查看集群的从服务器、可以创建新的主区域，也可以针对已有的zone进行增删改操作，例如可以为某一个zone添加新的A记录，删除A记录或者是修改A记录。2.6HarborHarbor是YonBIP旗舰版专属化环境中的镜像仓库在安装器中找到云原生组件中的Harbor信息，在浏览器中访问http://主Harbor_IP:81/也可以在安装器左侧菜单栏的扩展服务中，直接点击YKS-Harbor跳转到18/77Harbor的管理页面。可以对镜像仓库进行项目管理以及查看各个镜像输入账号密码，点击登录，登录到Harbor中Harbor将私有仓库设置为公有仓库的方法如下：点到对应的仓库名称中，右上角可以查看到是私有，仓库被设置为私有库之后会导致某些主机向下拉镜像拉取失败，此时需要将私有库改为公有库。在对应的项目名称中点击配置管理，勾选公开，点击保存即可19/77Harbor仓库清理策略设置的方法如下：技术中台长期运行之后，harbor镜像过多，会占用大量磁盘空间，此时就需要清理harbor的镜像，平台支持自动清理harbor镜像，配置如下：在项目的菜单中，找到需要设置清理策略的项目名称点击上方的策略菜单，分别去设置保留规则和定时执行的周期，完成后点击模拟运行，确认无误，可以点击立即运行，也可以等定时执行的周期到了之后自动执行，执行之后会自动做垃圾清理，默认是每天执行一次，如有需要可以在左侧菜单栏的垃圾清理中，点击立即清理。20/77立即清理垃圾：点击添加规则，参数如下：1）应用到仓库：匹配：匹配指定仓库设置tag保留规则，默认**表示全部匹配排除：排除指定仓库的tag保留规则2）以镜像或天数为条件保留最近推送的#个镜像：主节点选择此项配置，默认镜像为流水线推送保留最近拉取的#个镜像：从节点选择此项配置，默认镜像是从主节点拉取保留#天被推送的镜像：主节点选择此项配置，以天数为单位保留保留最近#天被拉取过的镜像：从节点选择此项配置，以天数为单位保留保留全部镜像：默认配置3）Tags：匹配：匹配指定镜像版本保留规则，默认**表示全部匹配21/77排除：排除指定镜像版本保留规则22/773.巡检3.1获取主机清单切换目录到巡检目录下，执行如下命令收集主机信息，对于新装环境只需执行一次，收集了主机清单之后，后续若没有新增主机的操作，这个工具不需要再执行。sh1add_new_host.sh执行之后会在/tmp/check/hosts.ini文件中生成环境中获取到的主机信息。确认主机地址无误。3.2巡检shcrontab_check.sh23/773.3查看各中间件信息3.4查看各类密码1、数据库密码文件2、中间件、bind和harbor等密码文件24/7725/774.各中间件的访问及登录4.1.ElasticSearchElasticSearch用于存储日志，在其详情页面中常用需要登录的页面有cerebro和rest。使用cerebro后无需再使用head插件4.1.1Cerebro插件访问浏览器输入cerebro查看访问信息中的其中一个IP:Port信息点击localhost_es，输入默认账号密码（可以从安装器主机上巡检之后生成的/data/report/.middleware_info.txt文件中查看账号密码），点击Authenticate26/77首页信息如下：4.1.2Rest访问浏览器输入rest访问信息中的其中一个IP:Port信息，输入ElasticSearch的账号密码，点击登录首页信息如下：27/774.1.3查看集群健康状态在rest访问的账号密码验证通过后，在地址后添加/_cluster/health?pretty字符串，可以查看ElasticSearch的集群健康状态。4.1.3.1.查看所有索引在rest访问的账号密码验证通过后，在地址后添加/_cat/indices?v字符串，可以查看ElasticSearch的所有索引。4.1.3.2.查看所有node节点在rest访问的账号密码验证通过后，在地址后添加/_cat/nodes字符串，可以查看ElasticSearch的所有node节点。28/774.1.3.3.查看所有node节点的详细信息在rest访问的账号密码验证通过后，在地址后添加/_nodes?pretty字符串，可以查看ElasticSearch的所有node节点的详细信息。4.1.3.4.查看指定健康状态的索引常见的索引健康状态有gren、red、yellow。在rest访问的账号密码验证通过后，在地址后添加字符串/_cat/indices?v&health=green，可以查看ElasticSearch的指定健康状态的所有索引。29/774.2.KibanaKibana用于使用web页面展示检索日志，其详情页面中需要登录的页面是kibana访问页面浏览器输入kibana的访问信息后面加/kibana，点击Login登录点击左上角的菜单栏，然后点击Analytics中的Discover，进入到日志检索页面。选择日志的关键字名称，选择查看日志的时间短，获得相应的日志（也可以30/77根据需要选择对应的字段显示）4.3.MinioMinio云存储的解决方案用来保存海量的图片，视频，文档，主要用来存放hubble的日志、各个领域产品的相关数据、客开的war包等。Minio详情页面中需要登录的页面是minio管理界面。Minio管理界面的账号是minio，密码保存在配置文件中。需要登录安装minio的主机上，切换目录到minio安装目录下的conf目录中，查看minio.conf文件即可获取到minio的密码。浏览器输入minio管理界面中的其中一个http://IP:Port信息，输入默认账号31/77密码minio/Tv9uxm#OALGo登录首页如下：在这里可以进行创建bucket、删除bucket、上传对象、删除对象，下载对象、设置权限等操作（通过技术中台的流水线构建的服务，相关的war包会存放在minio中）。在minio的登录页面中也可以查看到有多少个桶，每个桶中有多大的数据，以及有多少个对象等信息32/774.4.RedisRedis是一个非关系型数据库，用于做数据缓存，为了加速使用的。没有访问页面，但是可以使用客户端远程连接，在Redis的详细信息中需要记录Redis的地址和其工作端口。连接Redis可以使用一些windows的客户端工具，如RedisDesktopManager等，但网评都很一般，本文档介绍的是Centos系统中的客户端工具redis-clissh登录到安装redis的主机上，切换目录到redis的安装目录下的bin目录中，确认存在redis-cli命令。执行如下命令，确认role是master的主机地址，可以执行相关的redis命令#echo"inforeplication"|./redis-cli-hIP-p端口-a密码（可以从安装器主机上巡检之后生成的/data/report/.middleware_info.txt文件中查看账号密码，从安装器主机上巡检之后生成的/data/report/middleware.txt文件中查看redis主机的IP地址和端口等信息）如下图的redis是一主两从的哨兵模式的redis33/77从R5版本开始，redis支持集群模式安装Redis的三节点集群，有三个master，每一个master可以有多个slave。每一个master有一段数字区间的key，我们把这个叫做槽位，一共有0-16384个槽位，每一个master会分一段槽位数，每个master之间是独立且槽位连续的。存储数据时，数据通过计算分片位置来决定存放到哪个master节点中，存放之后master会定期同步数据到slave。在R5版本的Redis集群中，有三个master节点，每一个master节点都有一个slave节点，该slave节点可以是集群中的任意一个节点，若master节点挂掉，对应slave节点会变成master。如下图所示，每个redis节点上都有两个cluster服务，两个端口，分别是主和从的端口如下图所示，红色框的是三个主（绿色框的myself表示正在连接的节点）。通过inforeplication命令可以看出：当前主机172.20.48.246是一个master，他的从是172.20.48.95,（从下图中蓝色框也可以看出此关系，只不过是通过id进行识别主和从）。34/77连接redis设置一个键值对，会自动为其分配槽点，如果该槽点不在连接的主机的槽点范围内，执行就会报错，但是如果在连接redis时加上-c选项，就会自动路由到对应节点进行set和get登录到主redis上之后，执行如下redis常见命令#./redis-cli-h172.20.48.246-p34998-aBIPaS#c5Xm5J1）查看连接数等信息172.20.48.246:34998>infoclients2）查看内存使用情况172.20.48.246:34998>infomemory3）切换到指定的数据库，目前R2版本的产品的Redis默认有256个库，分别是0-255，这里使用了一个最大号的库172.20.48.246:34998[255]>SELECT2554）设置键值对：键名为aaa，值为111的35/77172.20.48.246:34998[255]>setaaa1115）查看键对应的值172.20.48.246:34998[255]>getaaa6）查看该库中的所有键172.20.48.246:34998[255]>keys*7）删除某一个键172.20.48.246:34998[255]>DELaaa8）刷新某一个库，即清除某库中的所有key172.20.48.246:34998[255]>FLUSHDB9）刷新整个redis，清除redis中的所有键值172.20.48.246:34998[255]>FLUSHALL4.5.LicenseServerLicenseServer用于做产品许可认证，其详情页面中需要登录的页面是连接信息LicenseServer的默认账号密码是admin/^QJC89zgPEXu2$3r，密码未保存在task文件中，而是在LicenseServer自带的Redis中，且做过加密，若后天修改过但又忘记了密码，可以采用如下方案进行重置密码回原始默认密码。ssh登录到已经记录好的LicenseServer的主机IP地址，切换目录到中间件的36/77安装目录下，找到LicenseServer依赖的Redis的安装目录。在LicenseServer依赖的Redis的安装目录下的conf目录下，通过配置文件Redis服务的登录密码切换到二进制文件的bin目录下，执行如下面命令连接redis服务，然后执行info命令，查找master角色的Redis主机的IP地址。#./redis-cli-hRedis主机IP地址-p工作端口-a密码切换到0号库，删除名称为yms_license:psd的key重启所有LicenseServer主机的服务，密码就会被重置...
