Nginx主动健康检查upstream

tips：对于k8s的nodeport转发，如果有apiserver的vip的话，可以通过vip进行转发。如果提供不了vip的话，那么可以用这个nginx主动健康检查模块来检测后端服务组的健康状态。

2 配置使用

样例配置

     http {
        upstream cluster {
            # simple round-robin
            server 192.168.0.1:80 weight=1;
            server 192.168.0.2:80 weight=1;
            check interval=5000 rise=1 fall=3 timeout=4000;
            #check interval=3000 rise=2 fall=5 timeout=1000 type=ssl_hello;
            #check interval=3000 rise=2 fall=5 timeout=1000 type=http;
            #check_http_send "HEAD / HTTP/1.0\r\n\r\n";
            #check_http_expect_alive http_2xx http_3xx;
        }
        server {
            listen 80;
            location / {
                proxy_pass http://cluster;
            }

            location /status {
                check_status;
                access_log   off;
                #allow SOME.IP.ADD.RESS;
                #deny all;
           }
        }
    }

check功能：

interval: 向后端发送的健康检查包的间隔，单位为毫秒
rsie: 如果连续成功次数达到rise_count，服务器就被认为是up
fall: 如果连续失败次数达到fall_count，服务器就被认为是down
timeout: 后端健康请求的超时时间，单位为毫秒
type: 健康检查包的类型，支持tcp、ssl_hello、http、mysql、ajp

用法: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]
默认值: 如果没有配置参数，默认值是：interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp
位置：upstream块
#port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口，比如后端提供的是443端口的应用，你可以去检查80端口的状态来判断后端健康状况。默认是0，表示跟后端server提供真实服务的端口一样。

check_http_send功能：

用法：check_http_send "HEAD /ierp/ HTTP/1.0\r\n\r\n"
默认值： "GET / HTTP/1.0\r\n\r\n"
位置：upstream块
说明：http://IP:8080/做健康检测，但有问题的是，我们的服务不一定都是/结尾，有时需要加后缀才能访问到资源。比如，如果不在后端tomcat配置上下文路径那么（test.war）正常访问路径就是http://IP:8080/test，对于非根访问上述配置健康检查就一定都是error状态。
check_http_send字段 HEAD后面的 / 就是路径的配置，与其对应的正确能被识别到的地址为"HEAD /ierp/checkk8shealth HTTP/1.0\r\n\r\n"，/后面可以为项目中的某个url只要能请求到就可以

check_http_expect_alive功能：

用法： check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]
默认值: http_2xx | http_3xx
位置：upstream块
说明：这些状态码表示上游服务器的http响应是正常的，后端是活的。

check_keepalive_requests功能：

用法: check_keepalive_requests num
默认值: check_keepalive_requests 1
位置：upstream块
说明：该指令指定在一个连接上发送的请求数，默认值1表示nginx在收到请求后肯定会关闭连接。

check_fastcgi_param功能：

用法：check_fastcgi_params parameter value  ，如，默认指令是这样的：
          check_fastcgi_param "REQUEST_METHOD" "GET";
          check_fastcgi_param "REQUEST_URI" "/";
          check_fastcgi_param "SCRIPT_FILENAME" "index.php";
位置：upstream块
说明：如果设置检查类型为fastcgi，则检查函数将发送这个fastcgi报头来检查上游服务器。

check_shm_size功能：

用法：check_shm_size size
默认值：1M
位置：http块
说明：默认大小为1m。如果检查数千台服务器，用于健康检查的共享内存可能不够用，可以使用此指令扩大内存。

check_status功能：

用法: *check_status [html|csv|json]*
默认值: *none*
位置：location块
说明：通过HTTP方式显示健康检查服务器的状态。这个指令应该在http块中设置。可以通过浏览器查看到所有upstream中配置的后端服务器组的健康状态

3 安装配置

3.1 编译安装

nginx_upstream_check_module模块下载地址：https://github.com/yaoweibin/nginx_upstream_check_module

下载并解压nginx_upstream_check_module模块，此步骤跳过

下载nginx版本，已安装nginx可忽略
# wget http://nginx.org/download/nginx-1.22.0.tar.gz
# tar -xzvf nginx-1.22.0.tar.gz

将模块补丁更新到nginx安装目录下
# cd nginx-1.22.0/
# patch -p1 < /模块解压的绝对路径/check_1.20.1+.patch    
打补丁的说明： 根据nginx版本和补丁版本区间来更新补丁，例如本例中nginx版本是1.22.0，那么可以更新1.20.1+的patch补丁。如果nginx版本是1.18.0，而补丁版本区间是1.16.0+到1.20.1+，那么更新的补丁版本为1.16.0+的patch补丁。
tips: 打补丁这一步会报错，补丁更新失败的可以查看本文附录中补丁手动处理方法


查看原安装nginx的编译模块
# /usr/local/nginx/sbin/nginx -V
例如： --prefix=/usr/local/nginx --with-http_ssl_module --with-http_gunzip_module --with-pcre=/kingdee/cosmic/nginx-appstatic/nginx/pcre-8.34 --with-stream --with-stream_ssl_preread_module

在原编译的前提下添加健康检查模块并进行编译安装nginx
# ./configure  --prefix=/usr/local/nginx --with-http_ssl_module --with-http_gunzip_module --with-pcre=/kingdee/cosmic/nginx-appstatic/nginx/pcre-8.34 --add-module=/kingdee/cosmic/nginx-appstatic/nginx/nginx_upstream_check_module  --with-stream --with-stream_ssl_preread_module
# make 
# make install