Kubernetes v1.9.7安装部署-配置Kubelet

kubelet 启动时向kube-apiserver 发送TLS bootstrapping 请求,需要先将bootstrap token 文件中的kubelet-bootstrap 用户赋予system:node-bootstrapper 角色,然后kubelet 才有权限创建认证请求(certificatesigningrequests):

# kubelet就是运行在Node节点上的,所以这一步安装是在所有的Node节点上,如果你想把你的Master也当做Node节点的话,当然也可以在Master节点上安装的。
$ kubectl create clusterrolebinding kubelet-bootstrap –clusterrole=system:node-bootstrapper –user=kubelet-bootstrap
# –user=kubelet-bootstrap 是文件 /etc/kubernetes/token.csv 中指定的用户名,同时也写入了文件 /etc/kubernetes/bootstrap.kubeconfig

# 另外1.8 版本中还需要为Node 请求创建一个RBAC 授权规则:
$ kubectl create clusterrolebinding kubelet-nodes –clusterrole=system:node –group=system:nodes

# 然后下载最新的kubelet 和kube-proxy 二进制文件(前面下载kubernetes 目录下面其实也有):
$ wget https://storage.googleapis.com/kubernetes-release/release/v1.9.7/kubernetes-server-linux-amd64.tar.gz
tar -xzvf kubernetes-server-linux-amd64.tar.gztar−xzvfkubernetes−server−linux−amd64.tar.gz cd kubernetes
tar -xzvf kubernetes-src.tar.gztar−xzvf kubernetes−src.tar.gz sudo cp -r ./server/bin/{kube-proxy,kubelet} /usr/k8s/bin/

1、创建kubelet bootstapping kubeconfig 文件

$ # 设置集群参数
$ kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=bootstrap.kubeconfig
$ # 设置客户端认证参数
$ kubectl config set-credentials kubelet-bootstrap \
  --token=${BOOTSTRAP_TOKEN} \
  --kubeconfig=bootstrap.kubeconfig
$ # 设置上下文参数
$ kubectl config set-context default \
  --cluster=kubernetes \
  --user=kubelet-bootstrap \
  --kubeconfig=bootstrap.kubeconfig
$ # 设置默认上下文
$ kubectl config use-context default --kubeconfig=bootstrap.kubeconfig
$ mv bootstrap.kubeconfig /etc/kubernetes/

注释:–embed-certs 为 true 时表示将 certificate-authority 证书写入到生成的 bootstrap.kubeconfig 文件中;设置 kubelet 客户端认证参数时没有指定秘钥和证书,后续由 kube-apiserver 自动生成。

2、创建kubelet 的systemd unit 文件

# 必须先创建工作目录
$ sudo mkdir /var/lib/kubelet 
$ cat > kubelet.service <<EOF
[Unit]
Description=Kubernetes Kubelet
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=docker.service
Requires=docker.service

[Service]
WorkingDirectory=/var/lib/kubelet
ExecStart=/usr/k8s/bin/kubelet \\
  --fail-swap-on=false \\
  --cgroup-driver=cgroupfs \\
  --address=${NODE_IP} \\
  --hostname-override=${NODE_IP} \\
  --experimental-bootstrap-kubeconfig=/etc/kubernetes/bootstrap.kubeconfig \\
  --kubeconfig=/etc/kubernetes/kubelet.kubeconfig \\
  --require-kubeconfig \\
  --cert-dir=/etc/kubernetes/ssl \\
  --cluster-dns=${CLUSTER_DNS_SVC_IP} \\
  --cluster-domain=${CLUSTER_DNS_DOMAIN} \\
  --hairpin-mode promiscuous-bridge \\
  --allow-privileged=true \\
  --serialize-image-pulls=false \\
  --logtostderr=true \\
  --v=2
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target
EOF

请仔细阅读下面的注意事项,不然可能会启动失败。

–fail-swap-on参数,这个一定要注意,Kubernetes 1.8开始要求关闭系统的Swap,如果不关闭,默认配置下kubelet将无法启动,也可以通过kubelet的启动参数–fail-swap-on=false来避免该问题。
–cgroup-driver参数,kubelet 用来维护主机的的 cgroups 的,默认是cgroupfs,但是这个地方的值需要你根据docker 的配置来确定(docker info |grep cgroup)。
-address 不能设置为 127.0.0.1,否则后续 Pods 访问 kubelet 的 API 接口时会失败,因为 Pods 访问的 127.0.0.1指向自己而不是 kubelet。
如果设置了 –hostname-override 选项,则 kube-proxy 也需要设置该选项,否则会出现找不到 Node 的情况。
–experimental-bootstrap-kubeconfig 指向 bootstrap kubeconfig 文件,kubelet 使用该文件中的用户名和 token 向 kube-apiserver 发送 TLS Bootstrapping 请求。
管理员通过了 CSR 请求后,kubelet 自动在 –cert-dir 目录创建证书和私钥文件(kubelet-client.crt 和 kubelet-client.key),然后写入 –kubeconfig 文件(自动创建 –kubeconfig 指定的文件)。
建议在 –kubeconfig 配置文件中指定 kube-apiserver 地址,如果未指定 –api-servers 选项,则必须指定 –require-kubeconfig 选项后才从配置文件中读取 kue-apiserver 的地址,否则 kubelet 启动后将找不到 kube-apiserver (日志中提示未找到 API Server),kubectl get nodes 不会返回对应的 Node 信息。
–cluster-dns 指定 kubedns 的 Service IP(可以先分配,后续创建 kubedns 服务时指定该 IP),–cluster-domain 指定域名后缀,这两个参数同时指定后才会生效。

3、启动kubelet

sudo cp kubelet.service /etc/systemd/system/kubelet.servicesudocpkubelet.service/etc/systemd/system/kubelet.service sudo systemctl daemon-reload
sudo systemctl enable kubeletsudosystemctlenablekubelet sudo systemctl start kubelet
$ systemctl status kubelet

4、通过kubelet 的TLS 证书请求

kubelet 首次启动时向kube-apiserver 发送证书签名请求,必须通过后kubernetes 系统才会将该 Node 加入到集群。查看未授权的CSR 请求:

$ kubectl get csr
NAME                          AGE    REQUESTOR      CONDITION
node-csr–k3G2G1EoM4h9w1FuJRjJjfbIPNxa551A8TZfW9dG-g  2m    kubelet-bootstrap  Pending
$ kubectl get nodes
No resources found.

# 通过CSR 请求:
kubectl certificate approve node-csr–k3G2G1EoM4h9w1FuJRjJjfbIPNxa551A8TZfW9dG-g  //红色字体根据实际情况进行修改kubectlcertificateapprovenode−csr–k3G2G1EoM4h9w1FuJRjJjfbIPNxa551A8TZfW9dG−g //红色字体根据实际情况进行修改
certificatesigningrequest “node-csr–k3G2G1EoM4h9w1FuJRjJjfbIPNxa551A8TZfW9dG-g” approved kubectl get nodes
NAME      STATUS  ROLES   AGE    VERSION
172.16.200.15  Ready   <none>  48s    v1.9.7

# 自动生成了kubelet kubeconfig 文件和公私钥:
ls -l /etc/kubernetes/kubelet.kubeconfigls−l/etc/kubernetes/kubelet.kubeconfig
-rw——- 1 root root 2280 Nov 7 10:26 /etc/kubernetes/kubelet.kubeconfig ls -l /etc/kubernetes/ssl/kubelet
-rw-r–r– 1 root root 1046 Nov 7 10:26 /etc/kubernetes/ssl/kubelet-client.crt
-rw——- 1 root root 227 Nov 7 10:22 /etc/kubernetes/ssl/kubelet-client.key
-rw-r–r– 1 root root 1115 Nov 7 10:16 /etc/kubernetes/ssl/kubelet.crt
-rw——- 1 root root 1675 Nov 7 10:16 /etc/kubernetes/ssl/kubelet.key

img

推荐文章