K8S的集群构建
大约 11 分钟约 3393 字
K8S的集群构建
环境准备
机器环境
非常重要必须看咯
1、节点CPU核数必须是 ：>= 2核 /内存要求必须是：>=2G ，否则k8s无法启动
2、DNS网络： 最好设置为 本地网络连通的DNS,否则网络不通，无法下载一些镜像
3、兼容问题
docker 19 kubernetes1.19.x
docker 20 kubernetes 1.20.x
在k8s1.21.1之后 k8s的默认容器不是Docker是Containerd
注意：使用docker版本v20.10.8、kubernetes v1.20.5、Go版本v1.13.15
| 节点hostname | 作用 | IP |
|---|---|---|
| kmaster | kmaster | 192.168.3.10 |
| knode1 | kwork1 | 192.168.3.11 |
| knode2 | kwork2 | 192.168.3.12 |
- 设置主机别名
[root@localhost ~]# hostnamectl set-hostname kmaster --static
[root@localhost ~]# hostnamectl set-hostname kworker1 --static
[root@localhost ~]# hostnamectl set-hostname kworker2 --static- 服务器静态IP配置
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-enp0s3
BOOTPROTO="static" #dhcp改为static
ONBOOT="yes" #开机启用本配置
IPADDR=192.168.3.10 #静态IP 192.168.8.11/192.168.8.12
GATEWAY=192.168.3.1 #默认网关
NETMASK=255.255.255.0 #子网掩码
DNS1=114.114.114.114 #DNS 配置
DNS2=8.8.8.8 #DNS 配置【必须配置，否则SDK镜像下载很慢】
## 重启所有服务器
[root@localhost ~] reboot- 查看主机名
## 看看别名是否生效
hostname- 配置IP host映射关系
## 编辑/etc/hosts文件，配置映射关系
vi /etc/hosts
192.168.3.10 kmaster
192.168.3.11 kworker1
192.168.3.12 kworker2- 安装依赖环境
注意：每一台机器都需要安装此依赖环境
yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstatlibseccomp wget vim net-tools git iproute lrzsz bash-completion tree bridge-utils unzip bind-utils gcc- 防火墙配置
安装iptables，启动iptables，设置开机自启，清空iptables规则，保存当前规则到默认规则
# 关闭防火墙(生产环境建议使用放行端口)
systemctl stop firewalld && systemctl disable firewalld
# 置空iptables
yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save- 关闭selinux[必须操作]
因为在K8S集群安装的时候需要执行脚本，如果Selinux没有关闭它会阻止执行。
# 关闭swap分区【虚拟内存】并且永久关闭虚拟内存
swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
# 关闭selinux
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config系统设置调整
调整内核参数
cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
#将优化内核文件拷贝到/etc/sysctl.d/文件夹下，这样优化文件开机的时候能够被调用
cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
#手动刷新，让优化文件立即生效
sysctl -p /etc/sysctl.d/kubernetes.conf调整系统临时区
#设置系统时区为中国/上海
timedatectl set-timezone "Asia/Shanghai"
#将当前的UTC 时间写入硬件时钟
timedatectl set-local-rtc 0
#重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond关闭系统不需要的服务
systemctl stop postfix && systemctl disable postfix设置日志保存方式
- 创建保存日志的目录
mkdir /var/log/journal- 创建配置文件存放目录
mkdir /etc/systemd/journald.conf.d- 创建配置文件
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
Storage=persistent
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
SystemMaxUse=10G
SystemMaxFileSize=200M
MaxRetentionSec=2week
ForwardToSyslog=no
EOF- 重启systemd journald 的配置
systemctl restart systemd-journald- 打开文件数调整(可忽略，不执行)
echo "* soft nofile 65536" >> /etc/security/limits.conf
echo "* hard nofile 65536" >> /etc/security/limits.conf- kube-proxy 开启 ipvs 前置条件
modprobe br_netfilter
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
#使用lsmod命令查看这些文件是否被引导
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
=========================执行结果================================
ip_vs_sh 16384 0
ip_vs_wrr 16384 0
ip_vs_rr 16384 0
ip_vs 147456 6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
nf_conntrack_ipv4 20480 0
nf_defrag_ipv4 16384 1 nf_conntrack_ipv4
nf_conntrack 114688 2 ip_vs,nf_conntrack_ipv4
libcrc32c 16384 2 xfs,ip_vsDocker部署
安装docker
# 安装依赖
yum install -y yum-utils device-mapper-persistent-data lvm2
#紧接着配置一个稳定的仓库、仓库配置会保存到/etc/yum.repos.d/docker-ce.repo文件中
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
#更新Yum安装的相关Docker软件包&安装Docker CE(这里安装Docker最新版本)
yum update -y && yum install docker-ce设置docker daemon文件
#创建/etc/docker目录
mkdir /etc/docker
#更新daemon.json文件
cat > /etc/docker/daemon.json <<EOF
{
"registry-mirrors": [
"https://ebkn7ykm.mirror.aliyuncs.com",
"https://docker.mirrors.ustc.edu.cn",
"http://f1361db2.m.daocloud.io",
"https://registry.docker-cn.com"
],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
#注意：一定注意编码问题，出现错误---查看命令：journalctl -amu docker 即可发现错误
#创建，存储docker配置文件
# mkdir -p /etc/systemd/system/docker.service.d- 重启docker服务
systemctl daemon-reload && systemctl restart docker && systemctl enable dockerkubeadm安装K8S
yum仓库镜像
国内镜像配置(国内建议配置)
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF官网镜像配置
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF安装kubeadm 、kubelet、kubectl(1.20.5)
# 指定版本
yum install -y kubelet-1.20.5 kubeadm-1.20.5 kubectl-1.20.5 --disableexcludes=kubernetes
systemctl enable kubelet && systemctl start kubelet准备k8s镜像
修改配置文件
[root@master ~]$ kubeadm config print init-defaults > kubeadm-init.yaml该文件有两处需要修改:
- 将advertiseAddress: 1.2.3.4修改为本机地址,比如使用192.168.3.191作为master，就修改advertiseAddress: 192.168.3.191
- 将imageRepository: k8s.gcr.io修改为imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
修改完毕后文件如下:
apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
- system:bootstrappers:kubeadm:default-node-token
token: abcdef.0123456789abcdef
ttl: 24h0m0s
usages:
- signing
- authentication
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 192.168.3.191 # 本机IP
bindPort: 6443
nodeRegistration:
criSocket: /var/run/dockershim.sock
name: k8s-master
taints:
- effect: NoSchedule
key: node-role.kubernetes.io/master
---
apiServer:
timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
type: CoreDNS
etcd:
local:
dataDir: /var/lib/etcd
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers #镜像仓库
kind: ClusterConfiguration
kubernetesVersion: v1.20.1
networking:
dnsDomain: cluster.local
serviceSubnet: 10.96.0.0/12
podSubnet: 10.244.0.0/16 # 新增Pod子网络
scheduler: {}根据配置文件拉取镜像
[root@kmaster ~]$ kubeadm config images pull --config kubeadm-init.yamlK8S的Master部署
执行初始化
[root@master ~]$ kubeadm init --config kubeadm-init.yaml验证是否成功
## 如果在执行完成后出现下面的语句 代表成功 并记录下加入worker节点的命令
kubeadm join 192.168.3.10:6443 --token abcdef.0123456789abcdef \
--discovery-token-ca-cert-hash sha256:13aff92657d0f3451ac68e3200ebc3c1c6ea6980b1de700ba257ad1538e0ce3查看Master节点网络状态
## 配置kubectl执行命令环境
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
## 执行kubectl命令查看机器节点
kubectl get node
-----------------------------------------
NAME STATUS ROLES AGE VERSION
master NotReady master 48m v1.20.1
## 发现节点STATUS是NotReady的，是因为没有配置网络配置网络
使用以下命令安装Calico网络
wget https://docs.projectcalico.org/manifests/calico.yaml
## 编辑calico.yaml
## 修改calico.yaml文件设置指定的网卡
# Cluster type to identify the deployment type
- name: CLUSTER_TYPE
value: "k8s,bgp"
# IP automatic detection
- name: IP_AUTODETECTION_METHOD
value: "interface=en.*"
# Auto-detect the BGP IP address.
- name: IP
value: "autodetect"
# Enable IPIP
- name: CALICO_IPV4POOL_IPIP
value: "Never"
## 构建calico网络
kubectl apply -f此时查看node信息, master的状态已经是Ready了.
[root@master ~]$ kubectl get node
NAME STATUS ROLES AGE VERSION
master Ready master 48m v1.20.5看到STATUS是Ready的，说明网络已经通了。
追加Node节点
## 到其他几个node节点进行执行即可
kubeadm join 192.168.3.10:6443 --token abcdef.0123456789abcdef \
--discovery-token-ca-cert-hash sha256:37eb59b3459a1651222a98e35d057cfd102e8ae311c5fc9bb4be22cd46a59c29验证状态
[root@kmaster ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
kmaster Ready control-plane,master 26m v1.20.5
kworker1 Ready <none> 5m37s v1.20.5
kworker2 Ready <none> 5m28s v1.20.5
[root@kmaster ~]# kubectl get pod -n kube-system -o wide
## 如果看到下面的pod状态都是Running状态，说明K8S集群环境就构建完成K8S 集群健康检查脚本
#!/bin/bash
# k8s_health_check.sh — 集群健康巡检脚本
set -euo pipefail
echo "========== K8S 集群健康检查 =========="
echo "检查时间: $(date '+%Y-%m-%d %H:%M:%S')"
echo ""
# 1. 节点状态
echo ">>> 节点状态"
kubectl get nodes -o wide
echo ""
# 2. 系统组件状态
echo ">>> 系统组件状态"
kubectl get componentstatuses 2>/dev/null || echo "componentstatuses 已弃用（K8S 1.19+）"
echo ""
# 3. 核心命名空间的 Pod 状态
echo ">>> 核心组件 (kube-system)"
kubectl get pods -n kube-system -o wide
echo ""
# 4. 所有命名空间的资源使用
echo ">>> 资源使用情况"
kubectl top nodes 2>/dev/null || echo "metrics-server 未安装"
echo ""
# 5. 异常 Pod 检查
echo ">>> 异常 Pod 检查"
NOT_RUNNING=$(kubectl get pods -A --field-selector=status.phase!=Running,status.phase!=Succeeded 2>/dev/null | tail -n +2)
if [ -n "$NOT_RUNNING" ]; then
echo "以下 Pod 未正常运行:"
echo "$NOT_RUNNING"
else
echo "所有 Pod 运行正常"
fi
echo ""
# 6. 事件检查（最近 1 小时的 Warning 事件）
echo ">>> 最近的 Warning 事件"
kubectl get events -A --field-selector type=Warning --sort-by='.lastTimestamp' 2>/dev/null | tail -10
echo ""
# 7. 证书有效期检查
echo ">>> 证书有效期（master 节点）"
if command -v openssl &> /dev/null; then
for cert in /etc/kubernetes/pki/apiserver.crt /etc/kubernetes/pki/apiserver-kubelet-client.crt; do
if [ -f "$cert" ]; then
expiry=$(openssl x509 -enddate -noout -in "$cert" 2>/dev/null | cut -d= -f2)
echo " $cert: 过期时间 $expiry"
fi
done
fi
echo ""
# 8. 磁盘和内存状态
echo ">>> 节点系统资源"
for node in $(kubectl get nodes -o jsonpath='{.items[*].metadata.name}'); do
echo "--- 节点: $node ---"
ssh "$node" "echo '磁盘:' && df -h / && echo '内存:' && free -h" 2>/dev/null || echo " (无法 SSH 到节点)"
echo ""
done
echo "========== 健康检查完成 =========="K8S 常见问题排错
# ========== Pod 排错 ==========
# Pod 一直处于 Pending 状态
kubectl describe pod <pod-name> -n <namespace>
# 常见原因：
# - 资源不足（CPU/内存不够） -> 查看节点资源 kubectl describe node
# - PVC 无法挂载 -> 检查 StorageClass 和 PV 状态
# - 节点选择器/亲和性不匹配 -> 检查 nodeSelector 和 nodeAffinity
# Pod 一直处于 CrashLoopBackOff
kubectl logs <pod-name> -n <namespace> --previous
# 常见原因：
# - 容器启动命令错误 -> 检查 Dockerfile CMD/ENTRYPOINT
# - 配置缺失 -> 检查 ConfigMap 和 Secret 是否正确挂载
# - 健康检查失败 -> 检查 livenessProbe 配置是否过于严格
# Pod 处于 ImagePullBackOff
kubectl describe pod <pod-name> -n <namespace> | grep -A5 Events
# 常见原因：
# - 镜像名称/标签错误 -> 检查 image 字段
# - 没有拉取权限 -> 创建 imagePullSecret
# - 网络不通 -> 检查 DNS 和防火墙
# ========== Service 排错 ==========
# Service 无法访问
# 1. 检查 Endpoints 是否创建
kubectl get endpoints <service-name> -n <namespace>
# 2. 检查 selector 是否匹配 Pod 标签
kubectl get pods -l app=my-app --show-labels
# 3. 检查 targetPort 是否匹配容器端口
kubectl describe svc <service-name> -n <namespace>
# ========== 网络排错 ==========
# Pod 之间无法通信
# 1. 检查 CNI 插件状态
kubectl get pods -n kube-system -l k8s-app=calico
# 2. 检查 NetworkPolicy 是否阻止了流量
kubectl get networkpolicy -A
# 3. 进入 Pod 内部测试
kubectl exec -it <pod-name> -- curl -s http://<service-name>.<namespace>.svc.cluster.local
# ========== 节点排错 ==========
# 节点 NotReady
kubectl describe node <node-name>
# 常见原因：
# - kubelet 服务挂了 -> systemctl status kubelet
# - 磁盘满了 -> df -h
# - 内存不足 -> free -h
# - 证书过期 -> journalctl -u kubelet | grep certificate
# 重启 kubelet
systemctl restart kubelet
systemctl status kubeletK8S 资源配额管理
# ResourceQuota — 限制命名空间的资源使用
apiVersion: v1
kind: ResourceQuota
metadata:
name: team-quota
namespace: team-alpha
spec:
hard:
requests.cpu: "10" # 该命名空间最多请求 10 核 CPU
requests.memory: 20Gi # 最多请求 20GB 内存
limits.cpu: "20" # 最多限制 20 核 CPU
limits.memory: 40Gi # 最多限制 40GB 内存
pods: "50" # 最多 50 个 Pod
services: "10" # 最多 10 个 Service
persistentvolumeclaims: "20" # 最多 20 个 PVC
configmaps: "20" # 最多 20 个 ConfigMap
secrets: "20" # 最多 20 个 Secret
---
# LimitRange — 设置默认资源限制
apiVersion: v1
kind: LimitRange
metadata:
name: default-limits
namespace: team-alpha
spec:
limits:
- default: # 默认 limits（未指定时使用）
cpu: "1"
memory: 512Mi
defaultRequest: # 默认 requests
cpu: "0.5"
memory: 256Mi
max: # 最大允许值
cpu: "4"
memory: 4Gi
min: # 最小允许值
cpu: "0.1"
memory: 64Mi
type: Container附录
kubectl delete node --all # 删除所有的节点
kubeadm reset -f # 重置kubeadm
modprobe -r ipip
lsmod
rm -rf ~/.kube/
rm -rf /etc/kubernetes/
rm -rf /etc/systemd/system/kubelet.service.d
rm -rf /etc/systemd/system/kubelet.service
rm -rf /usr/bin/kube*
rm -rf /etc/cni
rm -rf /opt/cni
rm -rf /var/lib/etcd
rm -rf /var/etcd
yum remove kube*关键知识点
- 部署类主题的核心不是“装成功”，而是“稳定运行、可排障、可回滚”。
- 同一个服务通常至少要关注版本、目录、端口、权限、数据、日志和备份。
- Linux 问题经常跨越系统层、网络层、服务层和应用层。
- Kubernetes 主题必须同时看资源对象、调度行为、网络暴露和配置分发。
项目落地视角
- 把安装步骤补成可重复执行的清单，必要时写成脚本或配置文件。
- 把配置目录、数据目录、日志目录和挂载点明确拆开。
- 上线前检查防火墙、SELinux、时区、磁盘、系统服务和健康检查。
- 上线前检查镜像、命名空间、探针、资源限制、Service/Ingress 和配置来源。
常见误区
- 使用 latest 或未固定版本，导致环境不可复现。
- 只验证启动成功，不验证持久化、开机自启和故障恢复。
- 遇到问题先改配置而不是先看日志和依赖链路。
- 只会 apply YAML，不理解对象之间的依赖关系。
进阶路线
- 继续补齐 systemd、性能监控、安全加固和备份恢复。
- 把单机操作升级成 Docker、Kubernetes 或 IaC 方案。
- 建立标准化运维手册，包括巡检、扩容、回滚和灾备演练。
- 继续补齐调度、网络策略、存储、GitOps 和平台工程能力。
适用场景
- 当你准备把《K8S的集群构建》真正落到项目里时，最适合先在一个独立模块或最小样例里验证关键路径。
- 适合单机环境初始化、中间件快速搭建、测试环境验证和生产部署前准备。
- 当服务稳定性依赖端口、权限、目录、网络和系统参数时，这类主题会直接影响成败。
落地建议
- 固定版本号与镜像标签，避免“latest”带来的不可预期变化。
- 把配置、数据、日志目录拆开管理，并记录恢复步骤。
- 上线前确认端口、防火墙、SELinux、时区和磁盘空间。
排错清单
- 先查 systemctl、容器日志和应用日志，确认失败发生在哪一层。
- 检查端口占用、目录权限、挂载路径和网络连通性。
- 如果是新环境问题，优先对比与已知正常环境的差异。
复盘问题
- 如果把《K8S的集群构建》放进你的当前项目，最先要验证的输入、输出和失败路径分别是什么？
- 《K8S的集群构建》最容易在什么规模、什么边界条件下暴露问题？你会用什么指标或日志去确认？
- 相比默认实现或替代方案，采用《K8S的集群构建》最大的收益和代价分别是什么？