SCHEDULING & STORAGE
SAFE OPERATING BOUNDARY
workload 변경은 적용 전 백업 manifest와 정상 Git revision으로 복원하고 rollout을 검증합니다. PVC/PV는 삭제로 롤백하지 않으며 storageClass·reclaimPolicy·실데이터 백업을 확인한 공급자 복구 절차를 따릅니다. uncordon한 Node에 문제가 재발하면 새 배치를 멈출지 운영 영향과 PDB를 확인해 승인받습니다.
BEFORE YOU START
CHECK THE BRANCH
scheduler는 현재 사용량이 아니라 request와 Node allocatable을 기준으로 배치합니다. request 축소·증설 전 실제 요구량과 namespace quota, DaemonSet 점유량을 함께 확인합니다.
Node의 장애 taint를 임의 제거하지 않습니다. workload가 요구한 selector·affinity·topology와 Node label, 허용된 toleration이 의도한 정책인지 소스에서 비교합니다.
StorageClass 존재, default 여부, accessModes·용량·volumeBindingMode, CSI provisioner 이벤트를 확인합니다. PVC 삭제나 finalizer 제거는 영구 데이터 손실로 이어질 수 있습니다.
False는 kubelet이 비정상 상태를 보고한 경우, Unknown은 control plane이 heartbeat를 받지 못한 경우일 수 있습니다. cordon/uncordon보다 kubelet·runtime·네트워크·압박 조건을 먼저 복구합니다.
FOLLOW THE FLOW
같은 namespace의 Pod와 PVC, 클러스터 Node 조건, 최근 Warning 이벤트를 시간순으로 확인해 첫 분기를 정합니다.
kubectl get pods -n <NAMESPACE> -o wide --field-selector=status.phase=Pendingkubectl get pvc -n <NAMESPACE>
kubectl get storageclasskubectl get pvc -n <NAMESPACE> <PVC> -o jsonpath='{.spec.volumeName}{"\n"}'
kubectl get pv <BOUND_PV> -o custom-columns='NAME:.metadata.name,STATUS:.status.phase,CLASS:.spec.storageClassName,CAPACITY:.spec.capacity.storage,CLAIM:.spec.claimRef.name'kubectl get nodes -o widekubectl events -n <NAMESPACE> --types=WarningFailedScheduling 메시지가 리소스, taint/affinity, unbound PVC 중 어디를 가리키는지 확인하고 Node NotReady가 동시에 발생했는지 봅니다.
한 번에 여러 조건을 바꾸지 말고 scheduler·storage·node 중 주원인 분기로 이동합니다.
Pod 이벤트와 spec, Node allocatable·taint를 비교합니다. 실제 CPU 사용량만 보고 request를 임의 축소하지 않습니다.
kubectl events -n <NAMESPACE> --for pod/<POD> --types=Warningkubectl get pod -n <NAMESPACE> <POD> -o jsonpath='{range .spec.containers[*]}{.name}{" requests="}{.resources.requests}{"\n"}{end}{"nodeSelector="}{.spec.nodeSelector}{"\naffinity="}{.spec.affinity}{"\ntolerations="}{.spec.tolerations}{"\n"}'kubectl get nodes -o custom-columns='NAME:.metadata.name,CPU:.status.allocatable.cpu,MEMORY:.status.allocatable.memory,PODS:.status.allocatable.pods,TAINTS:.spec.taints[*].key'Insufficient는 request 대비 allocatable 부족, untolerated taint는 정책 불일치, node affinity/selector는 적합한 label의 Node 부재를 뜻합니다.
용량 증설, workload request 조정, label/affinity 수정 중 원인에 맞는 하나만 변경안으로 준비합니다.
PVC와 StorageClass 설정, PV 바인딩 조건, CSI controller 이벤트를 조회합니다. Secret이나 VolumeAttachment를 강제로 지우지 않습니다.
kubectl describe pvc -n <NAMESPACE> <PVC>kubectl get pvc -n <NAMESPACE> <PVC> -o jsonpath='{.spec.storageClassName}{" "}{.spec.accessModes}{" requested="}{.spec.resources.requests.storage}{" volume="}{.spec.volumeName}{"\n"}'kubectl get storageclass <STORAGE_CLASS> -o jsonpath='{.provisioner}{" binding="}{.volumeBindingMode}{" reclaim="}{.reclaimPolicy}{" expansion="}{.allowVolumeExpansion}{"\n"}'kubectl events -n <NAMESPACE> --types=Warning | grep -E 'PersistentVolume|Provisioning|AttachVolume|MountVolume|<PVC>'no provisioner·quota·access mode 불일치인지, WaitForFirstConsumer라서 Pod 스케줄과 함께 지연되는 정상 흐름인지 구분합니다.
기존 Bound PVC는 삭제·재생성하지 말고 CSI와 스토리지 제공자의 복구 절차를 확인합니다.
NotReady Node에서 조건·lease와 kubelet/containerd 로그를 확인합니다. drain·reboot·runtime 재시작은 이 진단 단계에서 수행하지 않습니다.
kubectl get node <NODE> -o jsonpath='{range .status.conditions[*]}{.type}{"="}{.status}{" reason="}{.reason}{" message="}{.message}{"\n"}{end}{"taints="}{.spec.taints}{"\n"}'kubectl get lease -n kube-node-lease <NODE> -o jsonpath='{.spec.holderIdentity}{" renewTime="}{.spec.renewTime}{"\n"}'sudo systemctl status kubelet.service containerd.service --no-pager -l
sudo journalctl -u kubelet.service -u containerd.service --since '-20 min' --no-pagerdf -hT / /var
free -hReady Unknown과 lease 정지는 네트워크·kubelet 중단, Ready False와 Pressure True는 노드 자원·runtime 문제 가능성이 큽니다.
노드 원인을 먼저 복구하고 Ready True가 안정적으로 유지된 뒤 스케줄링 상태를 다시 봅니다.
이 단계는 workload·스토리지·Node 스케줄 상태를 바꿀 수 있습니다. PVC 삭제·finalizer 제거·강제 drain은 제시하지 않으며, 소스 관리된 수정만 diff 후 적용합니다.
install -d -m 0700 "<APPROVED_BACKUP_PATH>"
umask 077
kubectl get deployment -n <NAMESPACE> <DEPLOYMENT> -o yaml > "<APPROVED_BACKUP_PATH>/deployment.before-scheduling-fix.yaml"
kubectl get pvc -n <NAMESPACE> <PVC> -o yaml > "<APPROVED_BACKUP_PATH>/pvc.before-scheduling-fix.yaml"
chmod 0600 "<APPROVED_BACKUP_PATH>/deployment.before-scheduling-fix.yaml" "<APPROVED_BACKUP_PATH>/pvc.before-scheduling-fix.yaml"
stat -Lc '%a %U:%G %n' "<APPROVED_BACKUP_PATH>/deployment.before-scheduling-fix.yaml" "<APPROVED_BACKUP_PATH>/pvc.before-scheduling-fix.yaml"kubectl diff --server-side -f <REVIEWED_FIX.yaml>kubectl apply --server-side -f <REVIEWED_FIX.yaml>kubectl uncordon <NODE>kubectl get pod,pvc -n <NAMESPACE> -o wide
kubectl get node <NODE>
kubectl events -n <NAMESPACE> --types=WarningPod가 Running/Ready, PVC가 Bound, Node가 Ready이고 같은 Warning 이벤트가 다시 발생하지 않아야 합니다. 하나라도 불명확하면 복구 완료로 판정하지 않습니다.
실패하면 manifest는 백업·정상 Git revision으로 복원하고 uncordon은 다시 cordon할지 운영 영향에 따라 승인받습니다. 재발 방지를 위해 request 기준 용량, CSI 경보, Node Ready·Pressure와 PVC Pending 지속시간 알림을 둡니다.
PRIMARY REFERENCES
배포판과 버전에 따라 옵션·로그 위치가 다를 수 있습니다. 실행 전 서버의 --help와 로컬 매뉴얼을 함께 확인하세요.