有固定ip自己做网站,苏州网站建设系统价格合理,网站在线seo,山东百度推广代理商问题描述 2023年7月31日11点02分#xff0c;主机安装elasticsearch后无法登陆#xff0c;通过后台查看主机宕机状态#xff0c;CPU达到100%#xff0c;按业务侧要求执行重启操作后发现主机黑屏无法正常进入系统#xff0c;系统卡死。
2#xff0e;原因分析 2.1通过故障…问题描述 2023年7月31日11点02分主机安装elasticsearch后无法登陆通过后台查看主机宕机状态CPU达到100%按业务侧要求执行重启操作后发现主机黑屏无法正常进入系统系统卡死。
2原因分析 2.1通过故障现象分析主机CPU占用率逐渐增大判断有异常进程持续运行挂载镜像进入救援模式执行chroot /mnt/sysimage可正常进入系统环境。
2.2查看系统/var/log/messages日志发现7月26日在文件/etc/sysctl.conf中添加参数vm.min_free_kbytes16384000后系统出现问题。
2.3 vm.min_free_kbytes16384000 该参数表示强制Linux VM最低保留多少空闲内存kbytes当可用内存低于这个参数时会启动 kswapd 进行内存回收。 经查询16GB内存主机默认数值仅有 67584而故障主机设置参数为16384000约等于主机16G内存因为数值通过vm.min_free_kbytes计算得到设置过高kswapd 经过回收后仍未达到要求数值所以 kswapd 持续运行系统会触发直接内存回收(direct reclaim)导致系统夯死CPU利用率达到100%。
3处理过程 3.1查看/etc/sysctl.conf文件信息备份/etc/sysctl.conf文件。
3.2用vi编辑文件/etc/sysctl.conf注释vm.min_free_kbytes16384000行保存退出。
3.3执行reboot操作主机重启正常进入系统。
4故障总结 本次故障原因是由于业务侧在/etc/sysctl.conf配置文件中添加vm.min_free_kbytes16384000参数后kswapd 持续运行系统触发直接内存回收(direct reclaim)导致系统夯死重启后无法进入系统。 举一反三建议平时在修改配置文件时要多理解参数实际含义后再进行添加或修改避免操作对系统产生影响。
