您当前的位置:首页 > 电脑百科 > 站长技术 > 服务器

一次服务器非法重启后导致的故障排查记录

时间:2022-11-16 11:43:06  来源:微信公众号  作者:杰哥的IT之旅

作者 | JackTian

来源 | 公众号:杰哥的IT之旅(ID:Jake_Inte.NET

前段时间遇到一个服务器问题: 非法重启设备后,服务器进入救援模式,数据盘也不显示挂载是否成功。

说来这个问题,我觉得还挺奇葩。今天就来跟大家分享下整个过程以及我的处理方法。避免大家在今后的学习或工作中遇到跟我同样的问题。

一、问题背景

有一天,研发小伙伴跟我反馈有一台服务器连不上,一直卡在如下页面。

该页面是 Xshell 连接某一台服务器时,建立的连接,按 Ctrl+Alt+] 键切换到本地 Shell 终端。当我看到卡在该页面时,毫无犹豫的自己也尝试了起来,果然也是连不上。前一天还正常连接,第二天就出问题了?

还好服务器有配置远程管理地址,通过远程控制管理页面的方式启动 iKVM html5 和远程管理服务器,这样就能登到这台出故障的设备上查看服务器界面处于一种什么样的状态。

登到这台故障的服务器后,直接重启了服务器,然后 Xshell 再次尝试连接,是可以远程连接的。难道这就是传说中的重启治百病,如此简单粗暴?

当进入系统后,执行简单的命令都提示输入/输出错误。

过不久后,直接不建立连接了,彻底挂了。。。

再通过远程控制管理页面查看服务器当前状态,一看进入到救援模式了。

到该模式下后,

  • 输入 journalctl -xb 命令,可查看系统日志
  • 输入 systemctl reboot 命令,重启系统
  • 输入 systemctl default 或 ^D 命令,再次尝试进入默认模式
  • 输入 root 用户密码,则可以进入系统

根据日志报错提示:挂载文件系统可以纠正该问题。

二、解决方案

执行 df -h 命令,用于在 linux 操作系统下显示文件系统的磁盘使用情况。

使用 -h 选项以 KB 以上的单位来显示,可读性高。

  • 第一列: Filesystem 文件系统的名称
  • 第二列: Size 文件系统的容量
  • 第三列: Used 已用多少的磁盘空间
  • 第四列: Avail 可用多少的磁盘空间
  • 第五列: Use% 磁盘使用率
  • 第六列: Mounted On 挂载点

根据上图结果来看,没有 /dev/sdb1 文件系统所挂载的 /bigdata 目录磁盘情况。

尝试将 /dev/sdb1 取消挂载,重新挂载,反复报不同的错误。

通过 RAID 卡管理界面查看状态也是 Online。

当如果重启设备,能看到如下界面,则说明正在初始化设备。

恰巧,这台故障的服务器有多块硬盘组成的 44T 的一个目录有存放 46% 的数据,在有数据的情况下,如何不格式化磁盘重新挂载呢?

取消挂载

umount/dev/sdb1

尝试修复

若不确定挂载点属于哪种文件类型时,可以执行: df -Th 命令来判断。

如果挂载点为 xfs 文件类型 ,可以执行: xfs_repair -L + 文件系统名称路径 命令进行修复。

如果挂载点为 fsck.ext2/3/4文件类型 ,可以执行: fsck.ext2/3/4文件类型 + 文件系统路径 命令进行修复。

因为我这是 xfs 的文件类型,按 xfs_repair 命令来修复受损的 xfs 文件系统,执行如下命令进行修复 /dev/sdb1 。

xfs_repair-L /dev/sdb1

执行修复是根据磁盘中的数据使用率来决定修复时长的,所以时间会较长,我采用放后台的形式执行的,执行完成后,查看还是否有进程存在,如有则说明未修复完,如没有则说明修复完成,然后 再重新挂载。

mount/dev/sdb1 /bigdata

挂载完毕后,执行df -h 命令来确定是否挂载成功。

到此,就恢复挂载完毕了。

上面案例是针对磁盘有数据时且不格式化的情况下恢复并挂载。

那么有小伙伴该问了,无存储数据的情况下,如何挂载磁盘,我这里也给大家整理出来一个详细的操作步骤:

第一步:

ll /dev/disk/ by-path # 查看需要挂的磁盘名称

fdisk -l # 查看磁盘信息

lsblk # lsblk 命令默认情况下将以树状列出所有块设备,包括查看磁盘挂载信息

第二步:

parted/dev/sdb mklabel gpt # 新建 /dev/sdb 的磁盘标签类型为 GPT

parted /dev/sdb mkpart primary 0100% # 将 /dev/sdb 整个空间分给同一个分区

ignore # 忽略上述执行命令后的告警

mkfs.xfs -f /dev/sdb # 格式化分区

注意:格式化分区可能会执行慢些,需耐心等待。

第三步:

mkdir/bigdata # 创建目录,自定义目录名

mount /dev/sdb /bigdata # 将 sdb 挂载到 /bigdata 目录下

第四步:

blkid# 查看 sdb 的 UUID 并复制

第五步:

vi/etc/fstab # 参考已挂载的磁盘,将 sdb 的 UUID 和挂载目录关联上,保存后重启设备

注意:UUID 一定要写对,否则重启后无法正常进入系统。

第六步:

df-h # 检查是否挂载成功

按照上述操作步骤执行,肯定能操作成功。如果你有更好的解决方案,也欢迎大家留言分享。

参考文献

xfs_repair命令详解 https://bbs.qunyingkeji.com/2052/

<END>



Tags:服务器   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
作者 | JackTian来源 | 公众号:杰哥的IT之旅(ID:Jake_Internet)前段时间遇到一个服务器问题: 非法重启设备后,服务器进入救援模式,数据盘也不显示挂载是否成功。说来这个问题,我觉得...【详细内容】
2022-11-16  Tags: 服务器  点击:(0)  评论:(0)  加入收藏
导读:在 Kubernetes 中运行无服务器函数时,实现更快的启动速度和更小的内存占用。本文字数:5814,阅读时长大约: 7分钟由于运行上千个应用程序容器荚(Pod)所耗费的资源多,令它实现...【详细内容】
2022-10-26  Tags: 服务器  点击:(15)  评论:(0)  加入收藏
一、什么是多域名SSL服务器证书呢?SSL服务器证书是用户遵守SSL协议,由数字证书颁发机构CA在确认用户信息无误后进行颁发的一种数字证书,SSL服务器证书拥有服务器身份验证和数据...【详细内容】
2022-10-25  Tags: 服务器  点击:(19)  评论:(0)  加入收藏
当前许多企业为吸引国际客户的关注,获取更多的国际市场机会,都把网站搭建在香港或国际多地的服务器上。但是在网站搭建完成后,发现网站无法访问,这是什么原因导致的呢?其实,遇到...【详细内容】
2022-10-24  Tags: 服务器  点击:(30)  评论:(0)  加入收藏
我们如果要存储大量数据的话,都会用到服务器系统进行储存,很多IT公司都是拥有自己的服务器系统,那如果我们因为工作需要想要重装戴尔服务器系统的话,要怎么进行操作呢,下面教给大...【详细内容】
2022-10-24  Tags: 服务器  点击:(17)  评论:(0)  加入收藏
一个朋友说他遇到这样一个问题,同样的服务器别人可以连接,自己却无法连接,捣鼓了好久都无法解决,很是郁闷。这个问题,刚好我之前也遇到过,后来完美解决了,这就给大家分享一下我的解...【详细内容】
2022-10-14  Tags: 服务器  点击:(34)  评论:(0)  加入收藏
访问者模式:从介绍到实践百万级高并发WebRTC流媒体服务器设计与开发download:https://www.zxit666.com/1305/01什么是访客模式?访问者模式的定义如下,是指在不改变数据结构的情...【详细内容】
2022-10-07  Tags: 服务器  点击:(37)  评论:(0)  加入收藏
本文主要分享了如何搭建一个类似阿里云OSS的对象存储服务器。以windows环境下MinIO的搭建举例说明,linux环境下的搭建网上也有很多教程,请自行搜索相关资料。一、下载地址:http...【详细内容】
2022-10-07  Tags: 服务器  点击:(125)  评论:(0)  加入收藏
Ubuntu Pro 是适用于数据中心和工作站的扩展服务,通过提供安全维护和合规性产品来防止更广泛的漏洞和威胁。今天,Canonical 宣布 Ubuntu Pro 服务开始进入公测阶段。Ubuntu Pr...【详细内容】
2022-10-06  Tags: 服务器  点击:(60)  评论:(0)  加入收藏
一、软硬件准备:软件VMware软件,这里我以VMware&reg; Workstation 15 Pro为例;Centos镜像,这里我以centos8.3为例;硬件 二、在window系统部署linux系统,这里以centos为例1、下载...【详细内容】
2022-10-06  Tags: 服务器  点击:(47)  评论:(0)  加入收藏
▌简易百科推荐
作者 | JackTian来源 | 公众号:杰哥的IT之旅(ID:Jake_Internet)前段时间遇到一个服务器问题: 非法重启设备后,服务器进入救援模式,数据盘也不显示挂载是否成功。说来这个问题,我觉得...【详细内容】
2022-11-16  杰哥的IT之旅  微信公众号  Tags:服务器   点击:(0)  评论:(0)  加入收藏
一、概述 Livy是一个提供Rest接口和Spark集群交互的服务。它可以提交SPARK Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC...【详细内容】
2022-11-08  大数据老司机  今日头条  Tags:Apache   点击:(14)  评论:(0)  加入收藏
众所周知,SSL证书通常是针对完全合格的域名(FQDN)颁发的。然而,一些企业和公共机构不能通过域名访问各种类型的应用程序,而是使用IP地址。为了有效保障这类企业的数据传输安全,IP...【详细内容】
2022-10-30  青蛙数字安全    Tags:SSL   点击:(29)  评论:(0)  加入收藏
现在搭建网站其中的三要素:域名、主机空间以及建站程序缺一不可。主机空间其实也就是我们常见的服务器,在搭建网站之前一般都会提前规划配置什么样的空间/服务器,其中美国虚拟...【详细内容】
2022-10-24  安信SSL证书    Tags:SSL证书   点击:(10)  评论:(0)  加入收藏
当前许多企业为吸引国际客户的关注,获取更多的国际市场机会,都把网站搭建在香港或国际多地的服务器上。但是在网站搭建完成后,发现网站无法访问,这是什么原因导致的呢?其实,遇到...【详细内容】
2022-10-24  云杰通信    Tags:服务器   点击:(30)  评论:(0)  加入收藏
我们如果要存储大量数据的话,都会用到服务器系统进行储存,很多IT公司都是拥有自己的服务器系统,那如果我们因为工作需要想要重装戴尔服务器系统的话,要怎么进行操作呢,下面教给大...【详细内容】
2022-10-24  小白一键重装系统    Tags:服务器   点击:(17)  评论:(0)  加入收藏
现在主流都在推荐使用SSL证书,部署了SSL证书能自动激活浏览器显示“锁”型标志,我们可以在浏览器的地址栏看到“https”开头的网址。SSL证书意味着在客户端浏览器和Web服务器...【详细内容】
2022-10-22  吠品    Tags:SSL证书   点击:(5)  评论:(0)  加入收藏
大家都知道安装域名安全证书,即SSL证书后相当于为网站加上了一层保护罩,能有效预防黑客攻击,避免传输信息的泄露,从而大大提高网站的安全性。虽然大多数网站使用域名申请SSL证书...【详细内容】
2022-10-21  Cntrus数字认证    Tags:SSL证书   点击:(7)  评论:(0)  加入收藏
今天,通过xftp向Centos系统的某个文件夹上传文件时,莫名其妙上传失败,提示的错误信息为Unknown error!首先排除了权限问题,但是具体是什么问题呢?初步怀疑是磁盘满了。那么如果确...【详细内容】
2022-10-20  紫气之巅  今日头条  Tags:CentOS   点击:(20)  评论:(0)  加入收藏
FTP服务软件安装包: vsftpd默认发布目录: /var/ftp协议接口: 21/tcp服务配置文件: /etc/vsftpd/vsftpd.conf报错id的解析:500 ##文件系统权限过大530 ##用户认证失败550 ##服务本...【详细内容】
2022-10-17  沪飘运维    Tags:FTP   点击:(25)  评论:(0)  加入收藏
站内最新
站内热门
站内头条