掉电后文件内容出错或文件损坏的原理
程序运行过程中，有读写配置文件保存配置信息的操作。在程序运行过程中突然断电或者异常终止程序，会出现配置文件内容出错(乱码)甚至是文件被清空或者文件直接损坏而无法打开的情况。文件损坏时，可能报出segmentation fault的错误，以致程序没法正常运行。
断电瞬间正在往磁盘写文件。
内容丢失：Linux为延迟写(delayedwrite)，突然断电时，文件缓冲区中数据还未写入文件，意味着并没有持久化到磁盘。
文件损坏：文件系统内部结构不一致，导致文件系统破坏。
解决方案一、二、三、四
方案一：程序先自行退出，而不能让操作系统强制杀掉程序。
在C程序中加入SIGINT响应函数，保证程序正常退出。
1）Linux中的kill命令，会导致写文件失败。
大部分的程序都需要一个handler来应对SIGINT信号。只有正常退出，才能做到flush，保证写文件成功。
方案二、使用具有容错和修复的文件系统解决文件损坏修复
Linux下普遍采用的是ext3文件系统，ext3是一个具有日志记录功能的日志文件系统，可以进行简单的容错和恢复，但是在一个高负荷读写的ext3文件系统下，如果突然发生掉电，就很有可能发生文件系统内部结构不一致，导致文件系统破坏。
Linux在启动时，会自动去分析和检查系统分区，如果发现文件系统有简单的错误，会自动修复，如果文件系统破坏比较严重，系统无法完成修复时，系统就会自动进入单用户模式下或者出现一个交互界面，提示用户介入手动修复。现象类似下面所示：
checking root filesystem
/dev/sdb5 contains a file system with errors, check forced /dev/sdb5: Unattached inode 68338812
/dev/sdb5: UNEXPECTED INCONSISTENCY; RUN fsck MANUALLY (i.e., without -a or -p options) FAILED
/contains a file system with errors check forced an eror occurred during the file system check
****dropping you to a shell;the system will reboot
****when you leave the shell
Press enter for maintenance(or type Control-D to continue):
give root password for maintenance
从这个错误可以看出，系统根分区文件系统出现了问题，系统在启动时无法自动修复。根据上面的错误提示，当按下“Control-D”组合键后系统自动重启，当输入root密码后进入系统修复模式，执行fsck命令进行修复：
[root@localhost /]# umount /dev/sdb5
[root@localhost /]# fsck .ext3 -y /dev/sdb5
e2fsck 1.39 (29-May-2006)
/ contains a file system with errors, check forced.
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Inode 6833812 ref count is 2, should be 1. Fix<y>? yes
Unattached inode 6833812
Connect to /lost+found<y>? yes
Inode 6833812 ref count is 2, should be 1. Fix<y>? yes
Pass 5: Checking group summary information
Block bitmap differences: -(519--529) -9273
Fix<y>? yes
…… ……
/: ***** FILE SYSTEM WAS MODIFIED *****
/: 19/128520 files (15.8% non-contiguous), 46034/514048 blocks
方案三：编程时以牺牲性能效率达到及时同步数据
在C程序中加入fflush函数，保证所有输出第一时间写入文件，防止数据丢失。
1. 背景：
fwrite函数只是将所写内容存入用户缓存,并不立刻写入文件.
fflush函数将用户缓存中的内容写入内核缓冲区
fsync函数则是将内核缓冲写入文件
fclose则先执行fflush,再关闭文件的读写.
fclose库函数关闭指定的文件流stream，使所有尚未写出的数据都写出。因为stdio库会对数据进行缓冲，所以使用fclose是很重要的。如果程序需要确保数据已经全部写出，就应该调用fclose函数。虽然当程序正常结束时，会自动对所有还打开的文件流调用fclose函数。
2. 方法：
每次写完后fflush(FILE*fp) ; int fsync(int fd); →强制把数据写到磁盘。
（还有就是可以把缓冲区设置成无缓冲. ）
这样就能最多限度的保证不会因为缓冲的缘故而照此数据丢失.不过这要在效率上要付出代价的.
方案四：建立备份配置文件
若原配置文件损坏，则新建配置文件，并将备份文件内容拷贝到新建配置文件。
解决找不到配置文件而产生段错误，以致程序无法启动或正常运行的问题。
硬件服务器：RAID卡配置超级电容解决掉电丢数据问题
在服务器进行一次大量写操作时，一般使用高速缓存来提升系统性能，因为数据写入高速缓存的速度大于数据写入硬盘的速度。当服务器写压力减小或高速缓存将写满时，数据再由高速缓存写入硬盘。
开启高速缓存提升写性能的同时，增大了数据丢失的风险，在整机意外掉电时，高速缓存中的数据将会丢失。
为了提升整机的高读写性能和高速缓存中数据的安全，可为RAID卡配置超级电容。超级电容保护模块的原理是在发生系统意外掉电时，利用其超级电容供电，将高速缓存中的数据写入超级电容模块中的NAND Flash中。
由于数据保护需要超级电容的配合，为了记录超级电容的放电曲线，以便RAID卡了解超级电容的状态，例如最大和最小电压等，同时为了延长超级电容的寿命，RAID卡默认启动超级电容自动校准模式。超级电容电量校准过程中，RAID卡写策略自动调整为“WT”模式以保证数据完整性，此时RAID卡性能会降低。电量校准的周期取决于超级电容充放电速度。
虚拟机篇
案例1：阿里云的云存储网关方案
网关缓存模式采用同步IO（Sync IO）落盘，确保掉电不丢失数据。
云上网关依托于阿里云云盘的高可靠性，确保了缓存盘的数据持久可靠。
本地部署的网关依赖于您虚拟环境后端存储的可靠性，建议您使用RAID存储或高可靠分布式存储作为缓存盘。
网关将缓存盘的新数据刷新上传到OSS Bucket，依托OSS数据设计持久性不低于99.9999999999%（12个9）保证了数据的安全可靠，进而确保了数据从进入网关到上传云端整条链路的高可靠性。
案例2：linux物理主机判断掉电后自动关闭虚拟机
如何才能让exsi主机在断电的时候自动的进行判断，然后按照设定的顺序依次关闭虚拟机然后自己关机以保护硬盘数据。
#!/bin/sh
while
ping -c 1 12.12.12.252 > /dev/null
[ $? -eq 0 ];
do
# date && echo ' AC Power OK ! ' >> /vmfs/volumes/datastore1/ups/ups.log
sleep 180
done
date && echo ' AC Power maybe off, checking again after 3 minutes ! ' >> /vmfs/volumes/datastore1/ups/ups.log
sleep 180
ping -c 1 12.12.12.252 > /dev/null
if [ $? -eq 0 ]
then
date && echo 'Checkagain,AC Power OK! ' >> /vmfs/volumes/datastore1/ups/ups.log
else
date && echo ' AC Power is already off, shut down NAS Now! ' >> /vmfs/volumes/datastore1/ups/ups.log
/bin/shutdown.sh
halt
fi
代码中的12.12.12.252 改为你要Ping的网关地址，datastore1 部分的改为你的硬盘名称。
方案三(自我思考，方案待实现)：KVM虚拟出来一个检测掉电的设备安装到虚拟机上，虚拟机掉电设备检查出来物理主机掉电，可以触发虚拟机进行优雅关机。依托于物理主机有掉电保护机制，给虚拟机一定的时间来同步数据到磁盘。
方案汇总
1. 选择具有容错和修复的文件系统解决文件损坏修复
2. 开发人员注意编程事项，fclose等优雅操作。
3. 物理主机RAID卡配置超级电容解决掉电丢数据问题
4. 物理主机给虚拟机争取同步数据到磁盘的时间，增加掉电检测设备或脚本。
参考
https://support.huawei.com/enterprise/zh/doc/EDOC1000163568/9fb0a004
网友评论