Linux里面什么是数据持久化

发布时间:2025-05-21 22:13:38 发布人:远客网络

Linux里面什么是数据持久化

一、Linux里面什么是数据持久化

数据持久化顾名思义就是把程序中的数据以某种形式保存到某存贮介质中，以达到持久化的目的。当程序运行时，一些数据是临时保存在内存中，一旦退出系统，这些数据就丢失了。那么，使用某种手段将数据保存在硬盘上或者数据库中，这样即使退出系统后又重新启动系统，那么这些数据仍然可以重新找回来。

例如管理员向一个用户管理系统中添加了一个用户的资料，那么这个系统需要将新添加的资料保存到数据库中，否则系统退出或者电脑重启后该用户资料就会丢失。将数据从内存保存到数据库中，这便是数据的持久化。当然，数据库只是持久化方式中的一种，也可以保存在其他的永久存贮介质中。

持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、XML数据文件中等等。

持久化是将程序数据在持久状态和瞬时状态间转换的机制。

DBC就是一种持久化机制。文件IO也是一种持久化机制。

在一定周期内保持不变就是持久化,持久化是针对时间来说的。数据库中的数据就是持久化了的数据,只要你不去删除或修改。比如在浏览器中一次Session会话中Session对象变量也是不变的,是Session容器中持久化。对象持久化的方式有很多种,根据周期不同有,page,Session,Application。对象序列化机制对于需要将对象的状态保存到文件中，而后能够通过读入对象状态来重新构造对象，恢复程序状态.对象序列化的过程是对象持久化的方法之一,把对象保存到文件中。

简单的理解持久化可以在二个层面：应用层和系统层、

如果关闭(shutdown)你的应用然后重新启动则先前的数据依然存在。

如果关闭(shutdown)你的系统（电脑）然后重新启动则先前的数据依然存在。

持久化是一种对象服务实现至少3个接口

，就是把内存中的对象保存到外存中，让以后能够取回。需要实现至少3个接口：

void Save(object o)把一个对象保存到外存中

Object Load(object oid)通过对象标识从外存中取回对象

boolExists(object oid)检查外存中是否存在某个对象.

我们先跳开一下，看看另一个类似的有用概念：序列化Serialize也是一种对象服务，就是把内存中的对象序列化成流、或者把流反序列化成对象。需要实现2个接口：

void Serialize(Stream stream,object o)把对象序列化到流中

object Deserialize(Stream stream)把流反序列化成对象

序列化和持久化很相似，有些人甚至混为一谈，其实还是有区别的，序列化是为了解决对象的传输问题，传输可以在线程之间、进程之间、内存外存之间、主机之间进行。我之所以在这里提到序列化，是因为我们可以利用序列化来辅助持久化，可以说凡是可以持久化的对象都可以序列化，因为序列化相对容易一些（也不是很容易），所以主流的软件基础设施，比如.net和java，已经把序列化的框架完成了。

持久化方案可以分为关系数据库方案、文件方案、对象数据库方案、xml数据库方案

现今主流的持久化方案是关系数据库方案，

关系数据库方案不仅解决了并发的问题，更重要的是，关系数据库还提供了持久化服务之外的价值：统计分析功能。刚才我说到，凡是可以序列化的对象都可以持久化，极端的说，我们可以只建立一个表Object(OID,Bytes)，但基本上没有人这么做，因为一旦这样，我们就失去了关系数据库额外的统计分析功能。关系数据库和面向对象之间有一条鸿沟，因为二者模式不匹配，所以就存在一个OR映射问题。

Redis支持两种数据持久化方式：rdb方式和aof方式。前者会根据配置的规则定时将内存中的数据持久化到硬盘上，后者则是在每次执行写命令之后将命令记录下来。两种持久化方式可以单独使用，但是通常会将两者结合使用。

RDB方式的持久化是通过快照的方式完成的。当符合某种规则时，会将内存中的数据全量生成一份副本存储到硬盘上，这个过程称作”快照”，redis默认开启该持久化功能，具体配置如下：

stop-writes-on-bgsave-error yes

配置后系统会自动进行快照，save 60 10000表示60秒内有10000次写入，那么就会调用bgsave

除了系统自动进行快照外，我们也可以手动执行SAVE或BGSAVE命令主动进行快照操作：

在使用Redis存储非临时数据时，一般都需要打开AOF持久化来降低进程终止导致的数据丢失，AOF可以将Redis执行的每一条写命令追加到硬盘文件中，这一过程会降低Redis的性能。

默认情况下，Redis没有开启AOF（append only file）持久化功能，可以通过在配置文件中作如下配置启用：

appendonly no#是否开启aof，开启时将no改为yes

appendfilename"appendonly.aof"持久化文件名称

auto-aof-rewrite-percentage 100

#当前AOF文件大小是上次日志重写得到AOF文件大小的二倍时，自动启动新的日志重写过程。

auto-aof-rewrite-min-size 64mb

#当前AOF文件启动新的日志重写过程的最小值，避免刚刚启动Reids时由于文件尺寸较小导致频繁的重写。

appendfsync:everysec(推荐配置)

always(同步持久化，每次发生数据变更会被立即记录到磁盘，性能差但数据完整性比较好)

everysec(异步操作，每秒记录，如果一秒钟内宕机，有数据丢失)

no（将缓存回写的策略交给系统，linux默认是30秒将缓冲区的数据回写硬盘的）

一般来说可以考虑同时使用两种持久化方案.

二、本地MySQL数据库怎么与远程MySQL数据库同步

实现两个Mysql数据库之间同步同步原理：

MySQL为了实现replication必须打开bin-log项，也是打开二进制的MySQL日志记录选项。MySQL的bin log二

进制日志，可以记录所有影响到数据库表中存储记录内容的sql操作，如insert/ update/ delete操作，而不记录

select这样的操作。因此，我们可以通过二进制日志把某一时间段内丢失的数据可以恢复到数据库中（如果二进制日

志中记录的日志项，包涵数据库表中所有数据，那么，就可以恢复本地数据库的全部数据了）。而这个二进制日志，

如果用作远程数据库恢复，那就是replication了。这就是使用replication而不用sync的原因。这也是为什么要设

在同步过程中，最重要的同步参照物，就是同步使用那一个二进制日志文件，从那一条记录开始同步。下面就介绍

下怎样实现两个Mysql数据库之间的主从同步。

MySQL从3.23.15版本以后提供数据库复制（replication）功能，利用该功能可以实现两个数据库同步、主从模式、

互相备份模式的功能。本文档主要阐述了如何在linux系统中利用mysql的replication进行双机热备的配置。

操作系统：Linux 2.6.23.1-42.fc8# SMP（不安装XEN）

设备环境：PC（或者虚拟机）两台

数据库同步复制功能的设置都在MySQL的配置文件中体现，MySQL的配置文件（一般是my.cnf）：在本环境下

在IP设置完成以后，需要确定两主机的防火墙确实已经关闭。可以使用命令service iptables status查看防火墙状态

。如果防火墙状态为仍在运行。使用service iptables stop来停用防火墙。如果想启动关闭防火墙，可以使用setup命

最终以两台主机可以相互ping通为佳。

3.2配置A主(master) B从(slave)模式

1、增加一个用户同步使用的帐号：

GRANT FILE ON*.* TO‘backup’@'10.10.8.112' IDENTIFIED BY‘1234’;

GRANTREPLICATION SLAVE ON*.* TO‘backup’@'10.10.8.112' IDENTIFIED BY‘1234’;

赋予10.10.8.112也就是Slave机器有File权限，只赋予Slave机器有File权限还不行，还要给它REPLICATION SLAVE的权

2、增加一个数据库作为同步数据库：

create table mytest(username varchar(20),password varchar(20));

修改A的/etc/my.cnf文件，在my.cnf配置项中加入下面配置：

binlog-do-db=test#指定需要日志的数据库

show variable like‘server_id’；

mysql> show variables like'server_id';

6、用show master status/G命令看日志情况。

mysql> show master status/G

*************************** 1. row***************************

1、增加一个数据库作为同步数据库：

create table mytest(username varchar(20),password varchar(20));

修改B的/etc/my.cnf文件，在my.cnf配置项中加入下面配置：

master-user=backup#同步用户帐号

master-connect-retry=60#预设重试间隔60秒

replicate-do-db=test#告诉slave只做backup数据库的更新

show variables like‘server_id’；

mysql> show variables like'server_id';

6、用show slave status/G命令看日志情况。

*************************** 1. row***************************

Slave_IO_State: Waiting for master to send event

Master_Log_File: mysqld-bin.000001

Relay_Log_File: mysqld-relay-bin.000003

Relay_Master_Log_File: mysqld-bin.000001

分别使用insert, delete, update在A主机进行增删改查数据库；查看B主机的数据库是否与A主机一致；若一致，则配

如果在A主机加入slave设置，在B主机加入master设置，则可以做B->A的同步。

1、在A主机的配置文件中 mysqld配置项加入以下设置：

2、在B的配置文件中 mysqld配置项加入以下设置：

注意：当有错误产生时，*.err日志文件同步的线程退出，当纠正错误后，要让同步机制进行工作，运行slave

重起A、B机器，则可以实现双向的热备份。

总之，成功完成以上配置后，在主服务器A的test库里添加数据或删除数据，在从服务器B的test库里马上也能

看到相应的变更。两台服务器的同步操作可以说是瞬间完成的。

三、linux系统下邮件服务器sendmail的配置

sendmail.8.12.10.tar.gz

cyrus-sasl-2.1.18.tar.gz

1、先安装cyrus-sasl-2.1.18.tar.gz，sendmail安装时要用到sasl（简单认证和安全层协议）的库文档的头文档。

# tar-zxvf cyrus-sasl-2.1.18.tar.gz

进入刚解压的源码目录，运行以下命令完成安装。

#./configure--prefix=/usr/local/sasl2--enable-login

一定要加--enable-login，因为SASL2默认不支持login这种验证方式，而OUTLOOK是通过

#make #编译

#make install #安装

完成以上linux程式安装三步曲之后，就能够开始配置和测试了。

为了把SASL应用于sendmail认证，还需进行一些配置工作。sendmail会到/usr/lib目录下去

找SASL2库，而我们是把程式安装在/usr/local/sasl2中，为什么不把软件安装在/usr/lib目录

呢？这主要是为了好管理自已安装的软件啦。所以我们要在/usr/lib目录下做一个链接:

ok，接着要在/var/目录下建一个目录给saslauthd进程存在临时数据。

注：假如没有这些目录，运行saslauthd时，会提示出错。

ok,接着为确保CYRUS-SASL2函数库知道怎样验证所收来的SASL认证请求，必须创建一

个SASL的配置文档来把MTA程式定义成一个SASL应用。配置文档名为Sendmail.conf（注

意是大写的S）,位于/usr/lib/sasl2目录中，也就是/usr/local/sasl2/lib/sasl2这个目录，记得上

面新建的链接了吗？在该文档中您定义您希望使用的认证数据库方法，以下这个例子使用

# echo'pwcheck_method: saslauthd'; Sendmail.conf

ok,现在能够运行saslauthd了，并进行测试。

#./saslauthd-a shadow

#./testsaslauthd-u userid-p password

假如出现以上信息，就说明saslauthd正常运行了。testsaslauthd程式默认是没有编译的，您

需要在源码目录树的saslauthd子目录中运行 # make testsaslauthd命令生成。

4、sasl2安装完成后，就要开始安装sendmail了。

# tar-zxvf sendmail.8.12.10.tar.gz

假如要sendmail支持SASL，需要修改源码的位置配置文档site.config.m4。site.config.m4位

于源码目录树的devtools/Site。文档中应包含以下行：

PREPENDDEF(`confMAPDEF', `-DMAP_REGEX')

APPENDDEF(`confENVDEF', `-DTCPWRAPPERS-DSASL=2')

APPENDDEF(`conf_sendmail_LIBS', `-lwrap-lsasl2')

APPENDDEF(`confLIBDIRS', `-L/usr/local/sasl2/lib')

APPENDDEF(`confINCDIRS', `-I/usr/local/sasl2/include')

第二、三行配置表示在sendmail程式中支持sasl2和tcp_wrapper（可通过hosts.allow和

第四、五行配置指出sasl2的库文档和头文档的位置。

ok,接着在编译前要建立一些用户和目录，并确保有正确的权限。

sendmail必须有一个set-group-id（默认是smmsp组）的程式来在一个组可写的目录中查询

排队邮件。所以我们要建立一个smmsp用户和组。并建立如下目录并配置相应的权限，具

体配置需要可查询源码目录树下sendmail/SECURITY文档。

# useradd smmsp-d/var/spool/clientmqueue-s/dev/null

# mkdir/var/spool/clientmqueue

# chown-R smmsp:smmsp/var/spool/clientmqueue

# chmod-R 770/var/spool/clientmqueue

# chmod go-w//etc/etc/mail/usr/var/var/spool/var/spool/mqueue

# chown root//etc/etc/mail/usr/var/var/spool/var/spool/mqueue

ok,接下来就能够进入源码目录树开始编译了。

-c选项能删除上次编译产生的文档。

要sendmail正常运行，还需配置几个文档，首先最重要的就是sendmail.cf文档了。他在源

码目录树下的cf/cf目录下有很多例子可参考。您能够拷贝使用。由于sendmail.cf中的语法

很复杂，所以不建议手工修改。我们能够以sendmail.mc文档配合sendmail-cf目录下的宏通

过m4预处理器自动生成。m4预处理器用来从一组宏文档中创建sendmail配置文档。宏文

件作为输入被读进来。宏被展开，然后写到一个输出文档。sendmail-cf目录一般放在/usr/share

目录下。其实sendmail-cf目录的内容和源码目录树下的cf目录的内容是相同的，所以，为

了确保sendmail-cf目录的内容和安装版本同步，要把源码目录树下的cf目录的内容拷贝到

include(`/usr/share/sendmail-cf/m4/cf.m4')

VERSIONID(`linux setup for Red Hat Linux')dnl

dnl Uncomment and edit the following line if your mail needs to be sent out

dnl through an external mail server:

dnl define(`SMART_HOST',`smtp.your.provider')

define(`confDEF_USER_ID',``8:12'')dnl

undefine(`BITNET_RELAY')dnl

dnl define(`confAUTO_REBUILD')dnl

define(`confTO_CONNECT', `1m')dnl

define(`confTRY_NULL_MX_LIST',true)dnl

define(`confDONT_PROBE_INTERFACES',true)dnl

define(`PROCMAIL_MAILER_PATH',`/usr/bin/procmail')dnl

define(`ALIAS_FILE', `/etc/mail/aliases')dnl

define(`STATUS_FILE', `/etc/mail/statistics')dnl

define(`UUCP_MAILER_MAX', `2000000')dnl

define(`confUSERDB_SPEC', `/etc/mail/userdb.db')dnl

define(`confPRIVACY_FLAGS', `authwarnings,novrfy,noexpn,restrictqrun')dnl

define(`confAUTH_OPTIONS', `A')dnl

TRUST_AUTH_MECH(`EXTERNAL DIGEST-MD5 CRAM-MD5 LOGIN PLAIN')dnl

define(`confAUTH_MECHANISMS', `EXTERNAL GSSAPI DIGEST-MD5 CRAM-MD5

dnl define(`confCACERT_PATH',`/usr/share/ssl/certs')

dnl define(`confCACERT',`/usr/share/ssl/certs/ca-bundle.crt')

dnl define(`confSERVER_CERT',`/usr/share/ssl/certs/sendmail.pem')

dnl define(`confSERVER_KEY',`/usr/share/ssl/certs/sendmail.pem')

dnl define(`confTO_QUEUEWARN', `4h')dnl

dnl define(`confTO_QUEUERETURN', `5d')dnl

dnl define(`confQUEUE_LA', `12')dnl

dnl define(`confREFUSE_LA', `18')dnl

define(`confTO_IDENT', `0')dnl

FEATURE(`no_default_msa',`dnl')dnl

FEATURE(`smrsh',`/usr/sbin/smrsh')dnl

FEATURE(`mailertable',`hash-o/etc/mail/mailertable.db')dnl

FEATURE(`virtusertable',`hash-o/etc/mail/virtusertable.db')dnl

dnl The'-t' option will retry delivery if e.g. the user runs over his quota.

FEATURE(local_procmail,`',`procmail-t-Y-a$h-d$u')dnl

FEATURE(`access_db',`hash-T;-o/etc/mail/access.db')dnl

FEATURE(`blacklist_recipients')dnl

dnl This changes sendmail to only listen on the loopback device 127.0.0.1

dnl and not on any other network devices. Comment this out if you want

dnl to accept email over the network.

DAEMON_OPTIONS(`Port=smtp,Addr=0.0.0.0, Name=MTA')

dnl NOTE: binding both IPv4 and IPv6 daemon to the same port requires

dnl a kernel patch

dnl DAEMON_OPTIONS(`port=smtp,Addr=::1, Name=MTA-v6, Family=inet6')

dnl We strongly recommend to comment this one out if you want to protect

dnl yourself from spam. However, the laptop and users on computers that do

dnl not have 24x7 DNS do need this.

FEATURE(`accept_unresolvable_domains')dnl

dnl FEATURE(`relay_based_on_MX')dnl

记得要使以下两个条语句有效，他的意思是假如access.db访问控制没有配置，则启用以下

TRUST_AUTH_MECH(`EXTERNAL DIGEST-MD5 CRAM-MD5 LOGIN PLAIN')dnl

define(`confAUTH_MECHANISMS', `EXTERNAL GSSAPI DIGEST-MD5 CRAM-MD5

divert(n) 为m4定义一个缓冲动作，当n=-1时缓冲被删除，n=0时开始一个新缓冲

OSTYPE定义宏所使用的操作系统，该宏允许m4程式增加同相关操作系统相关的

Domain定义MTA将使用哪些域来传输邮件

Feature定义配置文档中使用的一个特定的功能集

Define定义配置文档中的一个特定的选项值

MASQUERADE_AS 定义sendmail来应答邮件的其他主机名

MAILER定义sendmail使用的邮件传输方法

完成sendmail.mc文档的编写后就能够用m4程式生成正式的sendmail.cf配置文档。语法如

也能够用源码目录树下的cf/cf/Build命令生成。前提是您要在该目录下有一个sendmail.mc

ok，接着就能够把sendmail.cf and submit.cf文档安装到/etc/mail目录中的，语法如下：

其实也能够自已用cp命令拷贝的啦。记得把sendmail.mc文档也拷贝一份到/etc/mail目录，

以便以后修改配置时可重新生成sendmail.cf文档。

ok,接着到/etc/mail目录下配置一些文档。

# echo'examply.com';; local-host-names 接收邮件的主机名

# echo'localhost RELAY' ;; access 用来拒绝或允许来自某个域的邮件，本例允许

# makemap hash access生成access.db数据库

# touch domaintable 用来把旧域名映射互新域名

# makemap hash domaintable来覆盖向指定域的路由

# makemap hash mailertable用来把用户和域名映射到其他地址

# makemap hash virtusertable别名数据库，文本形式。可参照源码目录树下

# newaliases 从文本文档中创建一个新的别名数据库文档。

# sendmail-v-bi 调试启动。

/etc/mail/aliases: 42 aliases, longest 10 bytes, 432 bytes total

假如出现以上提示信息，则启动成功。可用以下命令正式启动:

该命令以后台进程方式（-bd）运行，并使其每隔30分钟（-q30m）轮询一次未发送邮件队

服务器启动后，能够用telnet连接服务器。

Escape character is'^]'.

220 test.tigerhead ESMTP Sendmail 8.12.10/8.12.10; Tue, 30 Mar 2004 14:50:14+0800

ehlo test 您输入的命令，按回车结束。

250-test.tigerhead Hello LOCALHOST.localdomain [127.0.0.1], pleased to meet you

250-AUTH DIGEST-MD5 CRAM-MD5 LOGIN PLAIN

以250-开头的为服务器的响应信息。注意倒数第三行，这就是成功配置smtp验证的显示。

安装完成后为确保系统安全,还需调整一些目录的权限。可参考sendmail源码目录下

# chmod 0640/etc/mail/aliases/etc/mail/aliases.{db,pag,dir}

# chmod 0640/etc/mail/*.{db,pag,dir}

# chmod 0640/etc/mail/statistics/var/log/sendmail.st

# chmod 0600/var/run/sendmail.pid/etc/mail/sendmail.pid

-r-xr-sr-x root smmsp .../PATH/TO/sendmail

drwxrwx--- smmsp smmsp .../var/spool/clientmqueue

drwx------ root wheel .../var/spool/mqueue

-r--r--r-- root wheel .../etc/mail/sendmail.cf

-r--r--r-- root wheel .../etc/mail/submit.cf

test: test1,test2,test3 配置test群组别名，test不是个实际的用户，只是个别名。发给

test: test,testbak 在testbak邮箱中备份test的邮件。

test: test,test@163.com 远程邮件备份，原理同上。

test: :include:/etc/mail/userlist 使用用户列表配置群组。

关于系统预设aliases,由于sendmail预设用mailer-daemon and postmaster作为资料传送者，

或邮件退回的帐号，但系统实际没有这两个帐号，所以要如下配置别名。

mailer-daemon: postmaster

postmaster: root

配置完成后不要忘了用newaliases命令生成数据库。

其实该文档的作用和aliases数据库的作差不多啦，都是配置别名，做邮件转发的。因为alises

只能由管理员控制，个人用户不能修改，所以就能够在个人的目录下建立一个转寄文档。以

配置个人的邮件转寄列表。文档格式如下：

但由于个人用户安全意识差，假如配置不当会有安全漏洞，不建议使用。

test.NET OK

test.COM 550 SORRY,WE DON'T ALLOW SPAMMERS HERE

test.ORG DISCARD

Ok--远程主机能够向您的邮件服务器发送邮件；

REJECT--不能向您的邮件服务器发邮件和不能中转；

DISCARD--发来的邮件将被丢弃，同时并不向发送者返回错误信息。

nnn text--发来的邮件将被丢弃，但sendmail将会向发送者返回nnn确定的smtp代码和text

配置完成后要用makemap hash access.db命令生成数据库。

Q-Time邮件进入队列（也就是/var/spool/mqueue目录）的时间和不能邮寄的原因。

Sender/Recipient 发信和收信人的邮箱地址。

mailstats邮寄状态查询命令，可查询sendmail运行作至今邮件收发总计资料。

Mailer：esmtp对外邮件，local本地邮件。

mail 查看/var/spool/mail/目录下自已邮箱内容。以q退出把看过的邮件保存在

mail test@example.com 直接发邮件给人。

mail-s'title text' test@example.com把文档中内容邮寄出去。

mail-f~/mbox查看home目录下邮箱内容。

用mail发附件也是可行，要用到uuencode and uudecode命令进行编码。

编码：uuencode [file] name example:uuencode hello hello;hello.uue default input

is stdin;default output is stdout.

解码：uudecode [-o outfile] name example:uudecode hello.uue能够用-o选项输出另外一个

# uuencode~/.bashrc bashrc| mail-s'test uuencode'

要想更好的使用sendmail，常用到的一些配置：

O MaxMessageSize=5000000 (注：5M)

# maximum number of recipients per SMTP envelope

O MaxRecipientsPerMessage=20 （注：20个）

3、域名文档----local-host-name

能够用他来实现虚拟域名或多域名支持。

系统内部别名：peng:zpeng,hero,mmmn,yt peng是我的用户名，其他的是别名，用逗号隔开。

转发到其他的邮箱：peng:zpeng@sina.com,yt.sohu.com

#newaliases --写到库中

relay、ok、reject和discard。relay能够实现转发。ok是用来允许用户的任意访问，他会覆盖任何其他已建立的检查（实际配置中，最好别设这项，除非您对该用户是绝对信任的）；reject能够实现对来访地址的拒绝，他根本就不容许该地址和您的邮件服务器进行连接通信；discard的作用是在接收到传输的邮件消息后，偷偷地把他丢弃掉（在发送者看来，他的邮件的确是接收了，但他并不知道，发送的目的地址根本不可能接收到他的邮件，服务器巧妙地欺骗了他。

localhost.localdomain RELAY ---允许

127.0.0.1 RELAY

peng@sina.com ok

@sexgirl.net reject

211.77.22.45 discard

#makemap hash access.db写入库中

6、虚拟用户文档---virtusertable.

例如：您有两个域名，virt1.com and virt2.com,但是都有peng这个用户：

peng@virt1.com and peng@virt2.com,这是两个用户。但对于系统用户来说，他只认系统用户peng,只能通过一下改：

peng@virt2.com r010

这样就能够了。在新开一个用户r010,但是peng@virt2.com在客户端的pop3 and smtp server的用户名和口令要用r010的。

#makemap hask virtusertable.db