linux两种删除重复行的方法

一、linux两种删除重复行的方法

1、本文介绍 Linux系统中两种有效删除文本重复行的方法。

2、方法一：借助于 vi编辑器与正则表达式。首先，使用 sort命令对文本进行排序，然后结合正则表达式筛选并删除重复行。具体步骤如下：

3、匹配一行任意内容：^\(.*\)$，并将匹配内容存放于匹配分组\1中

4、匹配与第一行相同内容：^\1$

5、方法二：利用 Linux shell命令实现，同样需先排序。通过 sort命令排序后，利用 uniq命令去除重复行。步骤如下：

6、管道操作符：|，将上一个命令输出作为下一个命令的输入

7、重定向符：>，将命令输出发送至指定文件

8、两种方法均需排序后进行重复行删除操作。

二、如何在 Linux 中安全擦除删除的文件内容

1、／etc／passwd中包含有用户的登录名、经过加密的口令、用户号、用户组号、用户注释、用户主目录和用户所用的Shell程序。其中，用户号（UID）和用户组号（GID）用于Linux系统惟一标识用户和同组用户，以及用户的访问权限。一个好的口令应当至少有6个字符，最好不要取用个人信息（如生日、名字、反向拼写的登录名），普通的英语单词也不好（因为用字典攻击法容易破解）。口令最好含有一些非字母字符（如数字、标点符号、控制字符等），并且要好记，不能写在纸上或计算机中的文件里。选择口令的一个好方法是将两个不相关的词用一个数字或控制字符相连，并截断为8个字符。当然，如果你能记住8位乱码自然更好。不应在不同机器中使用同一个口令，特别是在不同级别的用户上使用同一口令。不要将口令于终端功能键或Modem的字符串器中。用户应定期改变口令，推荐3个月改变一次。系统管理员可以强制用户定期修改口令。为防止眼明手快的人得到口令，在输入口令时应确认身边无人。

2、1．不要让文件或目录被他人读写。

3、如果不信任本组用户，umask设置为022。确保自己的.profile他人不可读写；暂存目录最好不要存放重要文件；home目录任何人不可写； uucp传输的文件应该加密，并尽快转移到自己的目录中。

4、2．若不想要其他用户读文件或目录，就要使其不允许任何人读。

5、umask设置为006／007。若不允许同组用户存取自己的文件和目录，umask设置为077；暂存文件按当前umask设置。存放重要数据到暂存文件的程序，就被写成能确保暂存文件其他用户不可读。这样，就可确保别的用户不可读home目录。

6、拷贝和移动文件的安全用cp命令拷贝文件时，若目的文件不存在，则将同时拷贝源文件的存取许可，包括Suid和Sgid许可。新拷贝的文件属拷贝用户所有，故拷贝别人的文件时应小心，不要被其他用户的Suid程序破坏文件安全。

7、用mv命令移动文件时，新移的文件存取许可与原文件相同，mv仅改变文件名。只要用户有目录的写和搜索许可，就可移走该目录中某人的Suid程序，且不改变存取许可。若目录许可设置不正确，则用户的Suid程序可能被移到不能修改和删除的目录中，从而出现安全漏洞。

8、cpio命令用于将目录结构拷贝到一个普通文件中，然后再用cpio命令将该普通文件转成目录结构。小心使用该命令，因为它能覆盖不在当前目录结构中的文件，用t选项可首先列出要被拷贝的文件。

9、不要离开登录的终端这个问题看起来简单，但却是最容易忽视的问题，哪怕只是几分钟的疏忽，也会给系统造成危害。

10、文件加密的安全crypt命令可提供给用户加密文件。它使用一个关键词将标准输入的信息编码变为不可读的杂乱字符串，送到标准输出设备。再次使用该命令，用同一关键词作用于加密后的文件，可恢复文件内容。

11、一般来说，文件加密后应删除原始文件，只留下加密后的版本，且不能忘记加密关键词。vi命令一般都有加密功能，用vi-x命令可编辑加密后的文件。加密关键词的选取规则与口令的选取规则相同。

12、由于crypt程序可能被做成特洛伊木马，故不宜用口令做为关键词。最好在加密前用pack或compress命令对文件进行压缩，然后再加密。

13、CU的问题CU命令能使用户从一个Linux系统登录到另一个Linux系统。此时，在远地系统还必须输入“～”后回车，以断开CU和远地系统的连接。

14、CU也有安全问题。如果本机安全性弱于远地机，不提倡用CU去登录远地机，以免由于本地机不安全而影响较安全的远地机。由于CU的老版本处理“～”的方法不完善，从安全性强的系统调用，会使安全性弱的系统的用户使用强系统用户的CU，传送强系统的／etc／passwd文件。

15、暂存文件和目录的安全Linux系统中暂存目录为／tmp和／usr／tmp，如果用这些目录存放暂存文件，别的用户可能会破坏这些文件。使用暂存文件最好将文件屏蔽值定义为007。保险的方法是建立自己的暂存文件和目录$Home／Mp，不要将重要文件存放于公共的暂存目录。

16、UUCP文件传输和网络安全UUCP命令用于将文件从一个Linux系统传送到另一个Linux系统。通过UUCP传送的文件，通常存于／usr／spool／uucppublic/login目录中，Login是用户的登录名，该目录存取许可为777。通过网络传输并存放于此目录的文件属于UUCP所有，文件存取许可为666和777。用户应当将通过UUCP传送的文件加密，并尽快移到自己的目录中。其它网络将文件传送到用户home目录下的RJC目录中。该目录对其他人是可写、可搜索的，但不一定是可读的，因而用户的RJC目录的存取许可方式应为733，允许程序在其中建立文件。同样，传送的文件也应加密并尽快移到自己的目录中。

17、Suid/Sgid的安全尽量不写Suid/Sgid程序。in为现有文件建立一个链，即建立一个引用同一文件的新名字。如目的文件已经存在，则该文件被删除而代之以新的链；或存在的目的文件不允许用户写，则请求用户确认是否删除该文件，因为只允许在同一文件系统内建链。若要删除一个Suid文件，就要确认文件的链接数，只有一个链才能确保该文件被删除。若Suid文件已有多个链，一种方法是改变其存取许可方式，这将同时修改所有链的存取许可；也可以Chmod000文件名，这不仅取消了文件的Suid和Sgid许可，同时也取消了文件的全部链。要想找到谁与自己Suid程序建立了链，不要立刻删除该程序，系统管理员可用Ncheck命令找到该程序的其他链。

18、智能终端的安全由于智能终端有Send Enter换码序列，因此告诉终端当前系统就像是用户敲入的一样。这是一种危险的能力，其他人可用Write命令发送信息给本用户终端。禁止其他用户发送信息的方法是使用Mesgn命令。Mesgn不允许其他用户发信息，Mesgy允许其他用户发信息。即使如此仍有换码序列的问题存在，任何一个用户用Mail命令发送同样一组换码序列，不同的要用！rm-r*替换rm-r*。

19、其他安全问题除了信任的用户外，不要运行其他用户的程序。在自己的Path中，将系统目录放在前面。用Ctrl＋D或Exit退出后，在断开与系统的连接前看到login:提示后再离开，以免在用户没注销时他人进入。定时使用ls-a.命令列出当前目录中的全部文件，包括以“．”开头的文件，查看所有文件的存取许可方式和所有者。任何不属于自己的文件都应怀疑和追究。

20、以上这些是我作为Linux系统管理员对保持用户账户安全的一些建议。更重要的是要建立安全意识，了解用户。系统管理员越熟悉自己的用户和用户工作习惯源码天空

21、，就越能快速发现不寻常的事件，而不寻常的事件就意味着系统安全问题。避免用户账户不安全事故的最基本方法是预防和定期的安全检查，包括使用嗅探器。

三、linux 好用的命令

跟老男孩学Linux运维：核心系统命令实战

1.2在Linux命令行下查看命令帮助/ 4

1.3Linux shutdown reboot halt/ 9

2.1pwd：显示当前所在的位置/ 13

2.3tree：以树形结构显示目录下的内容/ 18

2.5touch：创建空文件或改变文件的时间戳属性/ 27

2.6ls：显示目录下的内容及相关属性信息/ 30

2.12readlink：查看符号链接文件的内容/ 54

2.13find：查找目录下的文件/ 55

2.14xargs：将标准输入转换成命令行参数/ 68

2.16basename：显示文件名或目录名/ 72

2.17dirname：显示文件或目录路径/ 72

2.18chattr：改变文件的扩展属性/ 73

2.19lsattr：查看文件扩展属性/ 75

2.21md5sum：计算和校验文件的MD5值/ 77

2.22chown：改变文件或目录的用户和用户组/ 80

2.23chmod：改变文件或目录权限/ 81

2.25umask：显示或设置权限掩码/ 86

2.26老男孩从新手成为技术大牛的心法/ 90

第3章文件过滤及内容编辑处理命令/ 91

3.1cat：合并文件或查看文件内容/ 91

3.3more：分页显示文件内容/ 104

3.4less：分页显示文件内容/ 107

3.5head：显示文件内容头部/ 109

3.6tail：显示文件内容尾部/ 111

3.8cut：从文本中提取一段文字并输出/ 115

3.12join：按两个文件的相同字段合并/ 127

3.14wc：统计文件的行数、单词数或字节数/ 131

3.15iconv：转换文件的编码格式/ 133

3.16dos2unix：将DOS格式文件转换成UNIX格式/ 134

3.17diff：比较两个文件的不同/ 135

3.18vimdiff：可视化比较工具/ 138

3.19rev：反向输出文件内容/ 139

3.21od：按不同进制显示文件/ 143

3.24老男孩逆袭思想：做Linux运维的多个好处/ 152

第5章 Linux信息显示与搜索文件命令/ 176

5.2hostname：显示或设置系统的主机名/ 178

5.3dmesg：系统启动异常诊断/ 179

5.4stat：显示文件或文件系统状态/ 181

5.5du：统计磁盘空间使用情况/ 183

5.6date：显示与设置系统时间/ 186

5.8watch：监视命令执行情况/ 193

5.9which：显示命令的全路径/ 195

5.10whereis：显示命令及其相关文件全路径/ 196

5.11locate：快速定位文件路径/ 197

5.12updatedb：更新mlocate数据库/ 199

5.13老男孩逆袭思想：新手在工作中如何问问题不会被鄙视/ 200

6.7老男孩逆袭思想：新手如何高效地提问/ 220

第7章 Linux用户管理及用户信息查询命令/ 222

7.4groupadd：创建新的用户组/ 230

7.7chage:修改用户密码有效期/ 237

7.8chpasswd：批量更新用户密码/ 238

7.10visudo：编辑sudoers文件/ 242

7.11sudo：以另一个用户身份执行命令/ 244

7.12id：显示用户与用户组的信息/ 248

7.13w：显示已登录用户信息/ 249

7.14who：显示已登录用户信息/ 250

7.15users：显示已登录用户/ 252

7.16whoami：显示当前登录的用户名/ 253

7.17last：显示用户登录列表/ 253

7.18lastb：显示用户登录失败的记录/ 254

7.19lastlog：显示所有用户的最近登录记录/ 255

第8章 Linux磁盘与文件系统管理命令/ 257

8.2partprobe：更新内核的硬盘分区表信息/ 265

8.3tune2fs：调整ext2/ext3/ext4文件系统参数/ 266

8.5mkfs：创建Linux文件系统/ 272

8.6dumpe2fs：导出ext2/ext3/ext4文件系统信息/ 274

8.7resize2fs：调整ext2/ext3/ext4文件系统大小/ 275

8.8fsck：检查并修复Linux文件系统/ 278

8.12df：报告文件系统磁盘空间的使用情况/ 289

8.15swapoff：关闭交换分区/ 295

8.16sync：刷新文件系统缓冲区/ 296

9.2pstree：显示进程状态树/ 305

9.3pgrep：查找匹配条件的进程/ 306

9.5killall：通过进程名终止进程/ 310

9.6pkill：通过进程名终止进程/ 311

9.7top：实时显示系统中各个进程的资源占用状况/ 313

9.8nice：调整程序运行时的优先级/ 320

9.9renice：调整运行中的进程的优先级/ 323

9.10nohup：用户退出系统进程继续工作/ 324

9.11strace：跟踪进程的系统调用/ 325

9.12ltrace：跟踪进程调用库函数/ 332

9.13runlevel：输出当前运行级别/ 334

9.14init：初始化Linux进程/ 335

9.15service：管理系统服务/ 335

10.1ifconfig：配置或显示网络接口信息/ 338

service network restart（/etc/init.d/network restart）激活整个网络，所有网卡。

10.4route：显示或管理路由表/ 344

10.5arp：管理系统的arp缓存/ 350

10.7netstat：查看网络状态/ 358

10.9ping：测试主机之间网络的连通性/ 363

10.10traceroute：追踪数据传输路由状况/ 366

10.12telnet：远程登录主机/ 369

10.14ssh：安全地远程登录主机/ 373

10.15wget：命令行下载工具/ 376

10.16mailq：显示邮件传输队列/ 379

10.17mail：发送和接收邮件/ 381

10.18nslookup：域名查询工具/ 386

10.21nmap：网络探测工具和安全/端口扫描器/ 394

10.22tcpdump：监听网络流量/ 398

11.1lsof：查看进程打开的文件/ 407

11.2uptime：显示系统的运行时间及负载/ 411

11.3free：查看系统内存信息/ 411

11.4iftop：动态显示网络接口流量信息/ 413

11.8iotop：动态显示磁盘I/O统计信息/ 423

11.10chkconfig：管理开机服务/ 430

11.11ntsysv：管理开机服务/ 433

11.12 setup：系统管理工具/ 434

11.13ethtool：查询网卡参数/ 436

11.14mii-tool：管理网络接口的状态/ 437

11.20yum：自动化RPM包管理工具/ 446

第12章 Linux系统常用内置命令/ 450

12.3Linux常用内置命令实例/ 452