在Linux中,可以使用以下方法去掉重復行:
sort
命令和uniq
命令組合,sort
命令可以對文件進行排序,uniq
命令可以去掉重復行。示例命令如下:sort file.txt | uniq > newfile.txt
awk
命令,awk
命令是一種文本處理工具,可以用來去掉重復行。示例命令如下:awk '!seen[$0]++' file.txt > newfile.txt
sed
命令,sed
命令是一種流編輯器,可以用來去掉重復行。示例命令如下:sed '$!N; /^\(.*\)\n\1$/!P; D' file.txt > newfile.txt
comm
命令,comm
命令用于比較兩個已排序的文件,并找出相同行、不同行和僅存在于一個文件中的行。示例命令如下:comm -12 <(sort file.txt) <(sort file.txt) > newfile.txt
以上是一些常用的方法,可以根據具體情況選擇適合的方法。