如何使用bat或vbs實現批處理處理文本文件去重復功能

這篇文章主要介紹如何使用bat或vbs實現批處理處理文本文件去重復功能，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

使用方法：把文本拖到批處理上就行了。。。

@echo off
:: Code by oicu#lsxk.org 2007/11/29

rem chcp 437>nul
:: 看情況使用，utf-8編碼的文件不能少了chcp命令，一般無需使用，
:: 但無論是否使用都不支持utf-16的文件。

:: pushd "%~dp1"
:: 如果不用pushd和popd，文件都要用絕對路徑不能只用文件名。

if "%~1"=="" goto :EOF
set outputfile=%~dpn1_output%~x1

type nul>"%outputfile%"

echo Waiting...

for /F "tokens=1* delims=:" %%i in ('findstr /n .* "%~1"') do (
  findstr /B /E /C:"%%j" "%outputfile%">nul 2>&1 || echo.%%j>>"%outputfile%"
)

pause
start "" notepad "%outputfile%"
:: popd
exit

【 在 oicu (Oh! I see you!) 的大作中提到: 】
: 去重復倒是行。。缺點就是慢和保留原有的空行了。

以下是vbs實現的代碼

以下是這個腳本的源代碼，復制后另存為vbs后綴的文件，雙擊即可運行。文件要放在C盤根下的Text.TXT，請特別注意：文本中一行一條記錄，不要有空行。

Const adOpenStatic = 3
Const adLockOptimistic = 3
Const adCmdText = &H0001 
Set objConnection = CreateObject("ADODB.Connection")
Set objRecordSet = CreateObject("ADODB.Recordset")

strPathToTextFile = "C:\"
strFile = "Test.txt"

objConnection.Open "Provider=Microsoft.Jet.OLEDB.4.0;" & _
   "Data Source=" & strPathtoTextFile & ";" & _
     "Extended Properties=""text;HDR=NO;FMT=Delimited"""

objRecordSet.Open "Select DISTINCT * FROM " & strFile, _
  objConnection, adOpenStatic, adLockOptimistic, adCmdText

Do Until objRecordSet.EOF

Set objFSO = CreateObject("Scripting.FileSystemObject")
   set Fp=objFSO.OpenTextFile("C:\test1.txt",8,True,0)
   fp.WriteLine objRecordSet.Fields.Item(0).Value
   fp.close
   set objFSO = nothing
   objRecordSet.MoveNext
Loop

以上是“如何使用bat或vbs實現批處理處理文本文件去重復功能”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！