如何加快Linux文件拷貝速度
如何加快Linux文件拷貝速度
在進(jìn)行Linux文件拷貝中,文件較多的時(shí)候拷貝的速度非常慢,那么有什么辦法能夠加快文件拷貝的速度呢?下面小編就給大家介紹下加快Linux文件拷貝速度的方法。
第一種方法
將tar與scp、ssh命令結(jié)合:
在A機(jī)打包后,復(fù)制到B機(jī)器并解包
代碼如下:
《/p》 《p》 tar -cf - /tmp/test | ssh B‘IP “cd /tmp; tar -xf -”《/p》 《p》
在A機(jī)打包,并將打包好的文件復(fù)制到B機(jī)
代碼如下:
《/p》 《p》 tar -cf - /tmp/test | ssh B’IP “cd /tmp; cat - 》 test.tar”《/p》 《p》 tar -cf - /tmp/test | scp - 《a href=“mailto:B‘USER@B’IP:/tmp”》B‘USER@B’IP:/tmp《/a》《/p》 《p》
將A機(jī)的打包文件,復(fù)制到B機(jī)并解包
代碼如下:
《/p》 《p》 zcat test.tar | ssh B‘IP “cd /tmp; tar -xf -”《/p》 《p》
也可以直接在本地這么使用:
代碼如下:
《/p》 《p》 cd /tmp/test1《/p》 《p》 tar -cf - 。 | (cd /tmp/test2 ; tar -xvpf -)《/p》 《p》
但有人試驗(yàn)后得出結(jié)論本地直接用cp較快
拷貝時(shí)除了拷貝單個(gè)文件還會(huì)拷貝目錄,有時(shí)需要連同文件/目錄的屬性一同拷貝??梢栽赾p命令中使用-R參數(shù)遞歸拷貝目錄,使用-p參數(shù)拷貝文件保留屬性(默認(rèn)是:mode,ownership,timestamps也可以通過(guò) --preserve[=ATTR_LIST]指定要特別保留的屬性如:context, links,xattr, all),使用-d參數(shù)拷貝文件保留連接?;蛘吆?jiǎn)單的使用-a參數(shù)(相當(dāng)于使用-dR --preserve=all)
如果想看到拷貝大量小文件的進(jìn)度可以寫一個(gè)簡(jiǎn)單的小腳本:
代碼如下:
《/p》 《p》 cd /tmp/test《/p》 《p》 for i in *《/p》 《p》 do《/p》 《p》 cp $i 目標(biāo)目錄《/p》 《p》 echo $i is ok.。。?!?p》 《p》 done《/p》 《p》
第二種方法
首先,無(wú)論本地還是遠(yuǎn)程,需要移動(dòng)或拷貝的文件較多且都不太大時(shí),用cp命令和mv命令效率較低,可以先使用tar工具對(duì)將要拷貝/移動(dòng)的內(nèi)容進(jìn)行打包/壓縮,之后再進(jìn)行拷貝/移動(dòng),最后再解包/解壓縮。
另外,也是很關(guān)鍵的一個(gè)技巧,即,不必在tar打包/壓縮完畢之后再進(jìn)行拷貝,解包/解壓縮,可以通過(guò)管道一邊打包/壓縮另一邊執(zhí)行拷貝解包/解壓縮。
比如,tar命令可以和nc命令結(jié)合可以快速在兩臺(tái)機(jī)器之間傳輸文件和目錄:
B機(jī)器:
代碼如下:
《/p》 《p》 nc -l 5555 |tar -C /tmp/test/ -xf -《/p》 《p》
A機(jī)器:
代碼如下:
《/p》 《p》 tar cf - /tmp/test/ |nc B‘IP 5555 《/p》 《p》
上述步驟將A機(jī)器/tmp/test/下的內(nèi)容拷貝到B機(jī)器對(duì)應(yīng)的目錄中,其中tar cf - /tmp/test/ |nc B’IP 5555 將內(nèi)容邊打包邊通過(guò)管道和nc命令傳輸?shù)接蓪?duì)應(yīng)IP地址和5555端口傳到B機(jī)器,nc -l 5555 |tar -C /tmp/test/ -xf - 監(jiān)聽本機(jī)的555端口,并將接收到的內(nèi)容解包至指定的目錄(-C參數(shù)指定目標(biāo)目錄)
最后補(bǔ)充一條不是技巧的技巧:在使用一個(gè)工具完成一項(xiàng)任務(wù)之前,先思考當(dāng)前用的工具是不是最適合的工具?有沒有更好的工具或辦法?如果工具確實(shí)很適用于當(dāng)前任務(wù),那么在使用該工具時(shí)有沒有特殊的技巧可以提高工作效率?(通常,查看幫助文檔可有意外收獲)。
上面就是加快文件拷貝速度的方法介紹了,如果你要拷貝的文件比較多又比較散的話,使用上面介紹的方法能夠加快拷貝速度,不妨試試看吧。