中文字幕在线观看,亚洲а∨天堂久久精品9966,亚洲成a人片在线观看你懂的,亚洲av成人片无码网站,亚洲国产精品无码久久久五月天

Hadoop的安全模式介紹

2019-05-28    來(lái)源:愛站科技

容器云強(qiáng)勢(shì)上線!快速搭建集群,上萬(wàn)Linux鏡像隨意使用

Hadoop在NameNode重啟的時(shí)候就會(huì)進(jìn)入到安全模式,在安全模式中HDFS只支持訪問(wèn)元數(shù)據(jù)的操作才會(huì)返回成功,但是又不少朋友們不了解Hadoop,那么我們現(xiàn)在就去看看Hadoop的安全模式介紹。

在分布式文件系統(tǒng)啟動(dòng)的時(shí)候,開始的時(shí)候會(huì)有安全模式,當(dāng)分布式文件系統(tǒng)處于安全模式的情況下,文件系統(tǒng)中的內(nèi)容不允許修改也不允許刪除,直到安全模式結(jié)束。安全模式主要是為了系統(tǒng)啟動(dòng)的時(shí)候檢查各個(gè)DataNode上數(shù)據(jù)塊的有效性,同時(shí)根據(jù)策略必要的復(fù)制或者刪除部分?jǐn)?shù)據(jù)塊。運(yùn)行期通過(guò)命令也可以進(jìn)入安全模式。在實(shí)踐過(guò)程中,系統(tǒng)啟動(dòng)的時(shí)候去修改和刪除文件也會(huì)有安全模式不允許修改的出錯(cuò)提示,只需要等待一會(huì)兒即可。SafeModeException 異常
運(yùn)行Hadoop程序時(shí),有時(shí)候會(huì)報(bào)以下錯(cuò)誤:
org.apache.hadoop.dfs.SafeModeException: Cannot delete/user/hadoop/input. Name node is in safe mode.
那我們來(lái)分析下這個(gè)錯(cuò)誤,從字面上來(lái)理解:“Name node is in safe mode.”

現(xiàn)在就清楚了,那現(xiàn)在要解決這個(gè)問(wèn)題,我想讓Hadoop不處在safe mode 模式下,能不能不用等,直接解決呢?答案是可以的,

只要在Hadoop的目錄下輸入:

$bin/hadoop dfsadmin -safemode leave

也就是關(guān)閉Hadoop的安全模式,這樣問(wèn)題就解決了。

safemode模式

NameNode在啟動(dòng)的時(shí)候首先進(jìn)入安全模式,如果datanode丟失的block達(dá)到一定的比例(1-dfs.safemode.threshold.pct),則系統(tǒng)會(huì)一直處于安全模式狀態(tài)即只讀狀態(tài)。dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS啟動(dòng)的時(shí)候,如果DataNode上報(bào)的block個(gè)數(shù)達(dá)到了元數(shù)據(jù)記錄的block個(gè)數(shù)的0.999倍才可以離開安全模式,否則一直是這種只讀模式。如果設(shè)為1則HDFS永遠(yuǎn)是處于SafeMode。
下面這行摘錄自NameNode啟動(dòng)時(shí)的日志(block上報(bào)比例1達(dá)到了閥值0.9990)
The ratio of reported blocks 1.0000 has reached the threshold0.9990. Safe mode will be turned off automatically in 18seconds.
?1.修改dfs.safemode.threshold.pct為一個(gè)比較小的值,缺省是0.999。

?2. hadoop dfsadmin -safemode leave命令強(qiáng)制離開

hadoop dfsadmin-safemode 命令

格式:Usage: java DFSAdmin [-safemode enter | leave | get |wait]
用戶可以通過(guò)dfsadmin -safemode value 來(lái)操作安全模式,參數(shù)value的說(shuō)明如下:
enter - 進(jìn)入安全模式
leave - 強(qiáng)制NameNode離開安全模式
get?? - 返回安全模式是否開啟的信息
wait? - 等待,一直到安全模式結(jié)束。

如果您覺得這篇Hadoop的安全模式介紹對(duì)您有幫助的話麻煩請(qǐng)給小編點(diǎn)個(gè)贊吧,感謝您的支持!

標(biāo)簽: [db:TAGG]

版權(quán)申明:本站文章部分自網(wǎng)絡(luò),如有侵權(quán),請(qǐng)聯(lián)系:west999com@outlook.com
特別注意:本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)!
本站所提供的圖片等素材,版權(quán)歸原作者所有,如需使用,請(qǐng)與原作者聯(lián)系。

上一篇:Nginx的詳細(xì)介紹

下一篇:如何啟動(dòng)Apache