Changes between Version 1 and Version 2 of Hadoop_Lab2
- Timestamp:
- Aug 28, 2009, 5:56:35 PM (16 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
Hadoop_Lab2
v1 v2 11 11 12 12 == Content 1. HDFS Shell基本操作 == 13 === 1.1 瀏覽你HDFS目錄===13 === 1.1 瀏覽你HDFS目錄 === 14 14 15 15 {{{ … … 17 17 }}} 18 18 19 == = 1.2 上傳資料到HDFS目錄 ===19 == 1.2 上傳資料到HDFS目錄 == 20 20 * 上傳 21 21 … … 31 31 }}} 32 32 33 == = 1.3 下載HDFS的資料到本地目錄 ===33 == 1.3 下載HDFS的資料到本地目錄 == 34 34 35 35 * 下載 … … 46 46 }}} 47 47 48 == = 1.4 刪除檔案 ===48 == 1.4 刪除檔案 == 49 49 50 50 {{{ … … 53 53 }}} 54 54 55 == = 1.5 直接看檔案 ===55 == 1.5 直接看檔案 == 56 56 57 57 {{{ … … 60 60 }}} 61 61 62 == = 1.6 更多指令操作 ===62 == 1.6 更多指令操作 == 63 63 64 64 {{{ … … 111 111 112 112 113 = = Content 2. 使用網頁Gui瀏覽資訊 ==113 = Content 2. 使用網頁Gui瀏覽資訊 = 114 114 115 115 * [http://localhost:50030 Map/Reduce Administration] 116 116 * [http://localhost:50070 NameNode ] 117 117 118 == Content 3. 更多HDFS shell 的用法 == 119 120 = HDFS shell 的用法 = 118 = Content 3. 更多HDFS shell 的用法 = 119 121 120 * bin/hadoop fs <args> ，下面則列出 <args> 的用法 122 121 * 以下操作預設的目錄在 /user/<$username>/ 下 … … 139 138 }}} 140 139 141 == -cat == 140 == -cat == 142 141 * 將路徑指定文件的內容輸出到stdout 143 142 {{{ 144 143 $ bin/hadoop fs -cat quota/hadoop-env.sh 145 144 }}} 146 == -chgrp == 145 == -chgrp == 147 146 * 改變文件所屬的組 148 147 {{{ 149 148 $ bin/hadoop fs -chgrp -R hadooper own 150 149 }}} 151 == -chmod == 150 == -chmod == 152 151 * 改變文件的權限 153 152 {{{ 154 153 $ bin/hadoop fs -chmod -R 755 own 155 154 }}} 156 == -chown == 155 == -chown == 157 156 * 改變文件的擁有者 158 157 {{{ 159 158 $ bin/hadoop fs -chown -R hadooper own 160 159 }}} 161 == -copyFromLocal, -put == 160 == -copyFromLocal, -put == 162 161 * 從local放檔案到hdfs 163 162 {{{ 164 163 $ bin/hadoop fs -put input dfs_input 165 164 }}} 166 == -copyToLocal, -get == 165 == -copyToLocal, -get == 167 166 * 把hdfs上得檔案下載到 local 168 167 {{{ 169 168 $ bin/hadoop fs -get dfs_input input1 170 169 }}} 171 == -cp == 170 == -cp == 172 171 * 將文件從hdfs原本路徑複製到hdfs目標路徑 173 172 {{{ 174 173 $ bin/hadoop fs -cp own hadooper 175 174 }}} 176 == -du == 175 == -du == 177 176 * 顯示目錄中所有文件的大小 178 177 {{{ … … 185 184 25844527 hdfs://gm1.nchc.org.tw:9000/user/hadooper/input/4.txt 186 185 }}} 187 == -dus == 186 == -dus == 188 187 * 顯示該目錄/文件的總大小 189 188 {{{ … … 192 191 hdfs://gm1.nchc.org.tw:9000/user/hadooper/input 143451003 193 192 }}} 194 == -expunge == 193 == -expunge == 195 194 * 清空垃圾桶 196 195 {{{ 197 196 $ bin/hadoop fs -expunge 198 197 }}} 199 == -getmerge == 198 == -getmerge == 200 199 * 將來源目錄<src>下所有的文件都集合到本地端一個<localdst>檔案內 201 200 * bin/hadoop fs -getmerge <src> <localdst> … … 208 207 }}} 209 208 210 == -ls == 209 == -ls == 211 210 * 列出文件或目錄的資訊 212 211 * 文件名 <副本數> 文件大小 修改日期 修改時間 權限 用戶ID 組ID … … 215 214 $ bin/hadoop fs -ls 216 215 }}} 217 == -lsr == 216 == -lsr == 218 217 * ls命令的遞迴版本 219 218 {{{ 220 219 $ bin/hadoop fs -lsr / 221 220 }}} 222 == -mkdir == 221 == -mkdir == 223 222 * 建立資料夾 224 223 {{{ 225 224 $ bin/hadoop fs -mkdir a b c 226 225 }}} 227 == -moveFromLocal == 226 == -moveFromLocal == 228 227 * 將local端的資料夾剪下移動到hdfs上 229 228 {{{ 230 229 $ bin/hadoop fs -moveFromLocal in1 in2 231 230 }}} 232 == -mv == 231 == -mv == 233 232 * 更改資料的名稱 234 233 {{{ 235 234 $ bin/hadoop fs -mv in2 in3 236 235 }}} 237 == -rm == 236 == -rm == 238 237 * 刪除指定的檔案（不可資料夾） 239 238 {{{ 240 239 $ bin/hadoop fs -rm in1/input 241 240 }}} 242 == -rmr == 241 == -rmr == 243 242 * 遞迴刪除資料夾（包含在內的所有檔案） 244 243 {{{ 245 244 $ bin/hadoop fs -rmr in1 246 245 }}} 247 == -setrep == 246 == -setrep == 248 247 * 設定副本係數 249 248 * bin/hadoop fs -setrep [-R] [-w] <rep> <path/file> … … 259 258 Waiting for hdfs://gm1.nchc.org.tw:9000/user/hadooper/input/4.txt ... done 260 259 }}} 261 == -stat == 260 == -stat == 262 261 * 印出時間資訊 263 262 {{{ … … 265 264 2009-04-02 03:51:29 266 265 }}} 267 == -tail == 266 == -tail == 268 267 * 將文件的最後1k內容輸出 269 268 * 用法 ： bin/hadoop fs -tail [-f] 檔案 (-f 參數用來顯示如果檔案增大，則秀出被append上得內容) … … 271 270 $ bin/hadoop fs -tail input/1.txt 272 271 }}} 273 == -test == 272 == -test == 274 273 * 測試檔案， -e 檢查文件是否存在(1=存在, 0＝否)， -z 檢查文件是否為空(1=空, 0＝不為空)， -d 檢查是否為目錄(1=存在, 0＝否) 275 274 * 要用echo $? 來看回傳值為 0 or 1 … … 284 283 test: File does not exist: /user/hadooper/input/5.txt 285 284 }}} 286 == -text == 285 == -text == 287 286 * 將檔案（如壓縮檔, textrecordinputstream）輸出為純文字格式 288 287 * hadoop fs -text <src> … … 303 302 ��a.txtUTb��IUxPK@C 304 303 }}} 305 == -touchz == 304 == -touchz == 306 305 * 建立一個空文件 307 306 {{{
