Changes between Version 16 and Version 17 of NTUOSS160412
- Timestamp:
- Apr 11, 2016, 4:10:24 PM (9 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
NTUOSS160412
v16 v17 21 21 || 10:00-12:00 || 淺談巨量資料專案的導入規劃與相關經驗分享 || [raw-attachment:wiki:NTUOSS160412:part-2.pdf 投影片] || || 22 22 23 == Self Learning ==24 23 25 || Hadoop 的三種模式與三種安裝方法 || * http://hadoop.apache.org - Hadoop 專案官方首頁 [[BR]] * http://www.cloudera.com - RPM/DEB 套件庫 : [http://www.etusolution.com/index.php/tw/ 精誠知意圖(Etu)] [[BR]] * http://hortonworks.com - HDP for Windows : [http://www.tcloudcomputing.com.tw 趨勢騰雲(TCloud)] [[BR]] * http://www.mapr.com - MapR : [http://www.is-land.com.tw 亦思科技] ||26 || 如何自己建立練習環境 || - [http://www.cloudera.com/content/support/en/downloads/quickstart_vms/cdh-5-0-x.html CDH] / [http://hortonworks.com/products/hortonworks-sandbox/#install HDP] [[BR]] * [http://go.cloudera.com/cloudera-live.html Cloudera Live - Hue 介面練習] ||27 || 本土社群學習資源 || * [http://forum.hadoop.tw/viewtopic.php?f=7&t=36011 CCDH / CCAH 考試認證指南] [[BR]] * [http://forum.hadoop.tw/ Hadoop.TW 技術討論區] [[BR]] * [https://www.facebook.com/groups/hadoop.tw/ 臉書 Hadoop.TW 社團] [[BR]] * [http://www.youtube.com/playlist?list=PL_CuZWRrYyz0ObsY409EVh66vkdtFpIWN 歷史課程錄影] ||28 24 29 25 == Hands-On Labs == … … 42 38 || Extra || !PageRank || || [http://www.csie.ntu.edu.tw/~bigdata/bigdata2013f.html#lab CSIE Big Data Systems - Fall 2013 - Professor Shih-wei Liao] || 43 39 40 == 自我學習 == 41 42 * [http://www.youtube.com/playlist?list=PL_CuZWRrYyz0ObsY409EVh66vkdtFpIWN 歷史課程錄影] 43 44 || Hadoop 的三種模式與三種安裝方法 || * http://hadoop.apache.org - Hadoop 專案官方首頁 [[BR]] * http://www.cloudera.com - RPM/DEB 套件庫 : [http://www.etusolution.com/index.php/tw/ 精誠知意圖(Etu)] [[BR]] * http://hortonworks.com - HDP for Windows : [http://www.tcloudcomputing.com.tw 趨勢騰雲(TCloud)] [[BR]] * http://www.mapr.com - MapR : [http://www.is-land.com.tw 亦思科技] || 45 || 如何自己建立練習環境 || - [http://www.cloudera.com/content/support/en/downloads/quickstart_vms/cdh-5-0-x.html CDH] / [http://hortonworks.com/products/hortonworks-sandbox/#install HDP] [[BR]] * [http://go.cloudera.com/cloudera-live.html Cloudera Live - Hue 介面練習] || 46 || 本土社群學習資源 || * [http://forum.hadoop.tw/viewtopic.php?f=7&t=36011 CCDH / CCAH 考試認證指南] [[BR]] * [http://forum.hadoop.tw/ Hadoop.TW 技術討論區] [[BR]] * [https://www.facebook.com/groups/hadoop.tw/ 臉書 Hadoop.TW 社團] || 47 44 48 = 補充設定 = 45 49 … … 57 61 top -p `pidof java | sed 's# #,#g'` 58 62 }}} 59 * HDFS Explore60 * 安裝 .Net Framework 4.5 - [http://download.microsoft.com/download/B/A/4/BA4A7E71-2906-4B2D-A0E1-80CF16844F5F/dotNetFx45_Full_setup.exe 安裝檔]61 * 安裝 HDFS Explorer - [http://bigdatainstallers.azurewebsites.net/files/HDFS%20Explorer/beta/1/HDFS%20Explorer%20Installer.msi 安裝檔]62 * 開發環境 IDE 與 Hadoop Plugin - 目前只剩下 Eclipse Plugin, '''Netbean 與 !KamaSphere Studio 的外掛已經無法下載'''63 * [http://trac.3du.me/cloud/wiki/NCHCCloudCourse100928_2_IDE 編譯環境設定- 安裝 Eclipse 3.3.2 與 Hadoop 外掛程式]64 * [http://trac.3du.me/cloud/wiki/NCHCCloudCourse100928/Netbeans 安裝 Netbean 6.9.1 中文版與 KamaSphere Studio 外掛程式]65 * 修改 mapred-site.xml 的參數,增加 mapper 與 reducer 的 slot 個數66 {{{67 <property>68 <name>mapred.tasktracker.map.tasks.maximum</name>69 <value>4</value>70 <property>71 <property>72 <name>mapred.tasktracker.reduce.tasks.maximum</name>73 <value>4</value>74 <property>75 }}}76 77 * https://developer.yahoo.com/hadoop/tutorial/module7.html78 - 其他參數設定的參考79 * 安裝 Ganglia80 {{{81 sudo apt-get -y install ganglia-webfrontend gmetad ganglia-monitor82 }}}83 63 84 64 = 課後討論 =