Version 9 (modified by jazz, 15 years ago) (diff) |
---|
2009-09-22
- [服務] hadoop.nchc.org.tw 啟動 Fair Scheduler
- 參考 Hadoop Summit 2009 的投影片
-
hadoop-site.xml
old new 33 33 <value>134217728</value> 34 34 <description>2009-09-02: Jazz - Change the default block size to 128MB (128 * 1024 * 1024 = 134217728).</description> 35 35 </property> 36 <property> 37 <name>mapred.jobtracker.taskScheduler</name> 38 <value>org.apache.hadoop.mapred.FairScheduler</value> 39 <description>2009-09-22: Jazz - Add support of Fair Scheduler</description> 40 </property> 41 <property> 42 <name>mapred.fairscheduler.allocation.file</name> 43 <value>/etc/hadoop/conf/fairscheduler.xml</value> 44 <description>2009-08-31: Jazz - Add support of Fair Scheduler</description> 45 </property> 46 <property> 47 <name>mapred.fairscheduler.poolnameproperty</name> 48 <value>mapred.queue.name</value> 49 <description>2009-08-31: Jazz - Add support of Fair Scheduler</description> 50 </property> 51 <property> 52 <name>mapred.fairscheduler.assignmultiple</name> 53 <value>true</value> 54 <description>2009-08-31: Jazz - Add support of Fair Scheduler</description> 55 </property> 36 56 </configuration>
-
- 參考 Hadoop Summit 2009 的投影片
Cloud Computing
- 從研究報告中可以知道 2008~2009 年大家對雲端運算認定最重要的三大技術為身分認證、網路安全與虛擬化
- Information Leakage in Cloud Computing
- 論文: Hey, You, Get Off of My Cloud: Exploring Information Leakage in Third-Party Compute Clouds
- 這個論文標題真的很有趣,「滾出我的雲端」,哈哈哈哈~
- 相關報導:Researchers find a new way to attack the cloud - 雲端運算的資訊安全問題再度浮現
- 施振榮:鴻海攻NB 只是新兵
「現在世界不談大,大沒有用。」 施振榮認為,PC已經轉型,從過去PC時代,邁向XC,也就是任何可以運算的載具, X代表無線衍生的不同形式,比如小筆電、電子書,都是XC的產品。 雲端計算(Cloud Computing)將會帶動XC,發展方向分軟體服務與硬體兩大塊, 台灣PC供應鏈完整,專注於硬體製造,更具競爭優勢,不一定需跨足軟體,「現在是分工時代」。 施振榮評估,雲端計算運用將會引爆,市場正在等待關鍵應用(Killer Apperation)啟動, 包括電子書、小筆電等都是載具,軟體應用才是重點。
Cloud Computing and Green Computing
Hadoop
- Telecom operators get the scoop on Hadoop - 繼 VISA 信用卡業者開始使用 Hadoop,電信業者也跟進了!! (Cloudera CEO 的發言)
- Hadoop on Windows with Eclipse - 一份蠻不錯的入門文件,如果要在 Windows 上安裝 Hadoop 跟用 Eclipse 開發 Hadoop 的話。
- Microsoft's new search - Built on open-source - 話說微軟新的搜尋引擎 Bing 也基於 Hadoop !!
- Google mocks Bing and the stuff behind it
Actually, Microsoft uses Hadoop. But that's only because it recently purchased the semantic search startup Powerset.
- Hadoop: When grownups do open source
File System : Google File System II (GFS2)
- 2009-09-14: Google File System II stalked by open-source elephant - 談 GFS2 對 Hadoop 的影響
- 2009-08-12: Google File System II: Dawn of the Multiplying Master Nodes - 嗯!! Google File System II 現在會用在 Google 新的咖啡因(Caffeine)搜尋引擎上,其重點是有多個 Master Node,這也意味著未來 Hadoop 的 Namenode 也會變成多個。
- GFS: Evolution on Fast-forward - 談 Google File System 的演化
- Google Caffeine: What it really is - 談 Google 新的咖啡因(Caffeine)搜尋引擎
MapReduce
- MySpace Qizmt - MySpace's Mapreduce Framework - 以 C# .Net 寫的 MapReduce Framework
Orbited
- RestQ is MorbidQ's unique solution for the problem of message queue integration with other systems, web frameworks in particular.
- How many users are connected? - 用 RestQ 是其中一種做法
Green Computing
Debian
- acidbase 套件 - http://base.secureideas.net/ - Snort 的 web-base 分析介面
- cherokee 套件 - http://www.cherokee-project.com/ - 又一個新的 web server - 效能評比 顯示同時 20 個連線,比現在常見的 nginx 跟 lighttpd 反應都還要快
Innovation
- Google又出新招!創意祕訣大公開
Wave小組刻意遠離Google總部,以雪梨辦公室為基地,堅持計畫內容必須保密很長一段時間, 讓新想法不必受制於吹毛求疪的批評。有些員工認為,這違背了Google的開放文化。 Google依然打算建立更多這種團隊,可能從現在的十幾個增加到50個。Google執行長表示, 最大的挑戰就是找出有才幹的團隊領導者。 Google還有更大的挑戰:Google有很多新想法,但全都無法帶來收入。
職場技能
- 時間效率學/提高管理槓桿率
要在一定時間內,增加自己的工作產出。 盡可能刪除無實質效益的活動,是提高產出的第一步。 何謂管理槓桿率呢?即指一項管理活動的收益及產出,除以該項活動投入的心力及資源的總和。 如何提升生產力呢? 1. 加快每一項管理活動的執行速度 2. 提高每一項管理活動的槓桿率 3. 儘量刪除低槓桿率的管理活動,集中資源於高槓桿率的活動上。
- 快樂經濟學,了解客戶的真正需求
簡單生活,卻成為許多人心靈渴望的新生活。 當每一位設計出自己喜歡的小產品與人分享,收取微薄的酬勞,卻是長尾效應下的客製化。 這種客製化,是真正的少量多樣,但不是在企業中設計出來的,而是在生活中分享出來的,這就是Web 2.0的分享精神。
Attachments (4)
- cloud-computing-survey-results-2009.pdf (932.9 KB) - added by jazz 15 years ago.
- cloud-computing-survey-slides-2009.pdf (241.8 KB) - added by jazz 15 years ago.
- FairScheduler_MateiZaharia_Cloudera.pdf (1.7 MB) - added by jazz 15 years ago.
- cloud_technology.png (125.0 KB) - added by jazz 15 years ago.