= 2009-09-22 = * [服務] hadoop.nchc.org.tw 啟動 Fair Scheduler * 參考 [raw-attachment:wiki:jazz/09-09-22:FairScheduler_MateiZaharia_Cloudera.pdf Hadoop Summit 2009 的投影片] {{{ #!diff --- /etc/hadoop/conf/hadoop-site.xml 2009-09-22 17:01:03.000000000 +0800 +++ hadoop-site.xml 2009-09-22 16:40:24.000000000 +0800 @@ -33,4 +33,24 @@ 134217728 2009-09-02: Jazz - Change the default block size to 128MB (128 * 1024 * 1024 = 134217728). + + mapred.jobtracker.taskScheduler + org.apache.hadoop.mapred.FairScheduler + 2009-09-22: Jazz - Add support of Fair Scheduler + + + mapred.fairscheduler.allocation.file + /etc/hadoop/conf/fairscheduler.xml + 2009-08-31: Jazz - Add support of Fair Scheduler + + + mapred.fairscheduler.poolnameproperty + mapred.queue.name + 2009-08-31: Jazz - Add support of Fair Scheduler + + + mapred.fairscheduler.assignmultiple + true + 2009-08-31: Jazz - Add support of Fair Scheduler + }}} == Cloud Computing == * 從[raw-attachment:wiki:jazz/09-09-22:cloud-computing-survey-results-2009.pdf F5 的研究報告]中可以知道 2008~2009 年大家對雲端運算認定最重要的三大技術為身分認證、網路安全與虛擬化 * [[Image(wiki:jazz/09-09-22:cloud_technology.png,width=600)]] * [http://isc.sans.org/diary.html?storyid=7123 Information Leakage in Cloud Computing] * 論文： [http://cseweb.ucsd.edu/~hovav/dist/cloudsec.pdf Hey, You, Get Off of My Cloud: Exploring Information Leakage in Third-Party Compute Clouds] * 這個論文標題真的很有趣，「滾出我的雲端」，哈哈哈哈～ 　　* 相關報導：[http://www.computerworld.com/s/article/print/9137507/Researchers_find_a_new_way_to_attack_the_cloud?taxonomyName=Security&taxonomyId=17 Researchers find a new way to attack the cloud] - 雲端運算的資訊安全問題再度浮現 * 論文：[http://www.morganclaypool.com/doi/abs/10.2200/S00193ED1V01Y200905CAC006 The Datacenter as a Computer: An Introduction to the Design of Warehouse-Scale Machines] * [http://www.federalnewsradio.com/index.php?nid=35&sid=1765934 Apps.gov overview clears up the confusion over cloud computing] * [http://csrc.nist.gov/groups/SNS/cloud-computing/index.html 美國國家標準局(NIST)所提出的「雲端運算定義」] * [http://udn.com/NEWS/STOCK/STO2/5147513.shtml 施振榮：鴻海攻NB 只是新兵] {{{ 「現在世界不談大，大沒有用。」 施振榮認為，PC已經轉型，從過去PC時代，邁向XC，也就是任何可以運算的載具， X代表無線衍生的不同形式，比如小筆電、電子書，都是XC的產品。 雲端計算（Cloud Computing）將會帶動XC，發展方向分軟體服務與硬體兩大塊， 台灣PC供應鏈完整，專注於硬體製造，更具競爭優勢，不一定需跨足軟體，「現在是分工時代」。 施振榮評估，雲端計算運用將會引爆，市場正在等待關鍵應用（Killer Apperation）啟動， 包括電子書、小筆電等都是載具，軟體應用才是重點。 }}} * [http://ssonice0313.pixnet.net/blog/post/874953 讓我們看雲去(上)] * [http://ssonice0313.pixnet.net/blog/post/877799 讓我們看雲去(下)] * [http://ooxx1111.blogspot.com/2009/09/blog-post_20.html 下一波科技產業的重要商機－雲端運算] == Cloud Computing and Green Computing == * 論文：[http://www.pervasivetechnologylabs.iu.edu/pubs/power-aware-scheduling-virtual-machines-dvfs-enabled-clusters Power-Aware Scheduling of Virtual Machines in DVFS-enabled Clusters] == Hadoop == * [http://telephonyonline.com/news/telecom-operators-scoop-hadoop-0915/ Telecom operators get the scoop on Hadoop] - 繼 VISA 信用卡業者開始使用 Hadoop，電信業者也跟進了!! (Cloudera CEO 的發言) * [http://ebiquity.umbc.edu/Tutorials/Hadoop/00%20-%20Intro.html Hadoop on Windows with Eclipse] - 一份蠻不錯的入門文件，如果要在 Windows 上安裝 Hadoop 跟用 Eclipse 開發 Hadoop 的話。 * [http://www.theregister.co.uk/2009/05/07/microsoft_search_built_on_open_source/ Microsoft's new search - Built on open-source] - 話說微軟新的搜尋引擎 Bing 也基於 Hadoop !! * [http://www.theregister.co.uk/2009/06/27/google_mocks_microsoft_online_infrastructure/ Google mocks Bing and the stuff behind it] {{{ Actually, Microsoft uses Hadoop. But that's only because it recently purchased the semantic search startup Powerset. }}} * [http://www.theregister.co.uk/2008/08/11/hadoop_dziuba/ Hadoop: When grownups do open source] == File System : Google File System II (GFS2) == * 2009-09-14: [http://www.theregister.co.uk/2009/09/14/gfs2_and_hadoop/ Google File System II stalked by open-source elephant] - 談 GFS2 對 Hadoop 的影響 * 2009-08-12: [http://www.theregister.co.uk/2009/08/12/google_file_system_part_deux/print.html Google File System II: Dawn of the Multiplying Master Nodes] - 嗯!! Google File System II 現在會用在 Google 新的咖啡因(Caffeine)搜尋引擎上，其重點是有多個 Master Node，這也意味著未來 Hadoop 的 Namenode 也會變成多個。 * [http://queue.acm.org/detail.cfm?id=1594206 GFS: Evolution on Fast-forward] - 談 Google File System 的演化 * [http://www.theregister.co.uk/2009/08/14/google_caffeine_truth Google Caffeine: What it really is] - 談 Google 新的咖啡因(Caffeine)搜尋引擎 == MapReduce == * [http://qizmt.myspace.com/ MySpace Qizmt - MySpace's Mapreduce Framework] - 以 C# .Net 寫的 MapReduce Framework * [http://www.ithome.com.tw/itadm/article.php?c=57052 MySpace釋出內部Qizmt資料分析技術原始碼] == Orbited == * [http://morbidq.com/trac/wiki/RestQ RestQ] is MorbidQ's unique solution for the problem of message queue integration with other systems, web frameworks in particular. * [http://orbited.org/wiki/Monitoring How many users are connected?] - 用 RestQ 是其中一種做法 == Green Computing == * [http://lis.ly.gov.tw/npl/fast/08101/980612.htm 再生能源發展條例] * [http://www.taiwangreenenergy.org.tw/Article/article-more.aspx?id=78C30E689B651593 智慧電網主要應用技術探討] * [http://www.taiwangreenenergy.org.tw/Article/article-more.aspx?id=F2E7BB7D83F78040 全球智慧電網市場之驅動因素探討] == Debian == * [http://packages.debian.org/acidbase acidbase] 套件 - http://base.secureideas.net/ - Snort 的 web-base 分析介面 * [http://packages.debian.org/cherokee cherokee] 套件 - http://www.cherokee-project.com/ - 又一個新的 web server - [http://www.cherokee-project.com/benchmarks.html 效能評比] 顯示同時 20 個連線，比現在常見的 nginx 跟 lighttpd 反應都還要快 == Innovation == * [http://www.cw.com.tw/article/print.jsp?id=38970 Google又出新招！創意祕訣大公開] {{{ Wave小組刻意遠離Google總部，以雪梨辦公室為基地，堅持計畫內容必須保密很長一段時間， 讓新想法不必受制於吹毛求疪的批評。有些員工認為，這違背了Google的開放文化。 Google依然打算建立更多這種團隊，可能從現在的十幾個增加到50個。Google執行長表示， 最大的挑戰就是找出有才幹的團隊領導者。 Google還有更大的挑戰：Google有很多新想法，但全都無法帶來收入。 }}} == 職場技能 == * [http://www.cw.com.tw/article/print.jsp?id=38963 時間效率學／提高管理槓桿率] {{{ 要在一定時間內，增加自己的工作產出。 盡可能刪除無實質效益的活動，是提高產出的第一步。 何謂管理槓桿率呢？即指一項管理活動的收益及產出，除以該項活動投入的心力及資源的總和。 如何提升生產力呢？ 1. 加快每一項管理活動的執行速度 2. 提高每一項管理活動的槓桿率 3. 儘量刪除低槓桿率的管理活動，集中資源於高槓桿率的活動上。 }}} * [http://www.cw.com.tw/article/print.jsp?id=38941 快樂經濟學，了解客戶的真正需求] {{{ 簡單生活，卻成為許多人心靈渴望的新生活。 當每一位設計出自己喜歡的小產品與人分享，收取微薄的酬勞，卻是長尾效應下的客製化。 這種客製化，是真正的少量多樣，但不是在企業中設計出來的，而是在生活中分享出來的，這就是Web 2.0的分享精神。 }}}