2009-04-06

Hadoop / MapReduce

• 關於 MapReduce:
  • ​Introduction to Amazon Elastic MapReduce
  • ​Finding Similar Items with Amazon Elastic MapReduce, Python, and Hadoop Streaming - 用 Hadoop 做相似度分析，可應用在生物資訊領域。
  • ​Hadoop Map/Reduce 教程
  • ​Improving MapReduce Performance in Heterogeneous Environments - Map/Reduce? 在異質環境下的效能改良研究
  • ​MapReduce: Simplified Data Processing on Large Clusters - Google 的 Map/Reduce? 論文
• ​Hadoop Wiki 上關於 Amazon EC2 的使用說明

• [限制] Hadoop 0.18.3 不支援 Stream 下的數值排序 - ​Streaming should provide an option for numerical sort of keys

Cloud Computing and Science

• 去年在 eScience 2008 看的一些演講錄影，現在論文也已經可以在 ​IEEE Xplore 上找到了。
• 這兩篇是講述將 MapReduce 運用在生物資訊領域的實例。
  • ​BlastReduce: High Performance Short Read Mapping with MapReduce
  • ​CloudBLAST: Combining MapReduce and Virtualization on Distributed Resources for Bioinformatics Applications
• 跟虛擬化、生物影像、生物資訊、Mircoarray有關：
  • ​BioVLAB-Microarray: Microarray Data Analysis in Virtual Environment
  • ​An Extensible, Scalable Architecture for Managing Bioinformatics Data and Analyses
  • ​Imagery Data Mining: The IDEC Experiment
• 有幾篇則跟 MapReduce 有關,如:
  • ​MRPGA: An Extension of MapReduce for Parallelizing Genetic Algorithms
  • ​MapReduce for Data Intensive Scientific Analyses
  • ​MRGIS: A MapReduce-Enabled High Performance Workflow System for GIS - 拿 Map/Reduce? 來處理 GIS 的 Workflow
• 跟虛擬化有關的
  • ​Contextualization: Providing One-Click Virtual Clusters
  • ​Characterizing User-level Network Virtualization: Performance, Overheads and Limits
• 跟生物統計 / R 相關
  • ​Biocep, Towards a Federative, Collaborative, User-Centric, Grid-Enabled and Cloud-Ready Computational Open Platform
• 有講 Web 2.0 與生物資訊的關係
  • ​BioMashups: the new world of exploratory bioinformatics?
  • ​Bio-Sense: A System for Supporting Sharing and Exploration in Bioinformatics Using SemanticWeb Services
• 其他有趣的主題
  • ​Scalable Semantics – the Silver Lining of Cloud Computing - 純講 Cloud Computing 的商業未來
  • ​Mobile e-Lab: A Mobile Personalized Virtual Research Computing Environment - Mobile Computing 相關
  • [ Why Good Software Sometimes Dies – And How to Save It] - 這一篇我覺得最有趣，為什麼好的軟體有時候會死掉呢?!在商業競爭的環境下，很多軟體叫好但是不叫座，往往重視行銷的'次級品'反而大行其道，佔據非常高比例的市場佔有率。
• 此外，在 SourceForge 上也有一些應用專案:
  • ​CloudBurst - ​Amazon 上的 CloudBurst 專案介紹
• 當然我最關切的是"​Amazon 提供公共資料庫"的舉動對整個學術生態所造成的影響。此舉跟國網中心提供科學資料庫的定位十分相似，雖然 Amazon 在台灣區推廣有本土化方面的阻撓，但是如果真的有心朝國際化發展的話，台灣的學生應該要多學著使用這些服務，去做更大型的運算才對。​這邊的討論提供了許多參考連結。