24h購物| | PChome| 登入
2008-11-03 15:31:09| 人氣3,346| 回應0 | 上一篇 | 下一篇

HBase: Bigtable-like structured storage for Hadoop HDFS

推薦 0 收藏 0 轉貼0 訂閱站台



這也是一篇很久以前的文章收集,是關於 HBASE 的認識和應用要點。

要談 HBASE 就要先談到 Google 的三大 IT 系統功能項之一的:Google's  Bigtable

看一下 bigTable 的 abstract:( ref from:http://labs.google.com/papers/bigtable.html )

Bigtable is a distributed storage system for managing structured data that is designed to scale to a very large size: petabytes of data across thousands of commodity servers. Many projects at Google store data in Bigtable, including web indexing, Google Earth, and Google Finance. These applications place very different demands on Bigtable, both in terms of data size (from URLs to web pages to satellite imagery) and latency requirements (from backend bulk processing to real-time data serving). Despite these varied demands, Bigtable has successfully provided a flexible, high-performance solution for all of these Google products. In this paper we describe the simple data model provided by Bigtable, which gives clients dynamic control over data layout and format, and we describe the design and implementation of Bigtable.

可以看出來, BigTable是使用 分散式檔案系統架構可以處理 非常大的檔案資料量的一種系統格式。

並且最重要的是 BigTable 提供了 flexible 、high-performance 的檔案運算和操作。在操作 T 級的檔案量時,BigTable 的格式可以快速的讀取和使用檔案!!! 並且突破 ext3、ext4 等 linux 的既有格式上的 problem (更不要說是很慢的 NTFS 的格式了)

並且提供關於 BigTable 的論文 ref 如下  http://labs.google.com/papers/bigtable-osdi06.pdf

裡面詳述了 BigTable 的運作原理,覺得非常優質的部分。

1. 

2.

台長: 克理斯 在 Internet!
人氣(3,346) | 回應(0)| 推薦 (0)| 收藏 (0)| 轉寄
全站分類: 數位資訊(科技、網路、通訊、家電)

是 (若未登入"個人新聞台帳號"則看不到回覆唷!)
* 請輸入識別碼:
請輸入圖片中算式的結果(可能為0) 
(有*為必填)
TOP
詳全文