目录
Apache Hadoop
Apache Hadoop是一款支持數據密集型分佈式應用程序并以Apache 2.0許可協議發佈的開源軟體框架。它支持在商品硬件構建的大型集群上運行的應用程序。Hadoop是根據谷歌公司發表的MapReduce和Google檔案系統的論文自行實作而成。所有的Hadoop模块都有一个基本假设,即硬件故障是常见情况,应该由框架自动处理。 Hadoop框架透明地為應用提供可靠性和數據移動。它實現了名為MapReduce的編程範式:應用程序被分割成許多小部分,而每個部分都能在集群中的任意節點上執行或重新執行。此外,Hadoop還提供了分佈式文件系統,用以存儲所有計算節點的數據,這為整個集群帶來了非常高的帶寬。MapReduce和分佈式文件系統的設計,使得整個框架能夠自動處理節點故障。它使應用程序與成千上萬的獨立計算的電腦和PB級的數據连接起来。現在普遍認為整個Apache Hadoop“平台”包括Hadoop內核、MapReduce、Hadoop分佈式文件系統(HDFS)以及一些相關項目,有Apache Hive和Apache HBase等等。.
Bigtable
BigTable是一種壓縮的、高效能的、高可擴展性的,基于Google檔案系統(Google File System,GFS)的数据存储系统,用於儲存大规模結構化数据,適用於雲端計算。 BigTable發展於2004年"First an overview.
雲端運算
雲端運算(cloud computing),是一種基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。 雲端運算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。用户不再需要了解“云”中基础设施的细节,不必具有相应的专业知识,也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。 在「軟體即服務(SaaS)」的服務模式當中,使用者能夠存取服務軟體及資料。服務提供者則維護基礎設施及平臺以維持服務正常運作。SaaS常被稱爲「隨選軟體」,並且通常是基於使用時數來收費,有時也會有採用訂閱制的服務。 推廣者認爲,SaaS使得企業能夠藉由外包硬體、軟體維護及支援服務給服務提供者來降低IT營運費用。另外,由於應用程式是集中供應的,更新可以即時的發佈,無需使用者手動更新或是安裝新的軟體。SaaS的缺陷在於使用者的資料是存放在服務提供者的伺服器之上,使得服務提供者有能力對這些資料進行未經授權的存取。 使用者透過瀏覽器、桌面應用程式或是行動應用程式來存取雲端的服務。推廣者認爲雲端運算使得企業能夠更迅速的部署應用程式,並降低管理的複雜度及維護成本,及允許IT資源的迅速重新分配以因應企業需求的快速改變。 雲端運算依賴資源的共享以達成規模經濟,類似基礎設施(如電力網)。服務提供者整合大量的資源供多個用戶使用,用戶可以輕易的請求(租借)更多資源,並隨時調整使用量,將不需要的資源釋放回整個架構,因此用戶不需要因爲短暫尖峰的需求就購買大量的資源,僅需提升租借量,需求降低時便退租。服務提供者得以將目前無人租用的資源重新租給其他用戶,甚至依照整體的需求量調整租金。.
GFS
GFS可以指:.
Google搜索
Google搜尋是由Google公司推出的一个互聯網搜索引擎,它是互聯網上最大、影响最广泛的搜索引擎。Google每日透過不同的服務,處理来自世界各地超過30億次的查詢。 除了搜尋網頁外,Google亦提供搜尋圖像、新聞組、新聞網頁、地圖、影片的服務。2005年6月,Google已儲存超過80億的網頁,1億3千萬張圖片,以及超過1億的新聞組訊息 - 總計大概10億4千萬個項目。它也缓存了编入索引中的绝大多数网页的内容。 因为Google的名声,“Google”一个事物做动词表示的是“在Google上搜索”。它還有引申义“在互联网上搜索”,甚至“(在实际环境中)搜索”的意思。Google官方--律师信强烈反对这种滥用他们公司名字的习惯,因为它可能會導致Google變成一個通用商標名。.
Google文件系統
#重定向 Google檔案系統.
MapReduce
MapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(归纳)”,及他们的主要思想,都是从函数式编程语言借来的,还有从矢量编程语言借来的特性。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归纳)函数,用来保证所有映射的键值对中的每一个共享相同的键组。.
文件系统列表
以下列表标识、表示和链接有关计算机文件系统的信息。 许多古老的操作系统只支持其“原生”的文件系统,因此没有操作系统本名外的其他名称。.
文件系统的对比
下列表格对比了一系列文件系统的一般和技术资料,文件系统的具体信息参见链接文章。.
操作系统
操作系统(operating system,縮寫作 OS)是管理计算机硬件與软件資源的计算机程序,同时也是计算机系统的核心与基石。操作系统需要处理如管理與配置内存、決定系統資源供需的優先次序、控制輸入與輸出裝置、操作网络與管理文件系统等基本事務。操作系统也提供一個讓使用者與系統互動的操作界面。 操作系统的型態非常多樣,不同機器安裝的操作系统可從簡單到複雜,可從行動電話的嵌入式系统到超級電腦的大型作業系統。許多操作系统製造者對它涵盖范畴的定义也不尽一致,例如有些操作系统整合了图形用户界面,而有些僅使用命令行界面,而將图形用户界面視為一種非必要的應用程式。 操作系统理论在计算机科学中,為歷史悠久的分支;。.
亦称为 Google File System,Google 檔案系統,GoogleFS。