Apache Hadoop和大數據

快捷方式: 差异，相似，杰卡德相似系数，参考。

Apache Hadoop和大數據之间的区别

Apache Hadoop vs. 大數據

Apache Hadoop是一款支持數據密集型分佈式應用程序并以Apache 2.0許可協議發佈的開源軟體框架。它支持在商品硬件構建的大型集群上運行的應用程序。Hadoop是根據谷歌公司發表的MapReduce和Google檔案系統的論文自行實作而成。所有的Hadoop模块都有一个基本假设，即硬件故障是常见情况，应该由框架自动处理。 Hadoop框架透明地為應用提供可靠性和數據移動。它實現了名為MapReduce的編程範式：應用程序被分割成許多小部分，而每個部分都能在集群中的任意節點上執行或重新執行。此外，Hadoop還提供了分佈式文件系統，用以存儲所有計算節點的數據，這為整個集群帶來了非常高的帶寬。MapReduce和分佈式文件系統的設計，使得整個框架能夠自動處理節點故障。它使應用程序與成千上萬的獨立計算的電腦和PB級的數據连接起来。現在普遍認為整個Apache Hadoop“平台”包括Hadoop內核、MapReduce、Hadoop分佈式文件系統（HDFS）以及一些相關項目，有Apache Hive和Apache HBase等等。. --（Big data）--，指的是傳統數據處理應用軟件不足以處理它們的大或複雜的數據集的術語。大數據也可以定義為來自各種來源的大量非結構化或結構化數據。從學術角度而言，大數據的出現促成了廣泛主題的新穎研究。這也導致了各種大數據統計方法的發展。大數據並沒有抽樣;它只是觀察和追踪發生的事情。因此，大數據通常包含的數據大小超出了傳統軟件在可接受的時間內處理的能力。由於近期的技術進步，發布新數據的便捷性以及全球大多數政府對高透明度的要求，大數據分析在現代研究中越來越突出。.

关系数据库

关系数据库（Relational database），是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。关系模型是由埃德加·科德于1970年首先提出的，並配合“科德十二定律”。现如今虽然对此模型有一些批评意见，但它还是数据存储的传统标准。标准数据查询语言SQL就是一种基于关系数据库的语言，这种语言执行对关系数据库中数据的检索和操作。 关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成。.

Apache Hadoop和关系数据库 · 关系数据库和大數據 · 查看更多 »

计算机集群

计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机，比如工作站或超级计算机性能价格比要高得多。.

Apache Hadoop和计算机集群 · 大數據和计算机集群 · 查看更多 »

雲端運算

雲端運算（cloud computing），是一種基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。 雲端運算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。用户不再需要了解“云”中基础设施的细节，不必具有相应的专业知识，也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。 在「軟體即服務（SaaS）」的服務模式當中，使用者能夠存取服務軟體及資料。服務提供者則維護基礎設施及平臺以維持服務正常運作。SaaS常被稱爲「隨選軟體」，並且通常是基於使用時數來收費，有時也會有採用訂閱制的服務。 推廣者認爲，SaaS使得企業能夠藉由外包硬體、軟體維護及支援服務給服務提供者來降低IT營運費用。另外，由於應用程式是集中供應的，更新可以即時的發佈，無需使用者手動更新或是安裝新的軟體。SaaS的缺陷在於使用者的資料是存放在服務提供者的伺服器之上，使得服務提供者有能力對這些資料進行未經授權的存取。 使用者透過瀏覽器、桌面應用程式或是行動應用程式來存取雲端的服務。推廣者認爲雲端運算使得企業能夠更迅速的部署應用程式，並降低管理的複雜度及維護成本，及允許IT資源的迅速重新分配以因應企業需求的快速改變。 雲端運算依賴資源的共享以達成規模經濟，類似基礎設施（如電力網）。服務提供者整合大量的資源供多個用戶使用，用戶可以輕易的請求（租借）更多資源，並隨時調整使用量，將不需要的資源釋放回整個架構，因此用戶不需要因爲短暫尖峰的需求就購買大量的資源，僅需提升租借量，需求降低時便退租。服務提供者得以將目前無人租用的資源重新租給其他用戶，甚至依照整體的需求量調整租金。.

Apache Hadoop和雲端運算 · 大數據和雲端運算 · 查看更多 »

Facebook

Facebook（簡稱FB），華人地區有臉--書、臉--譜、面--書、面--簿等中文名稱。是一家位於美國加州-zh-hans:圣马特奥县; zh-hant:聖馬刁郡-门洛帕克市的線上社交网络服务網站。Facebook成立初期原名為thefacebook，名稱的靈感來自美國高中提供給學生包含照片和聯絡資料的通訊錄（或稱花名冊）暱稱「face book」。 除了文字訊息之外，使用者可傳送圖片、影片、貼圖和聲音媒體訊息（現在也可以傳送其他檔案類型如.doc,.docx,.xls,.xlsx等，但是.exe可能會被禁止傳送）給其他使用者，以及透過整合的地圖功能分享使用者的所在位置。Facebook是在2004年2月4日由馬克·扎克伯格與他的哈佛大學室友們所創立。Facebook的會員最初只限於哈佛學生加入，但後來逐漸擴展到其他在波士頓區域的同學也能使用，包括一些常春藤名校、MIT、紐約大學、史丹福大學等。接著逐漸支援讓其他大學和高中學生加入，並在最後開放給任何13歲或以上的人使用。現在Facebook允許任何聲明自己年滿13歲的使用者註冊。 使用者必須註冊才能使用Facebook，註冊後他們可以創建個人檔案、將其他使用者加為好友、傳遞訊息，並在其他使用者更新個人檔案時獲得自動通知。此外使用者也可以加入有相同興趣的群組，這些群組依據工作地點、學校或其他特性分類。使用者亦可將朋友分別加入不同的列表中管理，例如「同事」或「摯友」等。截至2012年9月，Facebook內已有超過十幾億個活躍使用者，其中約有9%的不實使用者。截至2012年，Facebook每年共產生180拍位元組（PB）的資料，並以每24小時0.5拍位元組的速度增加。統計顯示，Facebook上每天上傳3億5千萬張圖片。.

Apache Hadoop和Facebook · Facebook和大數據 · 查看更多 »

IBM

国际商业机器股份有限公司（International Business Machines Corporation，首字母縮略字：IBM，曾译万国商用机器公司）是美國一家跨國科技公司及諮詢公司，總部位於紐約州阿蒙克市。IBM主要客户是政府和企业。IBM生产并销售计算机硬件及软件，并且为系统架构和网络托管提供咨询服务。截止2013年，IBM已在全球拥有12个研究实验室和大量的软件开发基地。IBM雖然是一家商業公司，但在材料、化学、物理等科学领域卻也有很高的成就，利用這些學術研究為基礎，发明很多产品。比较有名的IBM发明的产品包括硬盘、自動櫃員機、通用产品代码、SQL、关系数据库管理系统、DRAM及沃森。.

Apache Hadoop和IBM · IBM和大數據 · 查看更多 »

MapReduce

MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归纳）”，及他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归纳）函数，用来保证所有映射的键值对中的每一个共享相同的键组。.

Apache Hadoop和MapReduce · MapReduce和大數據 · 查看更多 »

数据库

--，簡而言之可視為電子化的檔案櫃——儲存电子檔案的處所，使用者可以對檔案中的資料執行新增、擷取、更新、刪除等操作。 所謂「資料庫」係以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。.

Apache Hadoop和数据库 · 大數據和数据库 · 查看更多 »