徽标
联盟百科
通讯
下载应用,请到 Google Play
新! 在您的Android™设备上下载联盟百科!
安装
比浏览器更快的访问!
 

Apache Hadoop

指数 Apache Hadoop

Apache Hadoop是一款支持數據密集型分佈式應用程序并以Apache 2.0許可協議發佈的開源軟體框架。它支持在商品硬件構建的大型集群上運行的應用程序。Hadoop是根據谷歌公司發表的MapReduce和Google檔案系統的論文自行實作而成。所有的Hadoop模块都有一个基本假设,即硬件故障是常见情况,应该由框架自动处理。 Hadoop框架透明地為應用提供可靠性和數據移動。它實現了名為MapReduce的編程範式:應用程序被分割成許多小部分,而每個部分都能在集群中的任意節點上執行或重新執行。此外,Hadoop還提供了分佈式文件系統,用以存儲所有計算節點的數據,這為整個集群帶來了非常高的帶寬。MapReduce和分佈式文件系統的設計,使得整個框架能夠自動處理節點故障。它使應用程序與成千上萬的獨立計算的電腦和PB級的數據连接起来。現在普遍認為整個Apache Hadoop“平台”包括Hadoop內核、MapReduce、Hadoop分佈式文件系統(HDFS)以及一些相關項目,有Apache Hive和Apache HBase等等。.

41 关系: Apache AvroApache HBaseApache HiveApache SparkApache ZooKeeperApache许可证Apache软件基金会大數據威斯康星大学麦迪逊分校中国移动中華電信序列化微处理器关系数据库BigTable纽约时报高性能計算集群计算机集群資訊科學研究院資料倉儲跨平台軟體框架雲端運算雅虎FacebookGoogleGoogle檔案系統IBMJavaJoostLast.fmLinuxMapReduceNoSQLOpenStackSQLSun Grid EngineSun Microsystems机器学习昇陽数据库

Apache Avro

Avro是一种远程过程调用和数据序列化框架,是在Apache的Hadoop项目之内开发的。它使用JSON来定义数据类型和通讯协议,使用压缩二进制格式来序列化数据。它主要用于Hadoop,它可以为持久化数据提供一种序列化格式,并为Hadoop节点间及从客户端程序到Hadoop服务的通讯提供一种电报格式。 它类似于Thrift,但当改变时,它不要求运行代码生成程序,除非是对静态类型的语言。.

新!!: Apache Hadoop和Apache Avro · 查看更多 »

Apache HBase

HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于BigTable 规模的服务。因此,它可以容错地存储海量稀疏的数据。 HBase在列上实现了BigTable论文提到的压缩算法、内存操作和布隆过滤器。HBase的表能够作为MapReduce任务的输入和输出,可以通过来存取数据,也可以通过REST、Avro或者Thrift的API来访问。 虽然最近性能有了显著的提升,HBase 还不能直接取代SQL数据库。如今,它已经应用于多个数据驱动型网站,包括 Facebook的消息平台 Retrieved: 17 December 2010。 在 Eric Brewer的CAP理论中,HBase属于CP类型的系统。.

新!!: Apache Hadoop和Apache HBase · 查看更多 »

Apache Hive

Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼,查询和分析。Apache Hive起初由Facebook开发,目前也有其他公司使用和开发Apache Hive,例如Netflix等。亚马逊公司也开发了一个定制版本的Apache Hive,亚马逊网络服务包中的Amazon Elastic MapReduce包含了该定制版本。 是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 Category:2015年软件 Category:Apache软件基金会 Category:Apache软件基金会项目 Category:雲端運算 Category:用Java編程的自由軟體 Category:自由系統軟體 Category:Hadoop Category:使用Apache许可证的软件 Category:Facebook軟體.

新!!: Apache Hadoop和Apache Hive · 查看更多 »

Apache Spark

Apache Spark是一個開源叢集運算框架,最初是由加州大學柏克萊分校AMPLab所開發。相對於Hadoop的MapReduce會在執行完工作後將中介資料存放到磁碟中,Spark使用了記憶體內運算技術,能在資料尚未寫入硬碟時即在記憶體內分析運算。Spark在記憶體內執行程式的運算速度能做到比Hadoop MapReduce的運算速度快上100倍,即便是執行程式於硬碟時,Spark也能快上10倍速度。Spark允許用戶將資料加載至叢集記憶體,並多次對其進行查詢,非常適合用於機器學習演算法。 使用Spark需要搭配叢集管理員和分散式儲存系統。Spark支援獨立模式(本地Spark叢集)、Hadoop YARN或Apache Mesos的叢集管理。 在分散式儲存方面,Spark可以和HDFS、 Cassandra 、OpenStack Swift和Amazon S3等介面搭載。 Spark也支援偽分散式(pseudo-distributed)本地模式,不過通常只用於開發或測試時以本機檔案系統取代分散式儲存系統。在這樣的情況下,Spark僅在一台機器上使用每個CPU核心執行程序。 在2014年有超過465位貢獻家投入Spark開發,讓其成為Apache軟體基金會以及巨量資料眾多開源專案中最為活躍的專案。.

新!!: Apache Hadoop和Apache Spark · 查看更多 »

Apache ZooKeeper

Apache ZooKeeper是Apache软件基金会的一个软件项目,他为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。 ZooKeeper曾经是Hadoop的一个子项目,但现在是一个独立的顶级项目。 ZooKeeper的架构通过冗余服务实现。因此,如果第一次无应答,客户端就可以询问另一台ZooKeeper主机。ZooKeeper节点将它们的数据存储于一个分层的命名空间,非常类似于一个文件系统或一个前缀树结构。客户端可以在节点读写,从而以这种方式拥有一个共享的配置服务。更新是全序的。 使用ZooKeeper的公司包括Rackspace、雅虎和eBay,以及类似于象Solr这样的开源系统。.

新!!: Apache Hadoop和Apache ZooKeeper · 查看更多 »

Apache许可证

Apache许可证(Apache License),是一个由Apache軟件基金會发布的自由软件许可证,最初为Apache http服务器而撰写。Apache许可证要求被授权者保留版权和放弃权利的聲明,但它不是一个反版权的许可证。 此许可证最新版本为“版本2”,于2004年1月发布。 Apache许可证在Apache社区内外被广泛使用。Apache基金会下属所有项目都使用Apache许可证,许多非Apache基金会项目也使用了Apache许可证:据统计,截至2012年10月,在sourceforge上有8708个项目使用了Apache许可证。.

新!!: Apache Hadoop和Apache许可证 · 查看更多 »

Apache软件基金会

Apache软件基金会(Apache Software Foundation,简称为ASF),是专门为支持开源软件项目而办的一个非營利性组织。在它所支持的Apache项目与子项目中,所发行的软件产品都遵循Apache许可证(Apache License)。.

新!!: Apache Hadoop和Apache软件基金会 · 查看更多 »

大數據

--(Big data)--,指的是傳統數據處理應用軟件不足以處理它們的大或複雜的數據集的術語。大數據也可以定義為來自各種來源的大量非結構化或結構化數據。從學術角度而言,大數據的出現促成了廣泛主題的新穎研究。這也導致了各種大數據統計方法的發展。大數據並沒有抽樣;它只是觀察和追踪發生的事情。因此,大數據通常包含的數據大小超出了傳統軟件在可接受的時間內處理的能力。由於近期的技術進步,發布新數據的便捷性以及全球大多數政府對高透明度的要求,大數據分析在現代研究中越來越突出。.

新!!: Apache Hadoop和大數據 · 查看更多 »

威斯康星大学麦迪逊分校

威斯康辛大學麥迪遜分校(英語:University of Wisconsin-Madison),位于美国威斯康辛州首府麦迪逊市,是威斯康辛大学系统的旗帜性学校。它是美国最著名的公立研究型大学之一。 在2015年上海交通大學大學學術排名評比為全球第24名,在2017年U.S. News & World Report 世界大學評比全球第31名,學校亦有「公立常春藤」之稱,是美國知名的十大联盟和美國大學協會的創始成员。威斯康辛大学麦迪逊分校是北美洲規模最大的大學之一,在政治學、經濟學、社会學、自然科学以及工程学等各大领域皆享負盛名,當中社會學於2013年至2016年期間更與普林斯頓大學及柏克萊大學並列全美國排名第一。諾貝爾獎得主21位 ,40座圖書館。威斯康辛大學麥迪遜分校的實際面積有一萬零六百四十九英畝,共有八百五十棟建築物。.

新!!: Apache Hadoop和威斯康星大学麦迪逊分校 · 查看更多 »

中国移动

中国移动通信集团有限公司(简称中国移动、中移动或--)是2000年4月20日成立的中国国有重要骨干企业,注册资本为518亿元人民币,截至2016年12月31日,资产规模15,210億元人民币,負債總額5,389億元人民币,資產負債率35.4%。 中国移动通信拥有全球第一的移动通信网络规模和客户规模,截至2016年底,中国移动擁有8.49億移動客戶及7,762萬有綫寬帶客戶,,在中国的移动通信市场占有率达到了60%以上。中国移动连续多年入选《财富》杂志世界500强企业,2013年排名为第71位,是北京2008年奥运会合作伙伴和2010年上海世博会全球合作伙伴。 中国移动通信集团有限公司通过其全资拥有的中國移動香港有限公司拥有中国移动有限公司(前稱中國電訊,不是中國電信)的72.72%股权。中国移动有限公司在中国境内的31个省、直辖市、自治区主要经营移动语音、数据、IP电话和多媒体业务,拥有“全球通”、“动感地带”、“神州行”、“G3”和“And!和”等品牌,并具有互联网国际联网单位经营权和国际出入口局业务经营权,还提供传真、数据IP电话等增值业务。中国移动有限公司在香港和纽约上市(,),目前是中国在境外上市公司中市值最大的公司之一。根據福布斯的資料顯示,中國移動有限公司是在香港註冊的公司中市值最高的一間。 2018年6月20日,中国移动在纽约股市市值达到1820亿美元,成为目前全球市值最大的电信运营商。2008年5月23日,中国移动通信集团公司通报,中国铁通集团有限公司并入中国移动通信集团有限公司,成为其全资子企业。随着中国移动对中国铁通的兼併重组,中国通信業界史上最大规模的重新整合也随之展开。在2015年12月31日中国移动对中国铁通的资产核查完成之前,中国铁通曾保持相对独立运营。.

新!!: Apache Hadoop和中国移动 · 查看更多 »

中華電信

中華電信(英語譯名:Chunghwa Telecom),簡稱中華電、CHT,是臺灣三大電信業者之一,於1996年由交通部電信總局的營運部門及而來,業務範圍涵蓋固網電信、行動通信及數據通信等。.

新!!: Apache Hadoop和中華電信 · 查看更多 »

序列化

序列化(serialization)在計算機科學的資料處理中,是指將資料結構或物件狀態轉換成可取用格式(例如存成檔案,存於緩衝,或經由網絡中傳送),以留待後續在相同或另一台計算機環境中,能恢復原先狀態的過程。依照序列化格式重新獲取位元組的結果時,可以利用它來產生與原始物件相同語義的副本。對於許多物件,像是使用大量參照的複雜物件,這種序列化重建的過程並不容易。物件導向中的物件序列化,並不概括之前原始物件所關聯的函式。這種過程也稱為物件編組(marshalling)。從一系列位元組提取資料結構的反向操作,是反序列化(也稱為解編組, deserialization, unmarshalling)。 序列化在计算机科学中通常有以下定義.

新!!: Apache Hadoop和序列化 · 查看更多 »

微处理器

微处理器(Microprocessor,缩写:µP或uP)是可程式化特殊集成电路。一种处理器,其所有元件小型化至一块或数块集成电路内。一种集成电路,可在其一端或多端接受编码指令,执行此指令并输出描述其状态的信号。这些指令能在内部输入、集中或存放起来。又称半导体中央处理器(CPU),是微型计算机的一个主要部件。微处理器的元件常安装在一个单片上或在同一组件内,但有时分布在一些不同芯片上。在具有固定指令集的微型计算机中,微处理器由算术逻辑单元和控制逻辑单元组成。在具有微程序控制的指令集的微型计算机中,它包含另外的控制存储单元。用作处理通用资料时,叫作中央处理器。這也是最为人所知的应用(如:Intel Pentium CPU);专用于图像资料处理的,叫作Graphics Processing Unit图形处理器(如Nvidia GeForce 9X0 GPU);用于音讯资料处理的,叫作Audio Processing Unit音讯处理单元(如Creative emu10k1 APU)等等。从物理角度来说,它就是一块集成了数量庞大的微型晶体管与其他电子元件的半导体集成电路芯片。 之所以会被称为微處理器,並不只是因为它比迷你电脑所用的处理器还要小而已。最主要的区别別,还是因为当初各大晶片厂之制程,已经进入了1 微米的阶段,用1 微米的制造,所產製出來的处理器晶片,厂商就会在产品名称上用「微」字,强调他们很高科技。与现在的许多商业广告中,「纳米」字眼时常出现一样。 早在微处理器问世之前,電子計算機的中央处理单元就经历了从真空管到晶体管以及再后来的离散式TTL集成电路等几个重要阶段。甚至在電子計算機以前,还出现过以齿轮、轮轴和杠杆为基础的机械结构计算机。,但那个时代落后的制造技术根本没有能力将这个设计付诸实现。微處理器的發明使得複雜的電路群得以製成單一的電子元件。 从1970年代早期开始,微处理器性能的提升就基本上遵循着IT界著名的摩尔定律。这意味着在过去的30多年里每18个月,CPU的计算能力就会翻倍。大到巨型机,小到筆記型电脑,持续高速发展的微处理器取代了诸多其他计算形式而成为各个类别各个领域所有计算机系统的计算动力之源。.

新!!: Apache Hadoop和微处理器 · 查看更多 »

关系数据库

关系数据库(Relational database),是建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。关系模型是由埃德加·科德于1970年首先提出的,並配合“科德十二定律”。现如今虽然对此模型有一些批评意见,但它还是数据存储的传统标准。标准数据查询语言SQL就是一种基于关系数据库的语言,这种语言执行对关系数据库中数据的检索和操作。 关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成。.

新!!: Apache Hadoop和关系数据库 · 查看更多 »

BigTable

#重定向 Bigtable.

新!!: Apache Hadoop和BigTable · 查看更多 »

纽约时报

纽约时报(The New York Times,缩写作 NYT)是一家美國日報,由紐約時報公司於1851年9月18日在美國紐約創辦和持續出版。和《华尔街日报》的保守派旗舰报纸地位相对应,《纽约时报》是美国親自由派的第一大报。 它最初被称作《纽约每日时报》(The New-York Daily Times),创始人为亨利·J·雷蒙德和。.

新!!: Apache Hadoop和纽约时报 · 查看更多 »

高性能計算集群

性能計算集群(High-Performance Computing Cluster,HPCC),也被稱為數據分析超級計算機(Data Analytics Supercomputer,DAS),是一個由律商聯訊風險解決方案(LexisNexis Risk Solutions)發展的開放源代码數據密集型計算系統平台。.

新!!: Apache Hadoop和高性能計算集群 · 查看更多 »

计算机集群

计算机集群简称集群是一种计算机系统,它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上,他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点,通常通过局域网连接,但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机,比如工作站或超级计算机性能价格比要高得多。.

新!!: Apache Hadoop和计算机集群 · 查看更多 »

資訊科學研究院

在南加州大學(USC)維特比工程學院裡的資訊科學研究院(Information Sciences Institute) (ISI) 是在資訊科學領域中相當卓越的研究組織,其研究領域牽涉到相當廣泛的資訊處理研究以及高階電腦與通訊技術。它位于加州。 ISI積極參與信息革命,並在早期互聯網及其前身ARPANET的開發和管理方面發揮了主導作用Bekey, George A. "A Remarkable Trajectory: From Humble Beginnings to Global Prominence, The history of the USC Viterbi School of Engineering." Charleston: CreateSpace, 2015.

新!!: Apache Hadoop和資訊科學研究院 · 查看更多 »

資料倉儲

数据仓库是一门新兴的资讯科技相关理论,以下用二种方式解释。.

新!!: Apache Hadoop和資料倉儲 · 查看更多 »

跨平台

跨平台泛指编程语言、软件或硬件设备可以在多种作業系統或不同硬體架構的電腦上運作。.

新!!: Apache Hadoop和跨平台 · 查看更多 »

軟體框架

軟體框架(software framework),通常指的是為了實現某個業界標準或完成特定基本任務的軟體組件規範,也指為了實現某個軟體組件規範時,提供規範所要求之基礎功能的軟體產品。 框架的功能類似於基礎設施,與具體的軟體應用無關,但是提供並實現最為基礎的軟體架構和體系。軟體開發者通常依據特定的框架實現更為複雜的商業運用和業務邏輯。這樣的軟體應用可以在支持同一種框架的軟體系統中運行。 簡而言之,框架就是制定一套規範或者規則(思想),大家(程序员)在該規範或者規則(思想)下工作。或者說使用别人搭好的舞台來做编剧和表演。 Category:软件工程.

新!!: Apache Hadoop和軟體框架 · 查看更多 »

雲端運算

雲端運算(cloud computing),是一種基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。 雲端運算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。用户不再需要了解“云”中基础设施的细节,不必具有相应的专业知识,也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。 在「軟體即服務(SaaS)」的服務模式當中,使用者能夠存取服務軟體及資料。服務提供者則維護基礎設施及平臺以維持服務正常運作。SaaS常被稱爲「隨選軟體」,並且通常是基於使用時數來收費,有時也會有採用訂閱制的服務。 推廣者認爲,SaaS使得企業能夠藉由外包硬體、軟體維護及支援服務給服務提供者來降低IT營運費用。另外,由於應用程式是集中供應的,更新可以即時的發佈,無需使用者手動更新或是安裝新的軟體。SaaS的缺陷在於使用者的資料是存放在服務提供者的伺服器之上,使得服務提供者有能力對這些資料進行未經授權的存取。 使用者透過瀏覽器、桌面應用程式或是行動應用程式來存取雲端的服務。推廣者認爲雲端運算使得企業能夠更迅速的部署應用程式,並降低管理的複雜度及維護成本,及允許IT資源的迅速重新分配以因應企業需求的快速改變。 雲端運算依賴資源的共享以達成規模經濟,類似基礎設施(如電力網)。服務提供者整合大量的資源供多個用戶使用,用戶可以輕易的請求(租借)更多資源,並隨時調整使用量,將不需要的資源釋放回整個架構,因此用戶不需要因爲短暫尖峰的需求就購買大量的資源,僅需提升租借量,需求降低時便退租。服務提供者得以將目前無人租用的資源重新租給其他用戶,甚至依照整體的需求量調整租金。.

新!!: Apache Hadoop和雲端運算 · 查看更多 »

雅虎

雅虎(Yahoo!)是美國Oath公司旗下網路服務部門,品牌旗下知名服務有入口網站、電子信箱、體育以及新聞等服務。目前總部位於加州的森尼韋爾市。.

新!!: Apache Hadoop和雅虎 · 查看更多 »

Facebook

Facebook(簡稱FB),華人地區有臉--書、臉--譜、面--書、面--簿等中文名稱。是一家位於美國加州-zh-hans:圣马特奥县; zh-hant:聖馬刁郡-门洛帕克市的線上社交网络服务網站。Facebook成立初期原名為thefacebook,名稱的靈感來自美國高中提供給學生包含照片和聯絡資料的通訊錄(或稱花名冊)暱稱「face book」。 除了文字訊息之外,使用者可傳送圖片、影片、貼圖和聲音媒體訊息(現在也可以傳送其他檔案類型如.doc,.docx,.xls,.xlsx等,但是.exe可能會被禁止傳送)給其他使用者,以及透過整合的地圖功能分享使用者的所在位置。Facebook是在2004年2月4日由馬克·扎克伯格與他的哈佛大學室友們所創立。Facebook的會員最初只限於哈佛學生加入,但後來逐漸擴展到其他在波士頓區域的同學也能使用,包括一些常春藤名校、MIT、紐約大學、史丹福大學等。接著逐漸支援讓其他大學和高中學生加入,並在最後開放給任何13歲或以上的人使用。現在Facebook允許任何聲明自己年滿13歲的使用者註冊。 使用者必須註冊才能使用Facebook,註冊後他們可以創建個人檔案、將其他使用者加為好友、傳遞訊息,並在其他使用者更新個人檔案時獲得自動通知。此外使用者也可以加入有相同興趣的群組,這些群組依據工作地點、學校或其他特性分類。使用者亦可將朋友分別加入不同的列表中管理,例如「同事」或「摯友」等。截至2012年9月,Facebook內已有超過十幾億個活躍使用者,其中約有9%的不實使用者。截至2012年,Facebook每年共產生180拍位元組(PB)的資料,並以每24小時0.5拍位元組的速度增加。統計顯示,Facebook上每天上傳3億5千萬張圖片。.

新!!: Apache Hadoop和Facebook · 查看更多 »

Google

Google有限公司(Google LLC;中文:谷--歌),是美国Alphabet Inc.的子公司,业务范围涵盖互联网广告、互联网搜索、云计算等领域,开发并提供大量基于互联网的产品与服务,其主要利润来自于AdWords等广告服务。Google由在斯坦福大学攻读理工博士的拉里·佩奇和谢尔盖·布林共同创建,因此两人也被称为“Google Guys”。1998年9月4日,Google以私营公司的形式创立,目的是设计并管理互联网搜索引擎“Google搜索”。2004年8月19日,Google公司在纳斯达克上市,后来被称为“三驾马车”的公司两位共同创始人与出任首席执行官的埃里克·施密特在此时承诺:共同在Google工作至少二十年,即至2024年止。Google的宗旨是“--”(To organize the world's information and make it universally accessible and useful);而非正式的口号则为“不作恶”(Don't be evil),由工程师阿米特·帕特尔(Amit Patel)所创,并得到了保罗·布赫海特的支持。Google公司的总部称为“-”,位于美国加州圣克拉拉县的山景城。2011年4月,佩奇接替施密特擔任首席执行官。在2015年8月,Google宣布進行资产重组。重组後,Google划归新成立的Alphabet底下。同时,此舉把Google旗下的核心搜索和廣告業務與Google無人車等新兴业务分離開來。 据估计,Google在全世界的数据中心内运营着上百万台的服务器,每天处理数以亿计的搜索请求和约二十四PB用户生成的数据。 Google自创立起开始的快速成长同时也带动了一系列的产品研发、并购事项与合作关系,而不仅仅是公司核心的网络搜索业务。Google公司提供丰富的线上软件服务,如雲端硬碟、Gmail电子邮件,包括Orkut、Google Buzz以及Google+在内的社交网络服务。Google的产品同时也以应用软件的形式进入用户桌面,例如Google Chrome网页浏览器、Picasa图片整理与编辑软件、Google Talk即时通讯工具等。另外,Google还进行了移动设备的Android操作系统以及Google Chrome OS操作系统的开发。 --分析网站Alexa数据显示,Google的主域名google.com是全世界访问量最高的站点,Google搜索在其他国家或地区域名下的多个站点(google.co.in、google.de、google.com.hk等等),及旗下的YouTube、Blogger、Orkut等的访问量都在前一百名之内。其中,社交网络服务Orkut于2014年9月关闭。.

新!!: Apache Hadoop和Google · 查看更多 »

Google檔案系統

Google檔案系統(Google File System,縮寫為GFS或GoogleFS),一種专有分布式文件系统,由Google公司开发,運行於Linux平台上。尽管Google在2003年公布了该系统的一些技术细节,但Google并没有将该系统的软件部分作为开源软件发布。。 2013年,Google公布了Colossus專案,作為下一代的Google檔案系統。.

新!!: Apache Hadoop和Google檔案系統 · 查看更多 »

IBM

国际商业机器股份有限公司(International Business Machines Corporation,首字母縮略字:IBM,曾译万国商用机器公司)是美國一家跨國科技公司及諮詢公司,總部位於紐約州阿蒙克市。IBM主要客户是政府和企业。IBM生产并销售计算机硬件及软件,并且为系统架构和网络托管提供咨询服务。截止2013年,IBM已在全球拥有12个研究实验室和大量的软件开发基地。IBM雖然是一家商業公司,但在材料、化学、物理等科学领域卻也有很高的成就,利用這些學術研究為基礎,发明很多产品。比较有名的IBM发明的产品包括硬盘、自動櫃員機、通用产品代码、SQL、关系数据库管理系统、DRAM及沃森。.

新!!: Apache Hadoop和IBM · 查看更多 »

Java

Java是一種廣泛使用的電腦程式設計語言,擁有跨平台、物件導向、泛型程式設計的特性,广泛应用于企业级Web应用开发和移动应用开发。 任職於昇陽電腦的詹姆斯·高斯林等人于1990年代初开发Java語言的雛形,最初被命名为Oak,目標設定在家用电器等小型系統的程式语言,應用在电视机、电话、闹钟、烤面包机等家用电器的控制和通訊。由于这些智能化家电的市场需求没有预期的高,Sun公司放弃了该项计划。随着1990年代網際網路的发展,Sun公司看見Oak在網際網路上应用的前景,于是改造了Oak,於1995年5月以Java的名称正式发布。Java伴随着互联网的迅猛发展而发展,逐渐成为重要的网络编程语言。 Java编程语言的风格十分接近C++语言。继承了C++语言面向对象技术的核心,Java舍弃了C++语言中容易引起错误的-zh-hans:指针; zh-hant:指標;-,改以-zh-hans:引用; zh-hant:參照;-取代,同時移除了C++中的--和多重继承特性,改用接口取代,增加垃圾回收器功能。在Java SE 1.5版本中引入了泛型编程、类型安全的枚举、不定长参数和自动装/拆箱特性。昇陽電腦对Java语言的解释是:「Java编程语言是个简单、面向对象、分布式、解释性、健壮、安全与系统无关、可移植、高性能、多线程和动态的语言」 Java不同於一般的编译語言或直譯語言。它首先将源代码编译成字节码,然后依赖各种不同平台上的虚拟机来解释执行字节码,从而实现了“一次编写,到处运行”的跨平台特性。在早期JVM中,这在一定程度上降低了Java程序的运行效率。但在J2SE1.4.2发布后,Java的執行速度有了大幅提升。 与传统型態不同,Sun公司在推出Java時就将其作为开放的技术。全球数以万计的Java开发公司被要求所设计的Java软件必须相互兼容。“Java语言靠群体的力量而非公司的力量”是 Sun公司的口号之一,并获得了广大软件开发商的认同。这与微软公司所倡导的注重精英和封闭式的模式完全不同,此外,微软公司後來推出了与之竞争的.NET平台以及模仿Java的C#语言。後來Sun公司被甲骨文公司併購,Java也隨之成為甲骨文公司的產品。 現時,行動作業系統Android大部分的代碼採用Java 程式設計語言編程。.

新!!: Apache Hadoop和Java · 查看更多 »

Joost

Joost(与'juiced'果汁谐音)是一个交互式軟體共享电视节目和其他形式的視訊在网上使用点对点电视技术,出自 KaZaA、Skype 开发人员之手,自从问世以来就引来无数关注。 出售公司获得巨额资金回报之后,Skype公司的创始人弗里斯和曾斯特姆拿出部分资金投资到名为“威尼斯工程”的網路电视服务。公司高層過去一直以代號"The Venice Project."(威尼斯計畫)稱呼這家新公司,2007年1月16日,公布正式名称为"joost"會選擇Joost是因為喜歡這個字的發音,在丹麥文中沒有任何意義。.

新!!: Apache Hadoop和Joost · 查看更多 »

Last.fm

Last.fm是一个以英国为总部的網路電台和音乐社区。有遍布232个国家超过1500万的活跃听众。2007年被CBS互動以2.8亿美元价格收购,是目前歐洲Web 2.0網站中成交價最高的紀錄。 Last.fm使用的音樂推薦方式稱為「Last.fm Scrobbler」,該系統提供安裝在使用者的電腦播放程式(支持iTunes、Winamp、Windows Media Player、Foobar2000等)或隨身聽裝置的外掛程式,記錄(scrobbling)使用者收聽的每一首歌(線上串流電台或本地音樂檔案)的資訊,傳送回Last.fm資料庫,並以其建立該使用者的個人音樂品味,顯示在該站提供予使用者的個人網頁上。該站亦提供多種社交網路服務,可讓使用者推薦或收聽合其喜好的音樂。 使用者可在Last.fm的音樂資料庫中自訂音樂電台與播放清單,但不能自由選擇收聽的樂曲,也不能在未經音樂版權所有人事先同意的前提下下載音樂。使用者需要在Last.fm網站註冊以獲得可使用的個人檔案,但瀏覽該站或收聽電台並不需要任何帳號。目前,Last.fm网络音乐电台已宣布将实施收费制度,但德国、英国和美国用户除外。 2013年1月15日起,Last.fm仅在美国、英国、德国、加拿大、爱尔兰、澳大利亚、新西兰、巴西提供网络音乐电台服务,其它地区仍然可以使用除网络音乐电台之外的其它功能。 Last.fm在中国大陆能够正常访问,但所有的视频都无法播放。.

新!!: Apache Hadoop和Last.fm · 查看更多 »

Linux

Linux( )是一種自由和開放源碼的類UNIX作業系統。该操作系统的内核由林纳斯·托瓦兹在1991年10月5日首次发布。,在加上使用者空間的應用程式之後,成為Linux作業系統。Linux也是自由软件和开放源代码软件发展中最著名的例子。只要遵循GNU通用公共许可证(GPL),任何个人和机构都可以自由地使用Linux的所有底层源代码,也可以自由地修改和再发布。大多數Linux系統還包括像提供GUI的X Window之類的程序。除了一部分專家之外,大多數人都是直接使用Linux發行版,而不是自己選擇每一樣組件或自行設置。 Linux嚴格來說是單指作業系統的内核,因作業系統中包含了許多用戶圖形介面和其他实用工具。如今Linux常用来指基于Linux的完整操作系统,內核則改以Linux内核稱之。由于这些支持用户空间的系统工具和库主要由理查德·斯托曼于1983年发起的GNU计划提供,自由软件基金会提议将其组合系统命名为GNU/Linux,但Linux不屬於GNU計劃,這個名稱並沒有得到社群的一致認同。 Linux最初是作为支持英特尔x86架构的个人电脑的一个自由操作系统。目前Linux已经被移植到更多的计算机硬件平台,远远超出其他任何操作系统。Linux可以运行在服务器和其他大型平台之上,如大型主机和超级计算机。世界上500个最快的超级计算机90%以上运行Linux发行版或变种,包括最快的前10名超级电脑运行的都是基于Linux内核的操作系统。Linux也广泛应用在嵌入式系统上,如手机(Mobile Phone)、平板电脑(Tablet)、路由器(Router)、电视(TV)和电子游戏机等。在移动设备上广泛使用的Android操作系统就是建立在Linux内核之上。 通常情况下,Linux被打包成供个人计算机和服务器使用的Linux发行版,一些流行的主流Linux发布版,包括Debian(及其衍生版本Ubuntu、Linux Mint)、Fedora(及其相关版本Red Hat Enterprise Linux、CentOS)和openSUSE等。Linux发行版包含Linux内核和支撑内核的实用程序和库,通常还带有大量可以满足各类需求的应用程序。个人计算机使用的Linux发行版通常包含X Window和一个相应的桌面环境,如GNOME或KDE。桌面Linux操作系统常用的应用程序,包括Firefox网页浏览器、LibreOffice办公软件、GIMP图像处理工具等。由于Linux是自由软件,任何人都可以创建一个符合自己需求的Linux发行版。.

新!!: Apache Hadoop和Linux · 查看更多 »

MapReduce

MapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(归纳)”,及他们的主要思想,都是从函数式编程语言借来的,还有从矢量编程语言借来的特性。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归纳)函数,用来保证所有映射的键值对中的每一个共享相同的键组。.

新!!: Apache Hadoop和MapReduce · 查看更多 »

NoSQL

NoSQL是對不同於傳統的關聯式資料庫的数据库管理系统的統稱。 兩者存在許多顯著的不同點,其中最重要的是NoSQL不使用SQL作為查詢語言。其數據存儲可以不需要固定的表格模式,也經常會避免使用SQL的JOIN操作,一般有水平可扩展性的特征。.

新!!: Apache Hadoop和NoSQL · 查看更多 »

OpenStack

OpenStack是一個美國太空總署和Rackspace合作研發的雲端運算軟件,以Apache授權條款授權,並且是一個自由軟件和開放原始碼計畫。.

新!!: Apache Hadoop和OpenStack · 查看更多 »

SQL

SQL(, or;结构化查询语言)是一种特定目的程式语言,用于管理关系数据库管理系统(RDBMS),或在(RDSMS)中进行流处理。 SQL基于关系代数和元组关系演算,包括一个数据定义语言和数据操纵语言。SQL的范围包括数据插入、查询、更新和删除,创建和修改,以及数据访问控制。尽管SQL经常被描述为,而且很大程度上是一种声明式编程(4GL),但是其也含有过程式编程的元素。 SQL是对埃德加·科德的关系模型的第一个商业化语言实现,这一模型在其1970年的一篇具有影响力的论文《一个对于大型共享型数据库的关系模型》中被描述。尽管SQL并非完全按照科德的关系模型设计,但其依然成为最为广泛运用的数据库语言。 SQL在1986年成为美国国家标准学会(ANSI)的一项标准,在1987年成为国际标准化组织(ISO)标准。在此之后,这一标准经过了一系列的增订,加入了大量新特性。虽然有这一标准的存在,但大部分的SQL代码在不同的数据库系统中并不具有完全的跨平台性。.

新!!: Apache Hadoop和SQL · 查看更多 »

Sun Grid Engine

#重定向 Oracle Grid Engine.

新!!: Apache Hadoop和Sun Grid Engine · 查看更多 »

Sun Microsystems

#重定向 昇陽電腦.

新!!: Apache Hadoop和Sun Microsystems · 查看更多 »

机器学习

机器学习是人工智能的一个分支。人工智能的研究历史有着一条从以“推理”为重点,到以“知识”为重点,再到以“学习”为重点的自然、清晰的脉络。显然,机器学习是实现人工智能的一个途径,即以机器学习为手段解决人工智能中的问题。机器学习在近30多年已发展为一门多领域交叉学科,涉及概率论、统计学、逼近论、、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多推论问题属于无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。 机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人等领域。.

新!!: Apache Hadoop和机器学习 · 查看更多 »

昇陽

#重定向 昇陽電腦.

新!!: Apache Hadoop和昇陽 · 查看更多 »

数据库

--,簡而言之可視為電子化的檔案櫃——儲存电子檔案的處所,使用者可以對檔案中的資料執行新增、擷取、更新、刪除等操作。 所謂「資料庫」係以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。.

新!!: Apache Hadoop和数据库 · 查看更多 »

重定向到这里:

HDFSHadoop

传出传入
嘿!我们在Facebook上吧! »