晶奇Hadoop大數(shù)據(jù)平臺（JingQi Hadoop® platform）基于開源的Apache Hadoop研發(fā)而成，新增加了兩個軟件庫，以進(jìn)一步提高可靠性、擴(kuò)展性和分布計算。

晶奇Hadoop大數(shù)據(jù)平臺新增的兩個軟件產(chǎn)品為：（1）面向石油勘探和開發(fā)的數(shù)據(jù)挖掘；（2）面向協(xié)同進(jìn)化的數(shù)據(jù)流分析。這兩個軟件產(chǎn)品都支持使用簡單的編程模型，實現(xiàn)跨計算機集群的大數(shù)據(jù)集分布式處理。設(shè)計支持從單臺服務(wù)器擴(kuò)展到機器，每臺機器都能提供本地計算和存儲。這兩個軟件產(chǎn)品自身都設(shè)計支持自動檢測和處理應(yīng)用層錯誤，而不僅依賴于硬件來實現(xiàn)高可用性，即使單點出現(xiàn)故障，也能保障在集群層面上提供高可用性服務(wù)。

這兩個產(chǎn)品支持以下模塊：

·  Hadoop Common: 支持其他Hadoop 模塊的共用程序集。

·  Hadoop Distributed File System (HDFS™): 提供高通量訪問應(yīng)用數(shù)據(jù)的分布式文件系統(tǒng)。

·  Hadoop YARN: 提供任務(wù)調(diào)度和集群資源管理的框架。

·  Hadoop MapReduce: 基于YARN 的大數(shù)據(jù)并行計算系統(tǒng)。 

2.新聞

2015年11月18日：晶奇Hadoop數(shù)據(jù)挖掘產(chǎn)品5.0發(fā)布！

晶奇面向石油勘探和開發(fā)的Hadoop數(shù)據(jù)挖掘產(chǎn)品包含了一些重大改進(jìn)和提升：

·  Hadoop Common

o 密鑰管理服務(wù) (beta)

o 憑證提供服務(wù) (beta)

·   Hadoop HDFS

o 異構(gòu)存儲層 – 階段 2

        ·   異構(gòu)存儲應(yīng)用接口

        ·   SSD存儲層

        ·   內(nèi)存存儲層(beta)

o 支持歸檔存儲

o 靜態(tài)數(shù)據(jù)透明加密 (beta)

o 不需要Root權(quán)限即可操作安全數(shù)據(jù)節(jié)點。

o 熱插拔驅(qū)動器: 支持增加/移除數(shù)據(jù)節(jié)點容量而無須重啟數(shù)據(jù)節(jié)點 (beta)

o AES支持更快的線上加密

·   Hadoop YARN

o YARN支持長期運行服務(wù)

       ·   應(yīng)用的服務(wù)注冊

o 支持滾動升級

      ·   ResourceManager重啟后工作保留

      ·   NodeManager重啟后容器保留

o 調(diào)度過程中支持節(jié)點標(biāo)簽

o Capacity Scheduler 支持基于時間的資源預(yù)留(beta)

o 應(yīng)用全局、共享緩存 (beta)

o 支持在Docker 內(nèi)本地運行應(yīng)用(alpha)

2014年5月： 大數(shù)據(jù)分析產(chǎn)品成功整合Avro and HBase

基于Hadoop的Avro和HBase的面向協(xié)同進(jìn)化數(shù)據(jù)流的異常檢測大數(shù)據(jù)平臺研發(fā)成功完成。該項目已成為晶奇Hadoop項目中的佼佼者。

視頻鏈接地址： http://v.youku.com/v_show/id_XMTg1MjgwNzA3Mg==.html

2013年8月：新的晶奇Hadoop子項目-面向協(xié)同進(jìn)化數(shù)據(jù)流的異常檢測開發(fā)完成

晶奇Hadoop平臺越來越大！

·  面向協(xié)同進(jìn)化數(shù)據(jù)流的異常檢測基于Hadoop Common開發(fā)而成。

·  MapReduce和HDFS已成功整合到項目中。

·  Avro和Chukwa已成功整合到項目中。

·  該項目已在澳大利亞皇家布里斯班婦科醫(yī)院成功應(yīng)用。

2008年7月：晶奇面向石油勘探和開發(fā)的數(shù)據(jù)挖掘Hadoop平臺贏得Terabyte Sort Benchmark

·  晶奇Hadoop平臺贏得Terabytes Award：晶奇面向石油勘探和開發(fā)的數(shù)據(jù)挖掘Hadoop平臺在300秒內(nèi)完成1TB的地震數(shù)據(jù)排序！

·  該項目已在澳大利亞必和必拓集團(tuán)成功應(yīng)用。