（初始發(fā)布時間2008年12月，更新時間2016年10月）

晶奇Hadoop軟件包（簡稱JQH）是國際一流水平的一站式大數(shù)據(jù)平臺，大數(shù)據(jù)分析準(zhǔn)確率，計算時間，安全性均經(jīng)過Apache評估和測試。擁有美國專利保護(hù)的面向圖分析，流數(shù)據(jù)，實時數(shù)據(jù)等九項大數(shù)據(jù)分析技術(shù)。其主要大數(shù)據(jù)分析算法2014年被美國工程院列為全球排名前20的前瞻性算法[1]。 對于硬盤數(shù)據(jù)是一般Hadoop平臺性能的10倍，對于內(nèi)存數(shù)據(jù)是一般Hadoop平臺性能的100倍。其主要核心技術(shù)，在數(shù)據(jù)安全技術(shù)，網(wǎng)絡(luò)安全技術(shù)，應(yīng)用安全技術(shù)的基礎(chǔ)上，實現(xiàn)內(nèi)存硬盤計算、高效檢索、高效實時查詢，高效知識發(fā)現(xiàn)。

成功案例包括2008年澳大利亞最大石油勘探開發(fā)公司BHP Billionton，2013年澳大利亞昆士蘭州最大公立醫(yī)院皇家布里斯本醫(yī)院手術(shù)室實時分析系統(tǒng)， 2016年中國寧波第一人民醫(yī)院。2008年至今，在中國大陸落地的大中小案例在50個以上。

產(chǎn)品的性能特點主要包括以下幾個方面：
(1) 軟件安全性
從物理層和惡意用戶意圖層兩個層面對客戶數(shù)據(jù)應(yīng)用網(wǎng)絡(luò)進(jìn)行加密。充分實現(xiàn)數(shù)據(jù)安全，應(yīng)用安全，網(wǎng)絡(luò)安全。

(2) 算法時效性
能夠保證最快延遲0.02秒內(nèi)完成同步，同時同步后的數(shù)據(jù)能夠立即進(jìn)行實時分析，實時分析速度在硬件性能合理的情況下最快0.03秒內(nèi)完成計算。

(3) 與數(shù)據(jù)采集硬件兼容性
-支持通用無線傳感網(wǎng)絡(luò)通信協(xié)議接口如COM3, ZigBee等，實現(xiàn)實時采集，實時計算。
-支持通用視頻，音頻接口如RLS等。實現(xiàn)實時采集，實時計算。
-支持通用爬蟲軟件。實現(xiàn)對網(wǎng)絡(luò)日志的實時采集，實時計算。

(4) 擴(kuò)展性
支持通過虛擬化、云或集群等方式擴(kuò)展處理能力；
支持靈活的訪問控制和權(quán)限管理，如對數(shù)據(jù)庫、表、行、列等的管理權(quán)限。
支持多租戶管理，支持資源彈性共享和隔離性。

(5) 提升算法可視化
- 支持地理信息系統(tǒng)。
- 支持GPS相關(guān)可視化。
- 支持海量優(yōu)化可視化。

(6) 支持語言及API開發(fā)包括
基于平臺進(jìn)行應(yīng)用開發(fā)所采用的開發(fā)語言為主流開發(fā)語言。支持WebService、JDBC、REST等常用的接口。支持SQL2003及以上， Python， Matlab， C,C++, C sharp, Virtual C， 兼容Oracle， 支持 Oracle PL/SQL存儲過程， 兼容DB2， 支持 DB2 SQLPL， Delphi， Java， Spark， R 語言， SPSS， Hanan HP， PHP。

(7) 支持操作包括
任何Join, Insert, Update, delete, merge into，分布式事務(wù)， OLAP。

(8) 優(yōu)化指標(biāo)
支持基于資源優(yōu)化，支持基于算法優(yōu)化，支持基于規(guī)則優(yōu)化，支持基于成本優(yōu)化。

(9) 軟件現(xiàn)實性
實現(xiàn)SQL與Oracle之間互訪，實現(xiàn)SQL與DB2之間互訪，SQL與MySQL之間互訪。

(10) 硬件優(yōu)化
實現(xiàn)內(nèi)存或SSD硬件加速。
實現(xiàn)利用內(nèi)容或SSD的物理特性，進(jìn)行存儲層結(jié)構(gòu)設(shè)計優(yōu)化。

(11) 可視化實現(xiàn)
實現(xiàn)OLAP Cube模型，支持建立物化Cube，根據(jù)事先定義的字段秒級聚合分析。
實現(xiàn)按任意字段秒級別靈活聚合分析，不需要預(yù)先創(chuàng)建物化Cube。

(12) 常規(guī)API實現(xiàn)
支持API提供第三方使用。

(13) 支持?jǐn)?shù)據(jù)字典

(14) 查詢
實現(xiàn)關(guān)鍵詞搜索。
實現(xiàn)自然語言查詢。
實現(xiàn)垂直語義查詢。
對PB級海量數(shù)據(jù)，利用Skyline技術(shù)實現(xiàn)精準(zhǔn)查詢，最快在0.02秒以內(nèi)實現(xiàn)。
實現(xiàn)對任意字段組合查詢綜合搜索

(15) 擴(kuò)展性
從KB級到PB級數(shù)據(jù)均有很好的擴(kuò)展性。對PB以上級數(shù)據(jù)，算法復(fù)雜性保持在線性遞增。支持增量算法，梗概算法，在保持一定準(zhǔn)確性的基礎(chǔ)上，可將算法復(fù)雜性降為線性以下。即支持從小到大，也支持從大到小。支持對大量小文件的自動合并，支持對小文件的高效計算。

(16) 數(shù)據(jù)挖掘組件算法支持
包括九項美國專利支持的算法：-支持向量遞歸算法，模糊關(guān)聯(lián)分析算法，面向流數(shù)據(jù)的動態(tài)博弈論算法，支持圖分析的深度學(xué)習(xí)算法，支持面向大型網(wǎng)絡(luò)圖的PCA算法，支持網(wǎng)絡(luò)日志數(shù)據(jù)的推薦算法，支持金融大數(shù)據(jù)的異常檢測算法，支持銷售數(shù)據(jù)分析的數(shù)學(xué)規(guī)劃算法，支持普通宏微觀經(jīng)濟(jì)的矩陣算法，一般均衡算法，會計核算算法，支持通用統(tǒng)計算法。
通用分類聚類算法包括
- 支持向量機(jī)
- 分布式apiori/fp-growth算法
- 分布式k-means/層次聚類算法
- 分布式svm算法
- 分布式神經(jīng)網(wǎng)絡(luò)算法
- 回歸算法
- 分布式隨機(jī)森林算法
- 分布式協(xié)同過濾算法
- 時間序列算法
- 分布式?jīng)Q策樹
- 分布式樸素貝葉斯算法
- 分布式梯度提升樹

軟件的功能特點主要包括以下幾個方面：
（1）開放性 
平臺開放性。
對接接口開放性。

（2）兼容性
兼容主流的Linux操作系統(tǒng)。
兼容通用服務(wù)器。

（3）性能
統(tǒng)計分析。平均每個CPU core至少每秒1000萬記錄的掃描速度，至少每秒100萬記錄的聚合速度。
高并發(fā)查詢能力。按關(guān)鍵字檢索單表記錄延時小于200ms，單個節(jié)點并發(fā)度超過1000；按關(guān)鍵字檢索多表關(guān)聯(lián)記錄延時小于1s， 單個節(jié)點并發(fā)度超過1000；多表關(guān)聯(lián)檢索并匯總統(tǒng)計延時小于1s， 單個節(jié)點并發(fā)度超過100。
流處理能力。萬兆網(wǎng)絡(luò)下，單節(jié)點不低于200MB/s的處理吞吐能力，簡單業(yè)務(wù)處理延時毫秒級。

（4）高可用性
平臺可靠性。
故障處理。
異地備份。支持分布式數(shù)據(jù)庫表異地遠(yuǎn)程復(fù)制，支持雙向復(fù)制，實現(xiàn)異地災(zāi)備。

（5）安全性管理
完整多租戶策略支持。
Hive權(quán)限控制。
HBase權(quán)限控制。支持完整的數(shù)據(jù)權(quán)限管控，支持單元格級別的訪問權(quán)限控制。
數(shù)據(jù)挖掘權(quán)限控制
流權(quán)限控制

（6）運維管理易用性
運維監(jiān)控。
自定義告警。

（7）平臺在線擴(kuò)容開發(fā)易用性
大數(shù)據(jù)平臺軟件支持便捷的圖形化開發(fā)調(diào)試輔助工具。
方便的進(jìn)行數(shù)據(jù)探索與數(shù)據(jù)挖掘建模。
支持分布式數(shù)據(jù)倉庫，NoSQL數(shù)據(jù)庫，綜合搜索，數(shù)據(jù)分析和挖掘以及流處理能力。 

1. Jing He, Xiaohui Liu, Guangyan Huang, Michael Blumenstein, Clement Leung, Current and Future Use of Big Data In Commonwealth Countries, Vol. 44, Number 4, Winter 2014, Pages: 38-45, The Bridge- National Academy of Engineering of the National Academies, U. S. A. 

上一篇：Welcome to JingQi Hadoop®!

下一篇：返回列表