拜訪 OSS 這類目標存儲最快的方式- JindoFS SDK

內(nèi)容介紹：

? 大數(shù)據(jù)存儲架構(gòu)演進

? JindoFS

? JindoFS SDK

? JindoFS 功能

一、大數(shù)據(jù)存儲架構(gòu)演進

數(shù)據(jù)湖存儲方案（JindoFS SDK + 目標存儲）

成本：（1）儲存成本低，分層存儲結(jié)合運用

(2) 運維投入少

功能：（1）海量文件下的高效元數(shù)據(jù)功能

（2）存儲的讀寫吞吐能力

數(shù)據(jù)湖特性:(1)事務(wù)寫入，多版本Checksum

(3) Jindo Table  數(shù)倉結(jié)合：Spark SQL/Hive/Presto/Impala

安全：（1）多種免密認證

（2）客戶端/服務(wù)端加密

2、JindoFS

JindoFS  雙形式

? 既是一個分布式緩存系統(tǒng)，為核算加快和提供優(yōu)化（緩存/cache 形式）

? 也是一個分布式存儲系統(tǒng)，支撐高牢靠高可用和安全（存儲/block 形式）

形式	Block 形式	Cache 形式
支撐目標存儲	OSS	OSS/S3 其他云廠商目標存儲
集群緩存加快	支撐	支撐
元數(shù)據(jù)協(xié)議	JindoFS協(xié)議	OSS/S3原生拜訪
元數(shù)據(jù)拜訪加快	支撐	支撐
免密拜訪	是	是
Ranger權(quán)限	是	是
類比方案	HDFS	Alluxio

JindoFS  客戶端 Native  架構(gòu)

? 全鏈路 Native

? 一套底層適配多個場景

3、JindoFS SDK

HCFS 規(guī)范

Filesystem Compatibility with Apache Hadoop

JindoFS SDK 拜訪 OSS

4、JindoFS SDK 優(yōu)勢

高功能

? Native Object Engine 根底操作功能均勻提高 2.2 倍

? Jindo HCFS  對比開源版本功能大幅提高

易集成

? 不引進額外 Java 依靠，防止出產(chǎn)環(huán)境出現(xiàn)依靠沖突

? 社區(qū)形式：文檔完善+在線支撐

高牢靠

? 大量客戶 Hadoop  出產(chǎn)環(huán)境部署運用

? 對接引擎豐厚

Jindo Native Object SDK vs OSS Java SDK

Jindo OSS Hadoop SDK vs Hadoop 現(xiàn)有OSS SDK