產(chǎn)品特色

• 

  數據融合

  支持主流的RDBMS數據庫、NOSQL、大數據計算系統;支持MySQL、Oracle等分片并行提高同步速率;支持同步速度帶寬控制、并發(fā)數控制，全量和增量數據同步,屏蔽引擎層的復雜配置;支持頁(yè)面可視化配置字段映射關(guān)系；支持對數據源進(jìn)行權限控制，可以分享給需要的人員，并防止數據源信息泄露。
• 

  數據開(kāi)發(fā)

  基于Web的開(kāi)發(fā)平臺，提高開(kāi)發(fā)效率’ 結合任務(wù)調度工作流，便捷完成整個(gè)ETL鏈路的開(kāi)發(fā);愉悅的WebIDE編程體驗，支持代碼自動(dòng)補全,代碼版本控制；可以一體化整庫級別實(shí)時(shí)同步配置，歷史數據自動(dòng)配置全量離線(xiàn)任務(wù)。具體支持MySQL、Oracle整庫離線(xiàn)實(shí)時(shí)一體化同步至離線(xiàn)數倉與實(shí)時(shí)數倉。支持設置規則運行報告：支持離線(xiàn)校驗任務(wù)報警/阻塞規則圖、報警/阻塞分區圖、報警/阻塞表圖等圖表，支持實(shí)時(shí)校驗任務(wù)消息圖、報警圖、斷流圖等圖表。
• 

  數據質(zhì)量

  配置化的數據規則校驗，支持表級字段級校驗;支持任務(wù)的定時(shí)運行，質(zhì)量任務(wù)的閾值設定;支持數據質(zhì)量報告的定時(shí)出具支持JAVA語(yǔ)義；支持25數據源之間的數據傳輸，涵蓋云平臺關(guān)系型數據組件、大數據倉庫、NoSQL數據庫、非結構化存儲、消息隊列、MPP數據庫、搜索引擎。支持設置規則配置報告：離線(xiàn)表數、離線(xiàn)分區表達式數、離線(xiàn)規則數、規則覆蓋度、實(shí)時(shí)topic數、實(shí)時(shí)規則數等指標。
• 

  任務(wù)調度

  分布式數據任務(wù)調度; 集群環(huán)境下支持任務(wù)的故障轉移，支持多種任務(wù)路由策略; 支持DAG式的任務(wù)依賴(lài)關(guān)系; 支持任務(wù)郵件告警；支持傳輸速率控制，對整個(gè)同步任務(wù)的同步速率進(jìn)行控制，限制在具體的字節速率之下；支持連接并發(fā)控制，對同步任務(wù)的線(xiàn)程并發(fā)數進(jìn)行控制，防止資源超過(guò)限制而卡死；支持臟數據監控，可以監控臟數據條數，根據配置終止任務(wù)。除標準模板外，支持自定義規則，允許通過(guò)SQL方式自定義離線(xiàn)質(zhì)量校驗規則。同時(shí)自定義離線(xiàn)質(zhì)量規則支持轉化為模板，方便二次使用。
• 

  離線(xiàn)計算引擎

  打通了多個(gè)計算存儲引擎如：Spark、Hive、關(guān)系型數據庫和HBase等，對外提供統一REST/WebSocket/JDBC接口，提交執行SQL、Pyspark、HiveQL、Scala等腳本的計算中間件。支持統一變量、UDF、函數、用戶(hù)資源文件管理，具備高并發(fā)、高性能、高可用的大數據作業(yè)/請求全生命周期管理能力；支持對離線(xiàn)數據表配置模板規則，包括表級規則和字段規則等35+種規則。
• 

  數據管理

  管理數據中臺中數據的授權，審核，對于元數據包括表，字段，存儲等信息的查詢(xún)，用戶(hù)可以向數據管理員申請需要的數據授權，管理員進(jìn)行審批后放開(kāi)數據使用權限給數據開(kāi)發(fā)人員，數據授權操作記錄可追溯，保障數據使用的安全性；支持讀取數據時(shí)數據過(guò)濾，讀取數據時(shí)可以根據條件過(guò)濾讀取符合條件的數據；

技術(shù)特性

• 

  高可靠

  分布式任務(wù)調度，可靠性達到99.99%。
• 

  高性能

  數據融合支持各類(lèi)異構數據源，同步性能比同類(lèi)型工具提升30%
• 

  自定義

  基于JAVA語(yǔ)義的數據質(zhì)量校驗規則，用戶(hù)可自定義質(zhì)量邏輯規則，支持復雜的數據校驗邏輯
• 

  多語(yǔ)言

  數據任務(wù)支持SQL、Python、Shell等任務(wù)類(lèi)型，覆蓋所有數據開(kāi)發(fā)場(chǎng)景

使用場(chǎng)景