Qubole上的Apache火花

Apache火花是高性能的, 分布式数据处理引擎,已成为广泛采用的机器学习框架, 流处理, 批处理, ETL, 复杂的分析, 以及其他大数据项目. Qubole从2014年开始支持Apache火花-as-a-服务,并贡献了几个主要项目(SparkLens)及优化(RubiX)回到开源社区.

Apache火花

Qubole上的Apache火花:为云而建

Qubole结合了Spark最大的优点:可伸缩性, 处理速度, and flexibility of languages; with an enterprise-ready data platform built to handle petabyte scale. 使用Qubole,您可以使用您选择的界面-笔记本, Web控制台, SDK, 或者API——用Scala来构建应用程序, Java, Python, 或者R. Qubole Spark运行着世界上最大、最高效的集群 从10个节点扩展到1000个节点,并在几分钟内恢复.

Apache火花在Qubole上的四个主要优点

成本效率

先进的成本控制可使Qubole的成本降低50%

提升的性能

性能优化和智能管理工具,提高Spark处理效率

易用性

Qubole通过自动化后端配置和其他日常流程,使Spark更容易使用

企业级

企业级安全, 到企业数据源的JDBC/ODBC连接器, 以及第三方整合.

Apache火花在Qubole vs.
开源Apache火花

 

可伸缩性

Qubole上的Apache火花Apache火花
现货招标
优雅点关闭
点再平衡
Workload-Aware自动定量
积极的缩减和优雅的退役
容器包装
异构集群
每秒计费
先进的多租户

性能

Qubole上的Apache火花Apache火花
快读
快写
计算连接和过滤器的优化
计算资源故障隔离
S3直接写优化
S3清单优化
元数据缓存
Rubix(分布式缓存)

工作区

Qubole上的Apache火花Apache火花
多语言(PySpark, Spark SQL, Scala等)
多个数据源(S3、Redshift、Snowflake)
版本控制
调度
仪表盘
合作和分享

调试和性能分析

Qubole上的Apache火花Apache火花
分析(SparkLens)
监控(Ganglia、DataDog等)
聪明的日志访问

安全

Qubole上的Apache火花Apache火花
访问控制笔记本,集群,作业,结构化数据
审计最终用户活动日志
使用SAML 2进行SSO.0支持
数据加密(静态和动态)
HIPAA, SOC2 Type2, ISO-27001兼容环境

集成

Qubole上的Apache火花Apache火花
通过认证的ODBC/JDBC (Tableau, Looker等)连接BI工具.)
REST API (Talent, Informatica, RStudio等,风流,Oozie)
数据源连接器(Snowflake, Redshift, Kafka, Kinesis)

服务 & 支持

Qubole上的Apache火花Apache火花
Spark专家全天候支持
支持多个Apache火花版本
友情链接: 1 2 3 4 5 6 7 8 9 10