Streaming Analytics

构建流数据管道,捕捉实时数据对机器学习和特殊分析的好处.

Qubole管道服务是一个处理实时注入的流处理服务, decision, machine learning, and reporting use-cases.

ChallengesQubole Pipelines Service Solution
流处理管道是复杂的,建立和花费大量的时间.内置加速开发周期.
可观察性和数据质量很难在规模上实现.可插拔存储,检查点,健壮的内存管理和警报.
以低成本实现高性能是一项挑战.全面的运营管理和深刻的洞察来控制成本.
数据不一致需要不断清理小文件,并导致文件管理开销.使用Qubole ACID功能压缩小文件,不会阻塞读/写操作.

Accelerated Development Cycle

在几分钟内开发管道,甚至不需要编写一行代码,并立即部署

  • 创建流数据管道,无需通过代码生成向导编写软件
  • Click, 选择并连接到最流行的流数据源和目标,如Kafka, Kinesis, S3, S3-SQS, GCS, HIVE, HIVE-ACID, Snowflake, BigQuery, ElasticSearch, MongoDB & Druid.
  • 使用内置的测试框架测试运行和调试新的管道,以检查连接性和业务逻辑.
  • 体验接近零停机时间,无数据丢失,无缝升级.

交付可靠的长时间运行的流应用程序

基于Apache Spark结构化流,经过验证的技术和框架.

  • 利用RocksDB支持的可插拔状态存储,将应用扩展到数十亿条记录.
  • 利用RocksDB支持的可插拔状态存储,将应用扩展到数十亿条记录.
  • 使用direct - write和S3-Guard支持在检查点过程中保持一致性.
  • 通过更健壮的内存管理实现更大的容错能力. 通过文件系统上的日志滚动和聚合来防止磁盘外错误.
  • 通过你喜欢的机制(Slack、电子邮件、传呼机等)获得提醒.

全面的运营管理和持续的洞察力

全面地管理流应用程序的生命周期

  • 通过利用智能点/抢占节点管理,降低流管道的成本.
  • 跟踪关键指标,如微批处理延迟, processing rate, 通过与Prometheus/Grafana的内置集成实现状态存储大小.
  • 通过360度的洞察活动窗格保持消息灵通.
  • 通过对CRUD操作的细粒度访问控制来控制对管道工件的访问.

Data Management and Consistency

简化数据湖操作,提高数据一致性

  • 简化的数据湖管理与定期自动压缩小文件到更大的文件. 与Qubole ACID表的深度集成允许这种压缩,而不会阻塞并发读写.
  • 检测无效记录和模式不匹配. 通过将这些记录存储在可配置的云存储位置来清理和重新处理这些记录,设置警报并防止数据丢失.

Use-Cases

  • 将开放数据湖补充为吸收服务
    • 从点击流、物联网设备、日志等获取实时事件
    • CDC来自云对象存储和消息总线
  • 实时报告数据仓库
    • 将流数据摄取到各种DW接收器的简单方法
  • 复杂事件处理和基于它的应用程序
    • 实时模型评分/推荐
    • 实时识别机会/威胁

MiQ依赖Qubole管道服务为他们的预测性再定位解决方案

MiQ一直在开发一系列所谓的“预测性再定位解决方案”.“这些产品旨在从目标用户正在进行的活动中收集数据, generate insights, 用户可以实时做出决定并采取行动. In short, 他们正在利用Qubole管道服务寻求实时的消费者再定位, 用于构建和管理这些流数据管道.

MiQ是领先的品牌和代理节目媒体合作伙伴. MiQ总部位于伦敦,在北美、欧洲和亚太地区设有办事处. MiQ与世界领先的品牌和媒体机构合作,如万豪, Dell Mercedes, Microsoft, GroupM, Dentsu Aegis, and IPG. Read the Case Study

Qubole流媒体管道服务是Angel Broking的一个很棒的附加服务,可以轻松地启动和维护权威推荐全球最大网赌正规平台的数据管道. 权威推荐全球最大网赌正规平台已经在生产中部署了20多个管道,以支持Angel Broking的实时分析. The support provided by Qubole, 特别是Ashish Kumar对权威推荐全球最大网赌正规平台的成功至关重要,非常感谢. 权威推荐全球最大网赌正规平台期待在未来的日子里探索更多的功能和更多的生产管道.”

— Harsh Gupta, Head – Analytics

友情链接: 1 2 3 4 5 6 7 8 9 10