Spotad:基于Qubole的实时移动广告竞价重建与优化

业务问题概述

2017年,市场力量要求Spotad的商业模式发生转变,从托管服务转变为托管服务 平台即服务 (PaaS),可以与近实时大数据操作,并支持Spotad的先进的AI和ML模型. 这需要对公司的业务和技术基础设施和流程进行重大更改.

“权威推荐全球最大网赌正规平台之前的技术基础设施——严重依赖于亚马逊的工具,比如 弹性MapReduce (EMR) 和雅典娜在几个方面是不够的,”斯波特德首席技术官塔尔·梅泽尔斯回忆道. 具体来说,它不够健壮,无法处理Spotad需要处理的数据量. 而且,拥有的总成本太高,更不用说不可能控制.

Spotad不仅需要一个更强大、成本更低的技术基础设施. 协调其大数据操作, 该公司还需要一个可靠且经验丰富的技术合作伙伴. “权威推荐全球最大网赌正规平台需要一个可以真正交谈的人, 头脑风暴,, 从真正了解大数据的人那里获得好的想法,该种说. 由于它在广告技术领域的声誉,”Qubole脱颖而出.从那时起,双方的合作就很成功. “我认为这是一个很好的选择,”梅泽尔斯说.

关于spotad

Spotad 是一个使用实时数据科学的需求方移动广告平台吗, 包括人工智能(AI)和机器学习(ML), 自动优化客户在全球最大的移动广告交易平台上的数字广告效果. 手机广告交换本质上是广告印象的市场. 发布广告的公司通常通过竞标的方式购买这些印象. Spotad使用专有算法来确定哪些印象将为其客户带来最大的价值,并自动对这些印象出价. 这个过程称为实时竞价(RTB)。.

提高数据处理

由Qubole驱动的Spotad的RTB平台采用了简单而复杂的工作流程. 第一个, 这个平台——从各种来源收集各种形式的流数据——收到一个移动广告印象的投标请求. 然后,该平台发出一系列查询,以评估拍卖中的移动广告印象是否与特定客户的广告印象目标相匹配, 时机, 成本, 和ROI参数. 如果是这样的话, 该平台使用一种ML算法来计算它应该为印象出价多少,并自动发布出价.

Spotad每天处理数十亿个这样的出价, 也就是说,每天要处理3到4 tb的流数据. Spotad还不断收集发现数据,以通知用于计算出价的ML算法, 并识别可能对特定广告做出反应的客户群. 最后, 它会记录与它成功投放的广告相关的事件——印象, 点击, 下载, 等等. 这和其他操作信息通过报告和仪表板传递给内部用户和客户端.

处理如此大量的数据自然需要大量的资源——以及灵活应用这些资源的能力. Qubole允许这, 迅速自动扩大以满足增加的需求,并在高峰时期结束或基础设施闲置时迅速缩小规模. “如果你需要更多的计算能力,Qubole只是在集群中添加更多的节点,”Maizels说. “这是一个梦.”

云成本降低

在与Qubole合作之前, Spotad的RTB平台采用了PostgreSQL数据仓库, 亚马逊EMR, 亚马逊雅典娜——一个昂贵的设置. “拥有的总成本非常高,该种说, 比如EMR的成本以及Athena不透明的定价模型. “权威推荐全球最大网赌正规平台感觉被抛弃了……权威推荐全球最大网赌正规平台缺乏支持,也没有办法控制成本。.迁移到Qubole几乎立即为Spotad节省了超过50%的运营成本.

令人惊奇的是,权威推荐全球最大网赌正规平台用Qubole做了更多的事情,而且花的钱更少. 权威推荐全球最大网赌正规平台对此非常满意.

塔尔·梅泽尔斯,Spotad公司首席技术官.

一体化技术

尽管Spotad的RTB平台的工作流程在概念上很简单, 它涉及到几种不同的技术. 其中包括Apache Kafka,一个数据湖 Amazon S3、Apache火花、蜂巢、转眼间, 美人等等. Qubole为Spotad提供了一个利用所有这些技术的单一平台. 它简化了Spotad将其业务模型从托管服务重组为PaaS的努力. 它还使得用很少的人就可以轻松地管理平台成为可能,这反过来为Spotad节省了设计和迭代新产品特性的时间.

说到政府, Qubole简化了分区管理, 使Spotad能够每分钟创建流数据分区, 并提供了一组非常健壮的模式来防止错误. 这允许在发生故障时快速和容易地恢复. “当错误发生时——尤其是在大数据方面, 这不是如果, 但是,权威推荐全球最大网赌正规平台可以回滚到上次保存的分区,该种说. “这只需要几分钟.”

但单一平台的好处远不止于管理. 它是关于以最有效的方式服务于所有类型的用户. Spotad目前沿着三个领域组织了Qubole的用例. 第一个是数据基础设施和数据操作——例如调度数据负载的任务, 数据转换和去duping, 数据检查, 数据的验证和确认, 等.

第二个方面是 特别的分析 和商业智能. 不间断的 很快群集在Qubole上, Spotad确保报告是照顾所有内部用户和客户端. 报告和仪表板是通过美人和Qubole的集成来分发的, 哪些全面利用了数据模型和公式. 这使得Spotad能够更快地为客户服务,尤其是新客户. 例如,Spotad的中国业务每秒可以处理600到800个查询. 根据该种, “对于存储(数据湖)和计算分离来说,这是一个非常好的选择, 另外,构建报告多维数据集的工作并不多.”

最后,第三个领域是数据科学. 使用火花和R, Spotad的工程师在Qubole中处理和验证原始拍卖数据,以满足其AI和ML模型. 这些模型根据事件来预测最佳结果,并以亚秒响应时间计算出价. Qubole笔记本提供的灵活性使Spotad的团队能够通过统一的界面处理数据和算法,并更有效地协作. “就DevOps而言,这是一个梦想,”梅泽尔斯说.

权威推荐全球最大网赌正规平台与Qubole的合作关系是权威推荐全球最大网赌正规平台想要的,也是权威推荐全球最大网赌正规平台珍视的.

塔尔·梅泽尔斯,Spotad公司首席技术官.

展望未来

尽管改进商业模式和技术是一项重要的工作, Spotad与Qubole的合作伙伴关系通过使用的便捷性,加快了这一过程, 政府, 和自动化. 这就释放了资源和人员来构建其他高价值的产品, 如易于使用, 可互操作的API,以帮助内部用户和客户建立他们自己的预测模型,并执行其他任务,以揭示关键的见解.

该公司还试图将其重点从预测性营销转移到规定性营销——换句话说, 将数据转化为情报来建议行动和战略,而不是简单地解读数据来预测营销结果. 这将使客户“专注于创新,而不是成为网格和数据网格的奴隶”,梅泽尔斯说. 因为说明性营销比预测性营销需要更多的处理能力, 在这一努力中,Qubole的支持无疑是至关重要的.”

业务价值

  • 从托管服务到平台即服务(PaaS)的业务模型和技术基础设施的轻松更新
  • 每天处理数十亿个竞价的能力——导致每天处理3到4兆兆字节的流数据
  • 所有用例的单一平台:数据基础设施和数据操作, 分析和商业智能, 和数据科学
  • 比以前的技术结构节省50%的成本, 使用PostgreSQL数据仓库的, 亚马逊EMR, 和亚马逊雅典娜
  • 与其他关键技术的开箱即用集成, 就像卡夫卡, S3, 火花, 蜂巢, 转眼间, 美人等等
  • 易于管理和自动化,为开发新产品腾出时间

下载这个案例研究的PDF版本.

友情链接: 1 2 3 4 5 6 7 8 9 10