Oracle使用异构集群来实现成本效益

Qubole上的Oracle数据云

Oracle数据云有82个使用Qubole的集群, 其分布和异构用法如下:

关于Oracle数据云

Oracle数据云 是甲骨文公司的一个业务部门,服务于175个国家的43万名客户. ODC向世界上排名前100的广告公司和最大的数字出版商提供消费者数据,了解他们的客户是谁, 他们所做的事情, 他们去哪里, 他们买什么.

挑战

At Oracle数据云(ODC)大数据是权威推荐全球最大网赌正规平台的业务. 权威推荐全球最大网赌正规平台倾向于在持续的时间内使用更大的集群和过程. 在过去的几年里, 权威推荐全球最大网赌正规平台看到对某些特定家庭的需求增加,这使权威推荐全球最大网赌正规平台的群体的健康处于危险之中. 因为权威推荐全球最大网赌正规平台的EC2账单已经在以惊人的速度攀升, 权威推荐全球最大网赌正规平台无法证明移动到更多的按需节点是正确的, 因此,在保持集群稳定的同时,权威推荐全球最大网赌正规平台需要在大多数情况下继续使用点节点.

“因为权威推荐全球最大网赌正规平台几乎100%运行现货节点, 鉴于权威推荐全球最大网赌正规平台集群的规模和oracle的规模,权威推荐全球最大网赌正规平台遭受了灾难性的现场损失,贾斯汀·温赖特(Justin Wainwright)解释道, 系统分析师甲骨文. “这导致了SLA缺失、作业失败,最重要的是浪费了业务流程上的时间. 异构是权威推荐全球最大网赌正规平台所寻找的特性.”

Oracle数据云团队成为第一个beta客户 异构集群 Qubole在2016年8月发布了这一功能. 他们对这一功能在日常操作中所带来的巨大潜力感到兴奋.

贾斯汀和他的团队从更小的开始, 非关键操作集群测试水,然后得到积极的结果. 他们将配置扩展到Oracle数据云拥有的整个集群舰队. Qubole一直在与Oracle一起进行成本比较和分析,以实现这一惊人的转型之旅——基于统计数据, 权威推荐全球最大网赌正规平台已经看到了
与按需节点成本相比,成本节省90%,与同构现场配置相比,成本通常节省20-50%.

在此过程中,Oracle数据云团队也帮助Qubole做出了更好的产品,并与其他Qubole用户分享了他们在异构集群配置方面的经验, 如:

  • 对于长时间运行的任务:将任务分割成更小的块,以更好地适应更小的异构实例类型.g. 为执行程序和开销设置适当地设置大小). 根据平均工作负载设置大小
  • 对于突发任务:选择更强的异构实例类型.g 10xLarge默认4xLarge
  • 对于异常值:你需要自定义配置来实现最佳的异构集群性能——这需要一些试验和随着时间的推移进行调整.

由于权威推荐全球最大网赌正规平台的EC2成本不断攀升,现货市场变得更加不稳定, 异质是唯一合理的选择. 尽管权威推荐全球最大网赌正规平台的使用率在过去6个月里有所增长, 自从切换到异构, 权威推荐全球最大网赌正规平台的成本不是下降了就是, 至少, 保持不变

Justin Wainwright, Oracle数据云系统分析师

结果

通过异构配置,Oracle数据云能够降低点损耗,并显著降低总运营成本.

在非均匀峰值使用前(2016年秋季), 几乎40%的EC2成本是在按需节点上运行的Qubole作业. 截至2017年5月, 按需成本不超过20%,而且将近一半的集群被配置为异构集群.

成本比较:

  • 2016年9月:按需节点支出34K美元
  • 2017年1月:17K美元用于按需节点

QDS使Oracle数据云运营团队能够快速扩展,同时保持低成本和高客户满意度.

下载这个案例研究的PDF版本.

友情链接: 1 2 3 4 5 6 7 8 9 10