跳转至

Spot成本优化

一、公司介绍

Netapp Spot.io 是 Netapp 旗下的一款云计算基础设施自动化和优化产品，可帮助企业在 AWS、Azure 和 Google Cloud 上降低成本、提高可用性和性能。Spot.io 的主要功能包括：

自动化云资源管理：Spot.io 可以自动创建、管理和缩放云资源，包括 EC2 实例、AKS 群集、GKE 集群等。 优化云成本：Spot.io 可以帮助企业利用 Spot 实例以更低的成本运行云计算资源。 提高云可用性：Spot.io 可以使用机器学习和分析来预测 Spot 实例的中断，并采取措施来确保应用程序的可用性。

logo.png

Spot公司是公有云计算管理和成本优化的领导者。创始人Amiram Shachar和Liran Polak是以色列国防军（IDF）“云基础设施”的成员。他们负责管理IDF的所有数据中心和虚拟化系统，看到以有效方式充分利用可用资源的挑战，期望解决数据中心效率低和通过利用公共云中的spot实例来解决这些问题。Spot的愿景

We help companies get the most out of their cloud investments. With unique technology for cloud automation and optimization, we make it possible for companies to get the most out of their cloud investments through world-class CloudOps.
我们帮助公司充分利用其云投资。凭借独特的云自动化和优化技术，我们使公司能够通过世界级的CloudOps充分利用其云投资。

2020年NetApp宣布收购Spot公司，期望在应用驱动基础设施（Application Driven Infrastructure）领域构筑领导地位。

当前，Spot的软件与领先的云平台、服务和工具配合使用，以便可以简化和自动化云基础架构。

spotio providers

Spot号称提供自动化的云基础架构，可以将成本降低高达90%

sportio offer workload

二、使用场景（解决方案）

1. 自动伸缩解决方案

  • 大幅节省成本：我们的机器学习模型分析和预测计算能力趋势、定价和中断率，以智能地利用spot、预留和按需计算定价模型。使用数据驱动选择最佳云计算定价模型，将成本降低高达90%。
  • 智能扩缩容：通过使用机器学习预测未来资源需求，并主动扩展以满足这些需求，同时使用定价模型的最佳组合，简化定义扩展策略、确定高峰时间和提前自动扩展正确容量的过程。
  • 确保生产工作负载的可用性：我们的软件与负载平衡器集成，可自动跨多个区域和过剩容量市场分配工作负载，以确保以最低的成本提供工作负载。从预测中断并采取主动行动提前替换实例的分析中获益。
  • 在不改变任何内容的情况下进行优化：使用Terraform、CloudFormation、Ansible、Chef和Puppet以及JSON轻松将工作负载部署到Spot。我们的高级扩展将确保您的工作负载，无论是使用Jenkins、Beanstalk、CodeDeploy、OpsWorks还是其他工具，始终在Spot实例和按需实例以及任何可用预留容量的最佳混合上启动并运行。

2. 持续优化解决方案

Spot通过持续优化（CO）扩展客户的持续集成/持续部署（CI/CD）管道，以完成应用程序交付管道。

  • Continuous Integration/Continuous Deployment (CI/CD)
  • Continuous Optimization (CO)

spotio cicdco

更多内容参考：Optimize your Cloud 官方页面

三。各云厂商授权

spot connect

  • 与AWS集成：选择AWS账号–》选择应用于CloudFormation模板的SPOT产品–》可选：Elastigroup&Ocean和Cloud Analyzer（需要配置cost和usage报告的内容和存储的桶）
  • 与Azure集成：在Azure的Active Directory服务中注册App并重定向到SPOT服务–》给App创建秘钥和授权
  • 与Google Cloud集成：登陆Google Cloud–》创建SPOT的服务账号（Service Account）–》授予SPOT服务账号秘钥和权限

在优化页面会给出优化建议及可能的效果，只需要一键应用即可自动实现资源优化。

spot optimization

四、主要软件

Spot.io 的具体产品组合包括：

  • Elastigroup： Elastigroup 是 Spot.io 的核心产品，可用于自动创建、管理和缩放 EC2 实例。
  • Ocean： Ocean 是 Spot.io 的另一款产品，可用于自动创建、管理和缩放 Kubernetes 集群。
  • Eco： Eco 是 Spot.io 的成本分析和优化产品。

Ocean

sportio Ocean

Ocean是容器的自动化云基础架构。它不断分析容器如何使用基础架构，自动扩展计算资源以最大限度地提高利用率和可用性，并利用Spot、保留和按需计算实例的最佳混合。
Ocean功能：

  • 自动化容器基础架构–根据容器资源需求持续管理群集基础架构的扩展和规模调整。
  • 了解您的成本–按服务、应用程序和任务实时了解基础架构成本，以实现展示和问责制。
  • 交付SLA–通过预测和自动解决资源需求和实例中断，确保可用性和性能。
  • 最大限度地降低成本——自动使用按需、保留和现货实例的最佳组合，将成本降低高达90%。

特色：

  • Container-driven弹性伸缩：启动新实例，缩小不需要的实例，并用Ocean’s native autoscaling来在集群中重新平衡容器。
  • 可视化成本做的非常好：逐级展开的方式呈现，在命名空间、节点、部署、Pod、任务和容器级别查看和深入了解成本和群集资源。

Ocean可以通过Ocean Controller和Ocean SaaS两个组件来与Kubernetes集群集成。

  • Ocean Controller是一个Pod，驻留在Kubernetes集群中，收集指标和事件，并代表Ocean SaaS平台执行集群操作。这些事件通过到Ocean SaaS的单向安全链接推送，用于业务逻辑和容量扩展活动
  • Ocean SaaS组件聚合来自Ocean Controller的指标，并构建群集拓扑，这样SaaS组件可以提供一些增强的业务逻辑算法，比如可抢占实例可用性、预测以及实例大小和类型的推荐。

这里有个非常关键的概念Headroom：备用容量的缓冲区，确保群集始终为快速应用程序扩展做好准备。是实现自动弹性伸缩的关键特性。Ocean会不断检查集群中是否存在计划外的工作负载（Pod或任务）。如果发现计划外工作负载，Ocean会模拟将其放置在现有基础架构上。由于Ocean提前创建了headroom，所以可以马上将这些未调度的负载放到headroom的资源上。一旦headroom的资源用于扩展工作负载，Ocean将补充headroom容量，为下一次服务扩展做准备。

Elastigroup

Elastigroup负责在spot实例上扩展任务关键型工作负载，并保证可用性。可以支持无状态和有状态工作负载。借助Elastigroup，我们可以自信地运行数千个的spot实例，而无需修改部署的任何方面。

elastigroup

关键技术能力：

  • 智能流量路由：增强了通过在云资源中智能地分配传入流量来优化群集的能力，以最大限度地提高实例利用率并实现高性能。选择尽可能多的实例类型和大小，同时流量在集群中自动平衡，无需手动干预
  • 预测性的自动伸缩和重平衡：通过AI驱动的自动扩展和主动更换风险点实例，实现无风险调配，确保企业级SLA和SLO。提供了一种应用程序驱动的、可靠地利用spot实例的方法。实现方式主要是预测实例中断的概率，提前、优雅地切换到替换的实例上。ML预测算法，准确预测并替换spot实例，准确率为85%，高峰业务时段可提前至少1h预测。

Cloud Analyzer

提供集成的可视化和自动化，实现云优化。分析历史数据，可视化展示负载、资源利用率和cost，给出基础设施资源规格、使用和购买策略的建议，特别是基于spot实例的优化策略。

Eco

Eco提供自动优化云上的“预留容量”：以最小的承诺抓住最大的云折扣

  • 充分利用承诺：通过分析、修改和分配预留容量和根据资源需求节省计划，确保云承诺的最大ROI
  • 管理承诺生命周期：在AWS Marketplace的整个生命周期中自动执行保留实例的购买策略，以确保工作负载始终以最佳定价运行
  • 协调财务和开发运营：实现财务和DevOps团队之间的协作，全面了解计算消耗和最佳承诺策略的自动化

Ocean CD

Ocean CD 功能主要见下图，主要可视化的CD能力。

Ocean CD

Ocean CD官方博客参考页

捐赠本站(Donate)

weixin_pay
如您感觉文章有用，可扫码捐赠本站！(If the article useful, you can scan the QR code to donate))