速览OpenStack Neutron

在OpenStack官方网站上,OpenStack是一个云操作系统,可控制整个数据中心内的大型计算,存储和网络资源池,所有这些资源均通过仪表板进行管理,该仪表板可让管理员进行控制,同时授权用户通过Web界面配置资源。 今天,我们将更加专注于OpenStack网络服务(称为Neutron)的详细工作。 OpenStack(nova)计算还具有旧版网络服务,该服务为其管理网络部分。 但是,如果网络是您要控制的元素之一,则它并没有您想要的那么广泛和灵活。 本文还将使您更好地了解虚拟机中的网络工作。 为了更好地理解以下文章,有一些先决条件。 Linux命名空间是linux的一项功能,通过它可以隔离和虚拟化系统资源。 名称空间的类型是基于过程,基于网络,基于安装,基于IPC,基于用户ID和基于控制组的。 对于本文,了解网络名称空间就足够了。 调整/分接接口是Linux(可能还有其他类似UNIX的操作系统)提供的一项功能,它可以进行用户空间联网,即允许用户空间程序查看原始网络流量(在以太网或IP级别)并进行任何操作。喜欢它。 VLAN接口是基于其VLAN ID唯一的接口,可以在单个接口的顶部设置多个VLAN。 Veth对是一种通常用于提供网络名称空间之间直接连接的功能。 Linux网桥是第2层虚拟设备,除非您将一个或多个实际设备绑定到它,否则它本身无法接收或传输任何内容。 OVS是虚拟交换机,它有助于通过流表进行切换,并包含数据库和守护程序以匹配和执行规则 网络类型: 本地-本地网络是其中实例只能与同一计算节点中的实例在同一网络中进行通信的网络。 平面-平面网络没有基于VLAN的网络隔离。…

预测

这是我对2019-2025年的预测。 这篇文章最初写于06.03.2019。 1-)真正的私有云的兴起 阅读1月7日发布的Gartner云管理平台象限报告后,显然会重点关注混合云管理。 Flexara,Scalr,Embotics和Morpheus类别的领导者都为用户提供了在多个云上构建其基础架构的能力。 现在,我个人预测的实际上不是使用多个云提供商,而是将云扩展到客户端私有数据中心。 第二个预测是关于“数据中心”的概念。 由于成本原因,我看不到客户端正在构建任何数据中心。 取而代之的是,我看到以AWS为首的其他云提供商将开始向其客户提供专用,私有和独立的基础架构,这些基础架构具有云的所有管理功能,例如AWS Console,Athena,Quicksight,Aurora,Cloudwatch。 尽管我们将讨论专用实例,但实际上我们将在使用无服务器数据库并使用DAAF(数据库作为函数)的同时谈论FAAS(Lambda)—我刚刚检查了这个术语。 到我写这篇文章时,它似乎从未在任何地方使用过。 2-)亚马逊将成为最大的在线银行 尽管我们大多数人都看不到他们,他们专注于Amazon通过AWS提供的技术进步,但Amazon本身比传统银行具有巨大优势: 赢得客户信任:从第一天起,亚马逊就专注于客户对竞争对手的痴迷,使之成为有史以来最关注客户的公司。 从客户对现在使用在线信用额度有疑问的那一天起,客户甚至可以毫无疑问地进行日常购物。 对我而言,制定快速,无疑问的退货政策是帮助改变客户行为的最重要部分 专有技术+分析:…

WekaIO矩阵如何减少财务建模中AI的挂钟时间

作者:WekaIO的Barbara Murphy,2019年3月12日 通过将机器学习应用于交易策略,高频交易经历了一​​场革命,而成功的实现取决于科学模型结果的快速执行。 领先的量化交易公司正在不断寻找新的策略,以获取更好的市场洞察力并改善交易结果。 从事定量交易的团队属于数学,计算机科学和工程领域的顶尖人才。 作为来自主要机构的学者,他们寻求最先进的技术来发展竞争优势。 新模型的不断发展为底层基础架构带来了高度的不可预测性,并且需要一种能够处理最苛刻的存储工作负载(数据密集,对延迟敏感的应用程序)的现代架构。 挑战:最小化交易的挂钟时间 使用机器学习算法的财务建模是一个热门的新市场,但是传统上用于定量交易的工具是为高性能计算(HPC)开发的,无法满足以GPU为中心的工作负载的性能要求。 我们的客户资料显示,新的交易工作负载以很高的速率处理数百万个微小文件,并对数据执行近实时分析。 旧版文件系统无法扩展GPU性能 传统文件系统-NFS NAS和并行文件系统-几十年前已针对旋转媒体进行了开发和优化,因此不能轻易利用基于现代闪存技术的低延迟存储媒体。 通常,新的财务模型是在沙盒环境中的单个GPU节点上使用合成数据集开发的。 但是,当这些模型投入生产时,存储系统会在小文件下弯曲,机器学习需要对延迟敏感的工作负载。 客户已经告诉我们,与使用GPU节点内的本地SSD相比,他们的挂钟时间减少了75%。 生产系统的性能下降,以及完成市场模拟所需的挂钟时间相应增加,由于交易窗口不可接受,导致该模型无法使用。 对这种性能下降的主要反应是在GPU节点内部的本地驱动器SSD存储上运行工作负载,以恢复可行的交易窗口。…

应用程序数据缓存的演变:从RAM到SSD

2013年,我们推出了EVCache,它是基于memcached的分布式内存中缓存解决方案,可提供低延迟,高可靠性的缓存和存储。 它与Netflix OSS项目AWS和EC2很好地集成在一起,在许多情况下被称为“隐藏的微服务”。 从那时起,EVCache已成为存储PB级数据和数千亿个项目,每天执行数万亿次操作,能够将数据持久保存到磁盘的能力以及在其中存储数千台服务器的基础的第0层服务。三个AWS区域。 动机 随着Netflix全球云架构的出现,我们能够为我们部署所在的任何AWS地区的Netflix客户提供服务。 下图显示了我们的多区域部署的逻辑结构以及成员流量到AWS区域的默认路由。 随着我们开始走向全球云,需要在每个区域中复制和缓存的数据增加了三倍。 我们还需要在所有区域快速安全地移动此数据。 支持这些功能的成本和复杂性大大增加。 我们的动机是提供一种不仅快速而且具有成本效益的全局缓存解决方案。 用于缓存的SSD 将大量数据存储在易失性存储器(RAM)中非常昂贵。 基于SSD的现代磁盘技术可提供对数据的快速访问,但与RAM相比,其成本要低得多。 因此,我们希望将部分数据移出内存,而不牺牲可用性或性能。 在SSD上存储1 TB数据的成本比在RAM中存储相同数量的数据要低得多。 我们在实验期间观察到,RAM随机读取延迟很少高于1微秒,而典型的SSD随机读取速度在100-500微秒之间。…