数据迁移上云:如何避免停机和中断
如今,越来越多的组织需要在数据中心和云端之间移动数据,但在移动数据期间面临停机的风险是一个难题。据调研机构451 Research数据,2018年约有60%的企业IT工作负载在某种形式的公共云或私有云上运行,而IDC,Gartner和Forrester的调查结果与此大致相同。
由此,IT领导者对数据移动的风险以及相关的停机时间表示担忧也不足为奇。现在,企业数据库的平均大小约为10到20年前的1000到100万倍,这意味着与移动相关联的潜在停机时间也会增加数倍。企业需要更多地利用云计算,以实施更具战略性和智能的工作,包括高速,高容量的数据压缩,以支持实时决策和复杂的自动化。而由之产生的数据量也使得建设二级数据中心成本过高,而这是进一步推动企业走向云计算的因素。
但是将业务数据从数据中心迁移到云端的痛苦仍然让人望而却步。他们的数据在运输过程中可能会发生什么,如果他们无法再获得访问权限,或者如果在其他地方被使用,他们如何继续使用实时数据?数据延迟也是一个问题。数据中心过去建在靠近企业经营的地方,以防止与网络传输相关的性能下降。但是,随着云计算的应用,数据中心之间的距离不在企业的控制之内,因此性能问题可能会减缓数据可用性和和协调性,这是一个重要的考虑因素。
未来将是现在
无论是日常的后台系统,还是那些支持与人工智能或物联网有关的雄心勃勃的新项目,组织都需要随时需要正在处理的数据的可用性和完整性。
例如,对于无人驾驶汽车而言,所有各方(乘客,汽车制造商,保险公司和第三方服务提供商)都需要绝对的保证车辆仪表和传感器,以及与之相连的云计算平台将能够持续实时发送,接收,解释和处理数据。据估计,具有传感器,相机和激光测量(LiDAR测量)的一台自主驾驶车辆每秒可产生100Gb的数据。
使用不断变化的数据集提供可行服务的唯一方法,无停机时间和无中断,这是人们称之为活动数据复制的方式。这允许实时数据同时存在于多个位置,而不会在每个终点被更新时不同步而有中断的风险。这种能力将允许汽车制造商和服务合作伙伴分析和回应关于车辆运行情况的现场数据,实时识别异常情况,以及事先确定哪些必要的补救措施。
许多组织正在转向采用基于Hadoop的分析(一种以速度进行大规模数据处理的特定方式),将大数据转化为可以在日常活动中使用的有意义和可操作的事情。很多企业使用Hadoop来分析和回应Twitter的活动。但是,这通常意味着将数据放入云计算中,其中所需的处理能力随时可用。
除非他们正在处理历史数据,否则企业将继续需要访问其核心业务系统中的数据,其中记录将继续更新。在这种情况下,使用云计算进行处理并不是简单的将批量装载的完整数据发送到目的地,这是巧妙发生的事情。
暂停不是一个选项
当对实时的生产数据进行分析时,企业无法承受数据来源的站点和数据处理点不同步。他们在任何新的事情发生之前,不能等待几天才能移动,分析和返回数据。这不仅仅是停机,而且是系统瘫痪。而且,这并不影响在迁移过程中可能发生的任何损坏或Hadoop分析事件后数据被协调的结果。
同样,避免与数据移动相关的停机和中断的唯一方法是找到一种在位置之间持续更新和同步数据的方法。谷歌公司通过精心制作的卫星设置实现了这一点,而企业也可以使用文中介绍的这样的巧妙算法来实施。