互联网史上最大数据迁移之一：115科技迁至阿里云

amao000765

忘江湖 发表于 2018-6-7 11:46

100PB大部分都是大姐姐。
我记得我的网盘里面就有10T，那就相当于115总数据的万分之一？

haole

"

然而大佬的10t只是大家共用姐姐。所谓网盘空间也就相当于给了个超链接。这里的200pb应该是不重样的数据。那不然阿里真是复制粘贴了，还要什么鬼方案。不知道这姐姐加不加密，忍不住突然有点担心阿里小哥的身体。

liqi823666

amao000765 发表于 2018-6-7 17:38

然而大佬的10t只是大家共用姐姐。所谓网盘空间也就相当于给了个超链接。这里的200pb应该是不重样的数据。 ...
嗯。你说的对，我说得也对，你想想，这文章就是说115总共100P不重复的片子，而我盘里总共10T不重复的片子。那不就是占了总资源的绝对万分之一嘛。也就是我看了总片量的万分之一。

椰子

haole 发表于 2018-6-7 18:12

嗯。你说的对，我说得也对，你想想，这文章就是说115总共100P不重复的片子，而我盘里总共10T不重复的片子 ...
哈哈，大佬说得对。100PB都是什么数据。。

LiuJia

量了量

龙啸舞

按照新闻，应该是这个方案。
假设总共有1W台 115自建机房
阿里云提供1000台做缓冲
115将1W台中的1K台数据迁移到阿里云
然后把迁移的1K台运到阿里云去，接入阿里云的云系统构架
然后重复这个步骤，把1W台物理机，全部弄到阿里云机房

或者不用弄到阿里云机房，可能是在115机房原地上云，阿里把线拉来就行

信息来源，原文中写的：方案中将不同地区物理机内的数据与云上的放置位置进行了一一对应的规划，保证每一比特都有迹可循，并制定了非常有效的物理机回收计划。

龙啸舞

全球资源提供商 发表于 2018-6-7 14:21

我给你们打听了一下

115迁移是形势所迫
那115自己的首选是百度，之后是腾讯，再就是阿里云吗？

cirno

6月7日，国内领先的云存储企业115科技在2018云栖大会·上海峰会上宣布，已将公司全部数据迁移至阿里云上，双方合力完成了互联网史上规模最大的公共云数据迁移，总量超过100PB。同时，整个过程仅耗时45天，创造了百PB级数据公共云迁移的新纪录，演绎了一场云计算的“速度与**”。




100PB的数据有多大？相当于360亿张照片，打印出来可以环绕地球200周。如果用普通办公网络上传，要2700多年才能传完。

在云计算普及的今天，如此大规模的上云变得更高效便捷，115科技总经理刘睿表示：“将基础设施托付给阿里云后，115科技团队得以集中精力，聚焦顶层设计，为用户提供更好的产品体验和服务。”出于自身需求的综合考量，115科技最终选择了阿里云作为合作伙伴，共同完成这次史诗级的迁移。
聚焦顶层业务，115科技整体业务上云
115科技是一家成立9年、以云存储起步的高新技术企业，旗下核心产品之一“115”（原“115网盘”）是国内最早一批上线的产品。
115科技总经理刘睿指出，数据和业务迁移至阿里云上，可帮助115科技持续降低存储运维成本，今后，115科技将加快在人工智能等方面的战略布局，进一步完善云生态，近期还将开启千人招聘计划，积蓄人才力量。
平滑迁移上云后，115科技进行了重大的产品升级， “115组织”企业管理软件全新改版，用“事务”系统取代传统的邮件办公场景、通过“我聊”建立内部的即时沟通等服务，推动建立高效的组织管理；而另一款核心应用“115”已经不仅仅是“网盘”，发展成为以存储、社交、记录为纽带，承载用户一生数据的产品。此外，依托阿里云领先的人工智能和自然语言处理基础，云端存储、沟通、协作将成为115科技新的增长点。
百PB级别的挑战：业务不中断，服务不停机
由于数据规模巨大，本次迁移遇到了前所未有的挑战，整个迁移过程要求整体服务不停机，客户无感知。为了保障115业务平滑迁移，阿里云将分布在不同地区的数千台物理机内的数据与云上的位置进行了一一对应的规划，保证每一比特都有迹可循。
据悉，阿里云采用了专线互连的传输方式，建立边界路由器和路由器接口来连接115的数据中心与阿里云VPC，采用400Gb/s的分布式在线数据传输服务OSSImport，将115的数据加密迁移到对象存储OSS中，并对每个文件做端到端的SHA-1校验，避免出现数据不可用或者不一致的情况。
为了提升传输效率，阿里云存储研发团队在10天内设计了11个功能，包括SHA-1校验边算边传、WORM（一写多读禁止覆盖））、HEIF与矢量图片转换支持等特性，用于承载115科技的非结构化数据如文档、图片、的业务。“这是我人生中节奏最快的一个项目”，参与项目的阿里云工程师表示。
从4个月到45天，离线迁移神器：阿里云闪电立方
从时间成本来看，离线的物理迁移看似原始实则非常高效，《计算机网络》里就不无调侃地说到“永远不要低估一辆满载着磁带在高速公路上飞驰的旅行车的带宽。”
对于不适合在线迁移的数据，阿里云推出了一种全新离线数据迁移方案——闪电立方。它长得像一台电脑主机，可防尘防水，抗震抗压。每套闪电立方可容纳480TB数据，在数据安全方面满足企业严格的要求。有了闪电立方的快速离线迁移能力，115科技的上云时长从预计的4个月大幅缩短到了45天。



在上海云栖大会上，阿里云现场还原了用闪电立方迁移115数据中心的全过程：2分钟内就完成了2TB数据的安全传输过程，每块硬盘专项分离保护，并实施专人专车的运输保障，让离线传输同样专业、高效、安全。
与此同时，阿里云推出了闪电立方mini版，可提供单台40TB的数据迁移能力，图形化界面，引导式服务体验。在数据安全方面，闪电立方mini版同样提供端到端的数据加密服务和数据一致性校验。不同的是，闪电立方mini版可以自行部署，再由专业的物流运输至阿里云的数据中心，实现离线数据的快速上云。
阿里云在企业级存储市场布局已久，凭借多层次防护、跨Region容灾等能力连续2年入选Gartner全球云存储魔力象限，处于全球前四的领导者地位。
此前，阿里云曾帮助中石化、中国邮政、中国南方电网、飞利浦等多家企业实施上云迁移，并提供云化战略咨询、云上应用架构优化等服务，115科技上云也让阿里云成为国内唯一拥有百PB级别迁移经验的厂商。

kougui

转移完了，大姐姐还在不

kagari

http://www.hostloc.com/forum.php ... 7&highlight=115