作者：Hitachi Vantara资深技术顾问 吴静
也许把信息塞进脑袋里的事还太遥远了，但数据爆炸和海量信息已经是当前我们不得不面对的问题，当今移动互联网目前最流行的视频应用，网络视频已经超越即时通讯、搜索、新闻和音乐，成为增长最快的网络应用类型，视频连接整个互联网文娱生态，成为生态系统的核心载体，我们来看另一组数字：全球访问人数排名第3的YouTube视频网站，每天有20亿段视频被观看，如果把所有视频全部看一遍需要1700年。
这场互联网的盛宴当然少不了中国市场，这些年中国在线视频市场规模一直保持着2位数的快速增长。
预计2018年中国的在线视频市场规模预计将达到1102.8亿，而移动端视频用户规模也将持续增长，达到7亿。
面对如此巨大规模的市场，每个以互联网视频业务的公司都摩拳擦掌，期望分上一杯羹，相对于互联网公司，某运营商视频业务部门依靠强有力的运营商网络资源，为用户提供“定向流量套餐”、“免流量”等服务，拓宽了观看场景，实现用户随时随地的观看，已经积累了一批庞大的客户资源。海量信息面前，人脑会记不住，电脑存储也不一定能保证永远安全。目前的视频数据在存储结构上主要是以NAS（文件存储）为主，经过这些年不断的扩展，已经到了一个相当庞大的规模，面对每年PB级增长的长视频和短视频业务有些力不从心了，这主要是因为NAS类的文件存储是树形结构，随着文件数量不断增多，需要更多的系统资源来维护一个庞大的目录树；同时，由于文件数量过于庞大，已经无法使用正常的备份方式来数据保护，所以数据安全方面一直存在隐患。
除此之外，跨地域数据存取、视频元数据分析等难题，NAS文件存储在运营商视频类业务中也显得更加乏力。
因此能够管理海量非结构化数据，大规模的横向扩展能力，适应互联网场景使用的对象存储成了不二的选择，但是问题来了，涉及到是核心点播系统底层架构的调整，用户不得不反复斟酌仔细考虑，对象存储如何融入到现有的业务流程中？现有的架构该如何优化？NAS存储与对象存储之间的关系是什么？用户提出了一系列问题。
要回答这些问题，我们必须了解整个业务流程，并对架构进行分解，从而寻找对象存储改造的方式；
媒资注入：内容提供商通过接口将原片内容注入到媒资系统中临时存储区，媒资系统收到后提出转码请求。
转码服务：转码系统接收到转码请求后进行转码，成功后将文件放入到内容发布区。
内容分发：媒资系统接收到转码成功的消息，将原片从临时存储区搬迁到原片存储区。
内容发布：媒资系统将内容的播放地址发布到门户，流服务拿到播放地址后，根据播放地址层层回源后到存储中访问媒体文件。
在现有的架构下，媒资系统，转码系统，流服务使用的是共同一套大容量的NAS存储，内部并不细分，由于原片存储区，转码区，内容发布区对存储的要求并不相同，导致了存储资源的紧张，通过海量对象存储分级存储架构，对于文件的类别、访问频次进行分类存放。
在细分了不同系统对数据的存储要求后，我们使用了HCP对象存储的解决方案来做媒资系统的改造，我们来看一下Hitachi Vantara是怎么做的。
原片存储区，互联网视频业务的竞争是内容为王，为用户提供高质量的影视剧等服务，因此逐渐开始从片方购买了独家版权，并分销给其他平台，因此也需要对购买的原片的保存期限和数字资产的安全有了更高的要求。HCP的“免备份”功能能有效的防止数据丢失，文件自愈功能以及DPL多副本保护，可针对出现包括文件损坏等在内的系统逻辑错误。
转码区，由于转码系统需要对原片持续的读写，高频率的访问，因为需要一个稳定访问通道，基于http的对象存储访问属于一次性的Session，并不合适转码服务，所以继续沿用现有的NAS结构。
内容发布区，我们需要根据视频文件的访问频率做分层处理， NAS的高性能磁盘和文件可共享访问方式用于存放高频率访问的视频，作为视频缓冲层，比如最新最火热的视频等，当NAS的容量达一定规模后，根据流服务根据算法将低频率访问的视频文件迁移至HCP对象存储中，使得NAS的容量和访问效率保持一定水平，能有效的降低NAS的容量和成本。
另一方面由于互联网访问具有很大的不可预知性，很难预测什么视频在哪段时间的访问会突然增加。因此，实时有效的调度系统就显得非常关键。在用户访问门户的视频时，调度系统会根据该视频原本发布所在的位置、用户IP地址等信息安排用户就近访问，以便使用户的浏览速度达到最快，因此在架构上使用HCP多站点访问是必不可少的。
在设计HCP多站点的架构中，我们将转码后的视频文件纠删后的数据块打散在多个站点中（各个区域），一旦内容发布区有回源点播的请求时，HCP系统会根据站点的请求，将视频文件的数据块由多个站点“拉”到最近站点来应对点播请求，这样做的优势是在保证了站点容灾的情况下，既节省了空间，又可以多站点负载分担流量压力。
在用户媒资系统的对象存储改造过程中，Hitachi Vantara 始终与用户业务部门一起，探讨每一个步骤和关键点，HCP对象存储扩展性，弹性部署能力，易管理性，也给客户留下深刻的映象。
数字化转型时代需要更多的思考企业内IT存储架构，Hitachi Vantara帮助用户在兼顾传统IT基础架构平台的同时，根据企业应用的独特需求，逐步实现IT转型和运维模式调整。一句话，海量数据面前，Hitachi Vantara总能有完全方案应对信息爆炸！