移动 App 一站式存储应用实践分享



  • 主题:移动 App 一站式存储解决方案实践

    讲师:

    王煜 (青云QingCloud 系统研发工程师 )

    青云QingCloud 系统研发工程师,负责 QingStor 对象存储服务的设计与研发,对 Linux 操作系统、计算机网络、分布式系统、云计算等领域有较深入的研究。原街旁团队创始成员,基础架构负责人。九零前,文青程序员,代码诗人,北京土著。

    本期内容介绍:

    伴随着移动互联网的浪潮,移动应用 App 的开发需求越来越多样化,无论何种功能都离不开文件存储。在以前,应用开发者需要自行开发构建文件服务器,用于保存数据文件,并面向互联网提供访问,例如社交网络中的用户照片,视频网站中的影音内容,电商平台中的商品图片。

    然而这些数据通常由终端用户直接生产和消费,伴随着用户增长,服务器的压力也会日益增大,开发者很难构建一个兼具高可用性、高扩展性和低成本的文件服务器。本次分享中,王煜将会以 QingStor 为例,解析如何为移动开发者提供一站式的文件存储解决方案。

    PS:社区下方提问,即可获得青云QingCloud T恤一件。
    0_1486527528478_1466066553649-衣服.jpg



  • 占楼,

    本楼用于问题收集以及内容整理。

    1、在服务器带宽非常有限的情况下,如何保证大文件的上传速度? CDN 服务能否进行上传加速呢? by @jianjian

    2、云存储服务是如何保证文件可用性的?单单靠跨区域备份可以解决吗?by @Bohan

    3、后端存储采用的是多副本还是纠删码的方式保证的数据可靠性?同时后端存储提供异地容灾功能吗?还就是采用的是全SSD还是HDD和SSD混合的方式呢?by @xzy

    4、会在移动 app 中产生存储需求很大部分都源自 UGC 内容,那么如果在社交类应用中用来存储用户产生的图片/视频要有没有什么方式来保障在国内严峻的审查环境下不因色 情或其他敏感内容查水表呢,会不会像某些友商一样提供鉴 黄服务? by @tuccuay

    5、数据迁移的方式有哪些;上传速度能达到多少,有哪些上传的优化;目前有哪些数据处理的子服务? by @marychen

    6、兼具高可用性、高扩展性和低成本的文件服务器,这个好像是悖论啊。作为金融企业,开源解决方案面临技术风险,市面上有没有用成熟商用软件组合的移动应用文件服务器解决方案?文件服务器同时在给网站、手Q、移动展业提供服务,是建设统一的方案?还是分而建之?数据传输方面,有没有加密和数据压缩的功能?涉及到一些身份证敏感信息。@ChrisWang

    7、对于实际项目中,文件链接的保存,有什么建议吗?如以下两种方式:直接保存云返回的链接地址;去除前面的url链接,只保存文件的储存路径。哪种比较推荐的? @纠结的JIE



  • 您好,我想请问一下,在服务器带宽非常有限的情况下,如何保证大文件的上传速度? CDN 服务能否进行上传加速呢? 谢谢~



  • 云存储服务是如何保证文件可用性的?单单靠跨区域备份可以解决吗?



  • 后端存储采用的是多副本还是纠删码的方式保证的数据可靠性?同时后端存储提供异地容灾功能吗?还就是采用的是全SSD还是HDD和SSD混合的方式呢?



  • 会在移动 app 中产生存储需求很大部分都源自 UGC 内容,那么如果在社交类应用中用来存储用户产生的图片/视频要有没有什么方式来保障在国内严峻的审查环境下不因色 情或其他敏感内容查水表呢,会不会像某些友商一样提供鉴 黄服务?



  • 我想问一下,数据迁移的方式有哪些;上传速度能达到多少,有哪些上传的优化;目前有哪些数据处理的子服务,谢谢。



  • android小白,这项方案,主要解决什么问题(其实我是来领T恤的(0_0))



  • 请问影音内容能最多支持多少人在线同时观看?



  • 兼具高可用性、高扩展性和低成本的文件服务器,这个好像是悖论啊。作为金融企业,开源解决方案面临技术风险,市面上有没有用成熟商用软件组合的移动应用文件服务器解决方案?文件服务器同时在给网站、手Q、移动展业提供服务,是建设统一的方案?还是分而建之?数据传输方面,有没有加密和数据压缩的功能?涉及到一些身份证敏感信息,还是需要谨慎,



  • @dongdongdeng 这个是微信群进行分享的。



  • @NiRao 解决移动应用内容存储的问题。



  • @ChrisWang 你这个问题,我会让讲师回复一下的。



  • 对于实际项目中,文件链接的保存,有什么建议吗?
    如以下两种方式:

    1. 直接保存云返回的链接地址
    2. 去除前面的url链接,只保存文件的储存路径
      哪种比较推荐的?


  • @纠结的JIE 收到。



  • 感兴趣上传优化的问题


  • 青云

    @jianjian 大文件上传通常花费的时间比较久,这期间可能会出现网络中断的情况,为了提高客户端上传大文件的效率,QingStor 提供了一套分段上传的 API 接口。用户可以在本地将大文件切分成小块,并发或顺序上传,如果某一块发生了错误,只需要重新传输这一块。这种上传方法可以充分利用客户本地的带宽。目前 QingStor 的 CDN 服务只提供加速下载的功能,上传加速正在调研中,相信后续会做支持。另外近期 QingStor 针对数据量巨大的客户(TB 级别),提供邮寄硬盘的服务,客户可以将数据拷贝到移动硬盘上邮寄给我们,我们会利用内部的高速带宽进行上传。


  • 青云

    @Bohan 存储在 QingStor 中的数据文件都会有三份文件副本,并且至少有一份不在同一台硬件。除了数据,QingStor 的其它系统组件都有高可用的设计。未来还会有跨机房的异地副本,保证在网络和机房发生故障的情况下快速恢复。


  • 青云

    @xzy 目前采用的是多副本,不过未来也会考虑提供成本更低的纠删码方案供用户选择。异地容灾正在规划中,未来会提供。数据文件的存储使用 HDD,而数据索引使用了 SSD。


  • 青云

    @Tuccuay 我们马上会上线基于 QingStor 的数据处理框架,同步上线的第一个服务将会是鉴黄服务。除此以外还会有图片剪裁以及视频转码等。


登录后回复
 

与 青云QingCloud 社区 的连接断开,我们正在尝试重连,请耐心等待