超大量数据如何处理? 京东技术开放日第二期实战解析大规模分布式存储
对于一家大型互联企业,稳定承受海量的用户请求和爆发式增长的数据是必须面对的技术问题。特别在电子商务领域,每逢大型促销,数据的增长都是成倍的,作为国内最大的自营式电商,京东在今年的618店庆活动中成功支持了同比去年增长超过100%的下单量,这与其坚实的核心基础系统和过硬的技术力量密不可分。近日,在京东技术开放日第二期活动中,来自京东技术研发部的顶级技术人员与业内众多同行分享了诸多经验。
此次活动的分享主题是“大规模分布式存储实战解析”。曾带领团队自主研发了京东文件系统、分布式缓存与高速KV服务、新消息队列、新服务框架、新图片系统的京东架构委员会主任、云平台首席架构师、系统技术部负责人刘海锋以“大规模分布式存储的持续研发”为议题进行了讲解。如今大型互联公司中海量请求和爆发式增长的数据和用户,令NoSQL数据库越来越受到开发者的关注。刘海锋以京东自主研发的高速KV(key-value)存储服务和分布式文件系统作为落地实践,分享了高性能海量存储的架构改进与性能优化、热点数据常驻内存、弹性容量扩展、高可用自动故障切换、细粒度监控、建立PB级别高可靠强一致存储平台等经验。
对企业而言,PB级的数据管理是衡量其数据规模和管理能力的一个重要标尺,刘海锋重点介绍了京东自主研发的文件系统JFS(Jingdong Filesystem),它不仅实现了海量小文件、对象存储、块存储、新图片系统、元数据表结构存储、Hadoop集成等功能,同时还在分布式存储方面满足了精确故障检测、自动故障切换、两级存储层次、在线纵向扩展以及在线横向扩容等需求,具有很强的指导性。
本次活动的第二个议题是分布式MySQL集群技术开发与实践,由京东资深技术讲师秦波带来,他针对当前热门的分布式MySql系统的设计和实现、应用以及未来的发展方向,深度总结了京东自身在分布式MySQL集群设计和实现阶段,解决整体架构及部署TOPO、分库分表,自动扩展等实战项目积累的经验。
作为技术圈内的一项交流会议,京东技术开放日由京东技术研发部发起,口号是“交流、分享、融合、创新”,旨在通过众多业内技术人士的现场交流,将有价值的技术资源整合推出,让更多的技术人开始分享技术,获得价值,让技术的汇聚成为创新的源泉。截至目前,京东技术开放日活动已成功进行了两期,未来仍将挑选技术领域的热门主题进行分享,与业内同行共同成长,以不断提升众多用户的使用体验。
关于京东():
京东()是中国领先的自营式电商企业。公司致力于为顾客提供最好的络消费体验。通过其内容丰富且使用便捷的站以及移动客户端,京东以具竞争力的价格,向消费者提供大量精选的正品,并通过可靠快速的配送服务将产品送到消费者手中。
截至2014年3月,京东在其平台上提供4020余万库存单元(SKU)的13大类产品。京东相信其拥有全国电商行业中最大的仓储设施:京东在全国范围内拥有7大物流中心,在36座城市建立了86个大型仓库,总面积达到150万平方米,并拥有1620个配送站和214个自提点,覆盖全国495个城市,配送人员均为京东员工。京东目前在43个城市提供保证当天送达的“211限时达”服务,并在另外256座城市提供隔天送达的配送服务。