bfs
bfs
官方网站: 查看 GitHub: 查看
同步日期: 2017-02-17 发布机构: 百度
Maven地址:
 

百度文件系统
百度的核心业务和数据库系统都依赖分布式文件系统作为底层存储,文件系统的可用性和性能对上层搜索业务的稳定性与效果有着至关重要的影响。现有的分布式文件系统(如HDFS等)是为离线批处理设计的,无法在保证高吞吐的情况下做到低延迟和持续可用,所以我们从搜索的业务特点出发,设计了百度文件系统。是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
核心特点
  • 持续可用:数据多机房、多地域冗余,元数据通过Raft维护一致性,单个机房宕机,不影响整体可用性。
  • 高吞吐:通过高性能的单机引擎,最大化存储介质IO吞吐;
  • 低延时:全局负载均衡、慢节点自动规避
  • 水平扩展:设计支持两地三机房,1万+台机器管理。
架构


版本 下载 源码 官方文档 API
v0.5.1 Release 下载 下载 查看
v0.5.0 Release 下载 下载 查看

TOP 用户 评语 时间
赶快抢楼吧...