Quantcast
Channel: InfoQ - 促进软件开发领域知识与创新的传播
Viewing all articles
Browse latest Browse all 1638

eBay PB级日志系统的存储方案实践

$
0
0

CAL(Central Application Logging)系统主要负责收集和处理eBay内部各个应用程序池的日志,日处理超过3PB的数据,供运维团队和开发团队日常监控使用。

CAL系统通过HTTP接口接受应用产生的日志,将日志持久化到经NFS挂载的网络存储上, 用户(运维团队和开发团队)可以通过CAL系统方便地查找、查看日志。同时,日志也会被导入Hadoop进行进一步的分析形成报告。该系统自21世纪初至今,已经有10多年的历史了。

CAL从第一天起就运行在Netapp的商业存储上。随着业务的发展,业务产生的数据量急剧增加,单个存储集群已经无法承载 CAL的流量和性能需求,存储团队和业务团队通过增加集群来解决性能问题。一直到2018年,CAL在每个数据中心已经需要25个集群才能支撑起其性能需求。

虽然统计上,CAL只使用了eBay 5%的NFS Filer总容量,但实际上却消耗了50%的总性能。性能和容量的巨大偏离,使得实际成本已经比该存储方案的裸$/GB成本高了一个数量级。

高成本,叠加上由eBay业务驱动的每年30%自然增长,这套架构亟需重构优化。


Viewing all articles
Browse latest Browse all 1638

Trending Articles