CAL(Central Application Logging)系统主要负责收集和处理eBay内部各个应用程序池的日志,日处理超过3PB的数据,供运维团队和开发团队日常监控使用。
CAL系统通过HTTP接口接受应用产生的日志,将日志持久化到经NFS挂载的网络存储上, 用户(运维团队和开发团队)可以通过CAL系统方便地查找、查看日志。同时,日志也会被导入Hadoop进行进一步的分析形成报告。该系统自21世纪初至今,已经有10多年的历史了。
CAL从第一天起就运行在Netapp的商业存储上。随着业务的发展,业务产生的数据量急剧增加,单个存储集群已经无法承载 CAL的流量和性能需求,存储团队和业务团队通过增加集群来解决性能问题。一直到2018年,CAL在每个数据中心已经需要25个集群才能支撑起其性能需求。
虽然统计上,CAL只使用了eBay 5%的NFS Filer总容量,但实际上却消耗了50%的总性能。性能和容量的巨大偏离,使得实际成本已经比该存储方案的裸$/GB成本高了一个数量级。
高成本,叠加上由eBay业务驱动的每年30%自然增长,这套架构亟需重构优化。