集群总览
智能治理建议
上午好,耀灵
集群新增小文件 28.6 万 个,发现 3 个高风险目录,建议优先处理。
小文件总数i
8,426.7万
+6.8% 较上周
小文件占用空间i
18.42TB
+3.2% 较上周
NameNode 内存占用i
71.6%
+2.4% 较上周
平均查询耗时i
14.8s
-12.6% 较上周
小文件趋势
近 14 天集群小文件数量变化
9,000万8,000万7,000万6,000万5,000万
05-1805-2105-2405-2705-30今天
8,426.7 万+6.8% 较上周
文件大小分布
按文件大小区间统计
8,426.7万文件
< 1 MB46.8%
1 - 10 MB31.2%
10 - 64 MB16.4%
≥ 64 MB5.6%
78% 的文件小于 10 MB,远高于健康阈值 30%
高风险目录排行
综合文件数量、平均大小和增长速度评估
| 目录 / 表名 | 文件数 | 平均大小 | 占用空间 | 风险评分 | 近 7 天 | 负责人 | |
|---|---|---|---|---|---|---|---|
dwd_order_detail/warehouse/tablespace/managed/hive/dwd.db/dwd_order_detail | 2,847,621 | 1.8 MB | 4.92 TB | 94 | +12.8% | 数据中台 | |
dt=2025-05/data/ods/logs/app_event/dt=2025-05 | 1,926,408 | 780 KB | 1.43 TB | 91 | +8.4% | 增长平台 | |
ads_user_profile/warehouse/tablespace/external/hive/ads.db/ads_user_profile | 986,320 | 3.2 MB | 3.01 TB | 86 | +5.1% | 用户画像 | |
realtime_trade/flink/checkpoints/realtime_trade | 724,886 | 512 KB | 354 GB | 82 | -2.3% | 实时计算 | |
history/tmp/spark/staging/history | 612,450 | 264 KB | 154 GB | 79 | +21.6% | 平台运维 |
本周治理收益
自动治理任务累计效果
减少文件1,284.6 万
释放空间6.82 TB
释放内存18.4 GB
查询提速31.7%
上次全量扫描
覆盖 28,416 个目录 · 耗时 42 分钟
数据更新于今天 10:32