高哲技术博客 高哲技术博客
首页
编程
爬虫
运维
硬件
收藏
归档
关于

嘉美伯爵

前途光明,无需畏惧
首页
编程
爬虫
运维
硬件
收藏
归档
关于
  • 架构

  • 思想

  • 语言

  • 设计模式

  • 微服务

  • 数据分析

    • 基础

      • 常见的发布策略
      • 常见的埋点方案
      • 数据分析常用术语汇总
        • 说明
        • 参考
    • flink

    • spark

  • 人工智能

  • 区块链

  • 数据结构

  • 技术调研

  • 性能优化

  • 生产问题

  • 编程
  • 数据分析
  • 基础
fovegage
2023-09-20
目录

数据分析常用术语汇总

# 说明

# 原始数据
ODS

# 保证数据的质量和完整,方便后续层中特征分析
DWD:data warehouse details 细节数据层,是业务层与数据仓库的隔离层。
主要对ODS数据层做一些数据清洗和规范化的操作。(依企业业务需求)数据清洗:去除空值、脏数据、超过极限范围的

# 
DWM:也有的称为DWB(data warehouse base) 数据基础层,对数据进行轻度聚合,存储的是客观数据,
一般用作中间层,可以认为是大量指标的数据层。这里最容易搞混,实际生产中甚至跳过这个,只有dwd和dws层,其实严格要求上来讲,dwd层数据来源于生产系统,只对数据负责,别的不考虑。
而到了dwm层,已经开始向我们的业务层靠拢,要根据数据来进行分析和轻度聚合,进行细粒度统计和沉淀。

# 
DWS:data warehouse service 数据服务层,基于DWB上的基础数据,整合汇总成分析某一个主题域的服务数据层,一般是宽表。
按照业务进行划分:流量、用户、订单....用于提供后续的业务查询,OLAP分析,数据分发等。

# 报表数据
ADS:applicationData Service应用数据服务,该层主要是提供数据产品和数据分析使用的数据,
一般会存储在ES、mysql等系统中供线上系统使用。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

# 参考

  • 数据仓库 (opens new window)
上次更新: 2023-09-26 17:02:27
常见的埋点方案
flink单机部署及安装说明

← 常见的埋点方案 flink单机部署及安装说明→

最近更新
01
token embed和postion embed
06-10
02
k8s pod日志排查问题
10-24
03
golang内部私服建设方案
10-21
更多文章>
Theme by Vdoing | Copyright © 2018-2025 嘉美伯爵 | 鲁ICP备20001560号-4
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式