如何有效地学习和掌握数据仓库?

2分钟前阅读2回复0
王富贵
王富贵
  • 管理员
  • 注册排名5
  • 经验值497830
  • 级别管理员
  • 主题99566
  • 回复0
楼主

感谢关注天善智能,走好数据之路↑↑↑

欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定!

如何学好数据仓库

每周2-3场免费数据领域公开课,每月线下活动,欢迎关注!

作为刚毕业的大学生,学习好数据分析更是锦上添花,绝对是加分项,而数据分析和数据仓库是两个不同的概念,欢迎到天善智能学院学习,这里都是数据爱好者。

作为一名商业智能 BI 的开发者或架构师,不仅要熟练的掌握各种开发工具的使用、在项目中熟悉业务过程了解用户需求,而且要熟练的掌握数据仓库建模方法论,不懂得如何建模,就无法构建一个稳健的、可伸缩性强的数据仓库,这将给后续的扩展开发和维护带来巨大的灾难。

对于个人职业提升来说,对数据仓库建模掌握的高低程度也决定着 BI 开发工程师发展空间的大小,是一成不变的抱着工具辛辛苦苦写 SQL 每日每夜跑 ETL 还得守着结果对数据? 还是站在业务的角度与业务人员沟通最终设计出优秀的数据仓库框架?

商业智能 BI 项目的开发是一个由业务驱动的迭代开发的过程,业务环境是在快速变化的,而业务数据的类型也是如此,一个成功的数据仓库解决方案的基础就是灵活的设计,这种设计可以适应不断变化的业务数据,数据仓库的架构和仓库数据的建模是仓库设计中的核心过程。

如果要学习数据仓库的话,天善学院全网唯一的数据仓库教程推荐给您:

数据仓库建模指南系列教程 【结合大量项目实践的长篇教程、国内首发】

数据仓库建模是一个庞大的主题,数据仓库建模指南的目标是讲整个数据仓库建模的所有重要组成部分均能详细缜密的呈现给各种学友,该课程体系一共分为五大部分:

1、 高质量数据库建模基础

2、 数据仓库架构

3、 Bill Inmon的企业级数据仓库建模方法论

4、Ralph Kimball的维度建模方法论

5、数据仓库生命周期

高质量数据库建模》是建模系列的基础课程,本课程的目的是,使学友能够通过课程理解数据库建模的方式,以及掌握高质量的完成数据模型的方法,课程的内容包括:

1、高质量数据库建模的意义

1)数据,信息,元数据的概念(我相信很多人不知道数据和信息之间的区别)

2)低质量数据建模有哪些现象(反躬自省,看看自己犯过哪些建模的错误)

3)高质量数据建模的意义

2、高质量数据库建模流程概述

1)建模的流程有哪些阶段

2)各个阶段的作用是什么?

3)每个阶段的Tips

4)交付品的特点

3、关系型数据库的基本概念

1) 实体/属性

2) 关系

3) 域

4) 键

5)超类/子类

6)约束

4、范式

1) 1NF

如何学好数据仓库

2) 2NF

3) 3NF

4) BCNF/4NF/5NF

5、 命名规则

1) 商业用语的管理

2) 术语表的定义

3) 表的分类以及命名规则

4) 列的分类以及命名规则

5) 如何在模型工具中实现

6、元数据的定义(Bingo Card)

1) 系统级

2) 表级

3) 列级

7、概念模型定义

1)需求分析

2) 模型计划

3)主题域的划分

4) Tips

5)实例

8、逻辑模型定义

1) 逻辑模型分析

2) 逻辑模型构建

3) 规范化

4) 反规范化

5) 抽象化

6) Tips

7) 实例

9、物理模型定义

10 . 高质量模型定义的Check List总结

11、Power Designer使用技巧总结

12、模型管理技巧总结

建议还是从数据分析开始学习比较好入手。

如何学好数据仓库

数学逻辑不是很好和数据仓库是没有关系的,可能在数据分析上面对数学的要求更高,除了学习相关的书籍之外,也可以学习一些比较好的教程,上手比较快,比如磨剑之作,七周成“师”!秦路主讲,七周成为数据分析师课程。

天善智能

沉下心,相信你一定有所收获。

从您的问题来看,您对数据分析和数据仓库都挺感兴趣的。

数据分析对应的工作岗位是数据分析师,有偏业务的,也有偏技术的;数据仓库对应的工作岗位有数据仓库开发工程师和数据仓库建模工程师。

所以您得明确方向,到底是数据分析方向还是数据仓库方向。


如果是数据分析方向

偏产品和运营的数据分析:

更加注重业务,需要业务知识的积累,需要从实际工作经验中沉淀;需要拥有数据意识,即能从表面数据看到背后商业逻辑或者发现商业问题的能力,这个可以从日常生活中或者工作中培养,建议随时保持数据敏感度。

偏数据挖掘的数据分析:

需要扎实的算法能力和代码能力,门槛相对高点,分类算法,聚类算法,最大期望算法,迭代算法等必须掌握,一般建议读研专攻,当然也可自律自学成才。

如果是数据仓库方向

数据仓库开发:

其实本人就是一名数据仓库开发工程师,大学时专业是数学系,一毕业便去了一家计算机公司做数据仓库开发,当时只懂得sqlserver和会几句简单的sql,比如left join,inner join等都是在公司的培训分享上知道的。

本人的经历,只是想说,数据仓库开发入门并不难,首先您得熟练掌握sql开发,同时需要知道sql优化技巧;其次您得了解数据库(传统数据库和nosql数据库)和一些etl工具(kettle、datastage、informatic,以及时下非常火的hadoop生态);

如果是大数据库开发,还得具备编程能力,掌握时下流行的大数据开源技术,spark,flink等。

数据仓库建模:

数据仓库建模工程师主要职责是负责数据仓库模型的设计,所以必须得掌握数据仓库建模理论(immon的实体关系建模,kimball的维度建模,datavault建模等等),必须得具备业务抽象成数据的能力。

同时对于传统型数据仓库和nosql型数据仓库,何种建模方法更适合,以及建模方法中哪些细节可以优化,从而适应不同类型的数据库或者场景,必须得有自己的深刻见解。

最后

最后总结一下,无论是从事什么行业,或者什么岗位,一开始相关知识你没学过不重要,但后续的持续学习非常重要,学无止境,这样你才不会被淘汰,才会越来越优秀。

商业智能BI技术作为目前大数据技术的重要应用方向之一,被广泛地应用到企业数据分析、数据可视化、数据挖掘、“智慧+”等各类场景,而数据仓库作为其重要的底层数据支撑,与数据中台、数据湖等更广泛的平台,共同为BI技术提供了坚实的数据底座。

BI报表和数据仓库的关系

数据仓库,英文名称为Data Warehouse,可简写为DW或DWH,数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合,它将各种异构数据进行集中存储,为分析性报告和决策支持的目的而创建,进而提供指导企业改进业务流程、监控运营过程、追溯质量以及控制成本。

BI商业智能,是一套完整的系统性解决方案,从数据仓库,到ETL(数据清洗),OLAP分析,以及深度的数据挖掘,前端报表展现,在具体企业数据分析项目中,会将它们中的若干流程有机结合起来,实现一个完整的企业数据分析技术方案。

商业智能BI不仅仅包含前端可视化分析、报表展现的能力,更包含了底层数据仓库的建设过程。

如果是把BI商业智能堪称一个方案,那数据仓库就是其中的一环,如果把BI商业智能理解为一个数据应用,那数据仓库就是底层的数据层,为数据分析的提供数据支撑。

OLAP和OLTP、宽表理论

OLAP(On-Line Analytical Processing)联机分析处理,也称为面向交易的处理过程,其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作快速响应的方式之一,主要应用在数据仓库,使用对象是决策者,OLAP系统强调的是数据分析,响应速度要求没那么高。

OLTP(On-Line Transaction Processing)联机事务处理,它使分析人员能够迅速、一致、交互地从各个方面观察信息,以达到深入理解数据的目的,它具有FASMI(Fast Analysis of Shared Multidimensional Information),即共享多维信息的快速分析的特征,主要应用是传统关系型数据库,OLTP系统强调的是内存效率,实时性较高。

宽表理论

宽表:从字面意义上讲就是字段比较多的数据库表,通常是指业务主题相关的指标、维度、属性关联在一起的一张数据库表,由于把不同的内容都放在同一张表存储,宽表不符合三范式的模型设计规范,随之带来的主要坏处就是数据的大量冗余,与之

0
回帖 返回软件

如何有效地学习和掌握数据仓库? 期待您的回复!

取消
载入表情清单……
载入颜色清单……
插入网络图片

取消确定

图片上传中
编辑器信息
提示信息