200字范文,内容丰富有趣,生活中的好帮手!
200字范文 > 知行教育大数据分析平台之基于Spark架构

知行教育大数据分析平台之基于Spark架构

时间:2020-04-24 08:45:29

相关推荐

知行教育大数据分析平台之基于Spark架构

1 介绍一下你们的项目

教育数仓解决的问题:

首先,受互联网+概念影响,越来越多的教育平台机构涌现,在线教育发展火热。但是由于信息的共享利用不充分,导致企业多年积累了大量数据,而因为信息孤岛的问题,一直没有对这些数据进一步挖掘分析,因此也不能给企业的管理决策层提供有效的数据支撑。

有鉴于此,我们做的这个教育大数据分析平台项目,将大数据技术应用于教育行业,用擅长分析的OLAP系统为企业经营提供数据支撑。

具体的实现思路是,先建立企业的数据仓库,把分散的业务数据预处理,其次根据业务需求从海量的用户行为数据挖掘分析,定制出多维的数据集合,形成数据集市,供各个场景主题使用,最后用BI工具,进行前端展示。

所以,我们的技术解决了企业的三大痛点。一是数据量太大问题,传统数据库无法满足;二是系统多,数据分散问题,无法解决数据孤岛问题;三是,统计工作量太大,分析难度高问题,无法及时为企业提供数据参考。

2 数仓架构是什么 用到了哪些技术?

,底层数据存储在Hive,数据计算使用Spark

3 什么是全量数据?

4 什么是增量数据?

5 增量数据如何同步?

6 缓慢渐变维问题如何解决的?

7 你们数仓分了几层?

<

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。