DataX使用指南——ODPS to ODPS【转载】

admin 数据仓库DW/BI 2017-10-11 218 次浏览 , ,
原文链接:http://www.imooc.com/article/15640 ETL&&常用工具ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。我的理解就是从业务...

DataX:实现不同数据库数据同步【转载】

admin 数据仓库DW/BI 2017-10-11 157 次浏览 , ,
原文链接:http://www.cstor.cn/textdetail_7548.html   目前成熟的数据导入导出工具比较多,但是一般都只能用于数据导入或者导出,并且只能支持一个或者几个特定类型的数据库。这样带来的一个问题是,如果拥有很多不同类型的数据库...

数据仓库之星型结构和雪花型结构【转载】

admin 数据仓库DW/BI 2017-08-15 256 次浏览 ,
原文链接:在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织。当所有维表都直接连接到“ 事...

数据仓库建模详解和ETL实践技巧

admin 数据仓库DW/BI 2017-08-12 405 次浏览 ,
数据分析系统的总体架构分为四个部分 —— 源系统、数据仓库、多维数据库、客户端。     其中,数据仓库( DW )起到了数据大集中的作用。通过数据抽取,把数据从源系统源源不断地抽取出来,可能每天一次,或者每 3 个小...

数据挖掘中的 10 大算法

admin 数据仓库DW/BI 2017-08-05 108 次浏览
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法:C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.不仅仅是选中的十...

数据集市层——论为什么随着技术分析的深入,决策数据报表问题越来越多

admin 数据仓库DW/BI 2017-08-03 155 次浏览 , ,
一、前言当前大数据概念特别流行,其中根据数据做决策,根据数据做分析已经成为每个公司必备的能力。二、数据抽取随之组建数据技术团队也顺理成章的事情,数据团队从业务数据库抽取数据到自己的分析数据库,这个过程称之为:数据抽取...

数据仓库数据分层

admin 数据仓库DW/BI 2017-08-03 154 次浏览 , ,
为什么要对数据仓库分层?1)用空间换时间,通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据;2)如果不分层的话,如果源业务系统的业务规则发生变化将会影响整个数据清洗过程,工作量巨大3)通过...
回顶部