大家好!我很荣幸被邀请分享关于ETL是什么的相关问题,同时,我还会讲解一下和etl是什么的相关内容。如果你对这些问题还有疑惑,希望我的文章能解答你的问题。让我们一同探寻知识的海洋,开始吧!
ETL是指获取原始大数据流,然后对其进行解析,并产生可用输出数据集的过程。
从数据源中提取(E)数据,然后经过各种聚合、函数、组合等转换(T),使其变为可用数据。最终,数据会被加载(L)到对它进行具体分析的环境中,这就是ETL流程。
全写是Extract-Transform-Load。
1、E:Extract数据抽取
2、T:Transform转换
3、L:Load装载
扩展资料:作用
ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。
以电信为例,A系统按照统计代码管理数据,B系统按照账目数字管理,C系统按照语音ID管理,当ETL需要对这三个系统进行集成以获得对客户的全面视角时,这一过程需要复杂的匹配规则、名称/地址正常化与标准化,而ETL在处理过程中会定义一个关键数据标准,并在此基础上,制定相应的数据接口标准。
ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。
数据仓库是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据, ETL是BI(商业智能)项目重要的一个环节。
扩展资料:
ETL与ELT:
ETL所描述的过程,一般常见的作法包含ETL或是ELT(Extract-Load-Transform),并且混合使用。通常愈大量的数据、复杂的转换逻辑、目的端为较强运算能力的数据库,愈偏向使用ELT,以便运用目的端数据库的平行处理能力。
ETL(orELT)的流程可以用任何的编程语言去开发完成,由于ETL是极为复杂的过程,而手写程序不易管理,有愈来愈多的企业采用工具协助ETL的开发,并运用其内置的metadata功能来存储来源与目的的对应(mapping)以及转换规则。
工具可以提供较强大的连接功能(connectivity)来连接来源端及目的端,开发人员不用去熟悉各种相异的平台及数据的结构,亦能进行开发。当然,为了这些好处,付出的代价便是金钱。
ETL,Extraction-Transformation-Loading的缩写,中文名称为数据抽取、转换和加载。
一般随着业务的发展扩张,产线也越来越多,产生的数据也越来越多,这些数据的收集方式、原始数据格式、数据量、存储要求、使用场景等方面有很大的差异。
数据抽取是指把ODS源数据抽取到DW中,数据拉取,清洗完之后,就需要展示了。一般是把清洗好的数据加载到mysql中,然后在各系统中使用,或者使用Tableau直接给相关人员展示。元数据管理系统对于数据仓库来说是必须的,并且相关人员必须定时维护,如果元数据和数据仓库中的变动不同步,那么元数据系统就形同虚设。
扩展资料
ETL所描述的过程,一般常见的作法包含ETL或是ELT,并且混合使用。通常愈大量的数据、复杂的转换逻辑、目的端为较强运算能力的数据库,愈偏向使用ELT,以便运用目的端数据库的平行处理能力。目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据,是商业智能项目重要的一个环节。
参考资料:百度百科-ETL