做企业培训,当然要找对好讲师!合作联系

刘晖:大数据与精准营销

刘晖老师刘晖 注册讲师 21查看

课程概要

培训时长 : 2天

课程价格 : 扫码添加微信咨询

课程分类 : 营销策划

课程编号 : 17763

面议联系老师

适用对象

-

课程介绍

【课程背景】

    营销者正面临着一个极具挑战的经济时局,金融行业面临大数据的巨大冲击,然而他们也有机会通过撬动海量数据的杠杆来获取巨额收益。谁先掌控大数据,谁就能获取巨大的经济价值。

在蓬勃发展的中国市场环境中,大数据所带来的机遇前所未有,这将是中国市场的营销者们预期取得大回报的*时机。营销者必须知道如何透过数据库的挖掘与分析,让手中的数据与信息发挥*的价值,通过有效整合、分析线上和线下数据,提高与客户、潜在客户互动的精准度

本讲座通过金融行业和互联网、电信行业的客户分析实际案例,展现数据分析技术在客户营销、企业管理等方面的应用价值,阐述大数据不可阻挡的潮流趋势。

【课程时间】

2天(6小时/天)

【课程收益】

1、互联网时代的“大数据、大机遇”

2、大数据下客户的“透视”

3、基础数据的收集和分析

4、客户的分析/认知

5、金融产品的分析/认知

6、如何为合适的用户提供合适的产品?

7、企业的“智慧运营”

8、如何编写漂亮的分析报告(既有漂亮里子,也要有漂亮面子)

9、数据的质量问题

【课程特点】

  1. 深入浅出介绍大数据分析及应用的系统知识;
  2. 紧紧抓住大数据技术的发展动态及行业发展趋势,行业联系紧密;
  3. 充分利用已有的研究成果,技术前瞻性较高;
  4. 课程资料丰富,学习者可以重现课程环境
  5. 案例充实,充分了解应用前景;
    清晰的知识结构,根据应用经验采用最优化授课模式
  6. 课上采用案例式教学,通俗易懂,课下一对一辅导强化训练,学与练交叉进行强化记忆,你所要做的就是认真听,勤于问,乐于练。
  7. 清晰的知识结构,根据应用经验采用最优化授课模式。
  8. 内容充沛、详略得当,前后呼应。
  9. 讲师资历丰富,具有丰富的实践经验。
  10. 知识讲授+贴身案例+场景故事+互动讨论+现场演练+落地跟踪

【课程大纲】(2天*6小时)

一、互联网时代的“大数据、大机遇”:

1.概述

1)大数据概念和特点

2)大数据需要哪些技术支撑

3)大数据能够带来哪些新应用?

4)互联网时代产生的金融大数据内容

5)大数据如何改写金融行业?

2.大数据时代带来对传统营销的挑战

1)大数据如何成为资产?

2)大数据如何体现*营销

3)大数据的价值

4)互联网大数据对于金融企业的价值

3.大数据时代的新营销模式

1)互联网的营销模式——微博营销、微信营销、网页营销等

2)CRM——“旧貌焕发新颜”

3)*营销——装上了GPS,实现“*打击”

4)金融行业的客户营销——喜好、产品、内容

【示例】淘宝支付宝大数据分析案例分享

4.如何在海量数据中整合线上、线下数据,形成你对消费者的独特洞察力

1)知道客户的各个属性——互联网时代不再“是否是狗”

2)客户的群体特征——“人以群分”

3)如何识别客户欺诈的潜在风险?

5.如何建立全渠道数据平台,拓展营销渠道,提高营销效率

1)客户接触渠道分类

2)电话、QQ、微博——全方位覆盖

3)如果进行广告的*投放?

4)金融产品营销渠道的拓展

6.大数据的实现架构和体系

1)HADOOP技术了

2)MAP/REDUCE算法

3)非结构化数据分析的特点

4)数据仓库技术

5)数据的ETL过程描述

6)数据挖掘概述

【示例】(精准广告)大数据应用案例

二、大数据下客户的“透视”:

1、客户是“上帝”,如何找到“上帝”?

1)上帝是什么样子?

上帝是什么视图?

2)客户是什么样子?

金融客户是什么视图?有什么样的客户标签?

3)提供哪些产品?

金融产品是什么视图?有什么产品标签?

4)如何建立客户和产品间的关系?

为合适的客户,找到合适的产品

2、我们对自己的客户(“上帝”)了解多少?

1)客户会有什么特点?

客户的基本特征(如:不同产品的年龄分布)

客户的群体特征(如:不同年龄群体关注点有哪些?)

【示例】客户细分模型案例

现代营销模式的基础,以现有产品为基础,寻找群体客户适合的产品和服务。

客户的交往圈子(如:股民圈子关注哪些金融产品?)

【示例】金融行业/电信行业客户交往圈分析案例

客户的内容消费特征(如:客户喜好哪些内容?喜欢那些金融产品?)

基于大数据,换个角度规划产品和服务。

2)大数据时代营销的方法

营销方法论和知识库(分析问题的知识库和方法树)

互联网时代的营销:“大数据、微营销”(细节营销)

营销的渠道规划:实时营销和事件营销

【示例】美剧《纸牌屋》的大数据营销;

3)企业管理方面的情况

及时发现企业真实的情况(哪些运营的关键指标KPI?)

像人体一样,如何及时发现病症?(关键指标KPI的波动范围?)

【示例】:电信企业的数码仪表盘,展示企业的KPI;如何通过手机彩信及时展现KPI给领导。

【示例】百度大数据产品(司南、精算、预测等)应用介绍

3、如何“帮客户买产品,而不是推销其不需要的产品”

1)如何进行客户的“X光透视”?

(客户的统一视图包含哪些信息?哪些是关键属性?)

如何发现客户的真实需求?(服务与骚扰的区别)

【示例】:金融行业客户的内容标签展示

2)内部产品的科学选配

(如何提供专家般量化的分析,为用户提供最优的内部产品?

如:金融行业计算出最适合用户模式的理财产品进行选择)

【示例】:为客户定制最合适的资费:经过数据精算后,告诉客户,A产品比B产品更适合张三。

3)竞争对手产品的对比

与竞争对手间的产品差异化区隔

自己产品的优势和弱点(如何提供量化的分析结果?)

【示例】:竞争对手的“客户回归”分析案例

4)销售过程的处理

销售时机的把握销售语术的把握

4、大数据营销的作用和价值

1)数据和知识是人的本质特征

2)大脑是人与动物的差别

3)“事半功倍”是捷径

4)从“拼刺刀”到“信息战”;

【示例】:某人关系图

5、金融行业如何识别欺诈客户

1)客户的行为和内容数据

2)欺诈客户的行为特点

3)欺诈客户数据挖掘模型

4)发洗钱识别模型

5)实时识别、实时预防

【示例】金融行业欺诈客户识别案例(基于客户行为数据分析)

6、客户的征信模型

1)客户征信的内容

2)客户征信应用领域

3)央行与阿里的客户征信差异

4)客户征信计算模型

【示例】阿里的蚂蚁信用分案例

三、基础数据的收集和分析

1、数据的种类

1)客户数据内容(金融客户的基本资料)

2)产品数据内容(产品的编码)

3)营销数据内容(交易记录的保存)

4)服务数据内容(客户服务数据的保存)

5)金融数据的特点:(交易型数据少、价值密度高等)

2、数据的存放方法

1)数据的清洗、转换和加载

2)存放在数据库/数据仓库

3)数据的基本分析工具EXCEL等

4)数据仓库的基本原理

5)HADOOP数据中心的基本原理

3、数据的基本整理

1)数据的归类存放(建模型)

2)数据的基本加工

4、数据挖掘技术

1)数据的基本汇总

2)数据中的“金子”:从石头中淘金子

3)数据挖掘:“啤酒和尿布”的故事

4)数据挖掘过程

5)数据挖掘算法介绍

   包括:关联分析、聚类分析、决策树分析、孤立点分析等算法

   【示例】:客户挽留案例剖析(数据挖掘中分类算法)

6)高级的数据挖掘工具SAS和SPSS等

【示例】:通过SAS工具识别客户欺诈案例

5、数据质量的基本保障

1)指标的口径描述和统一

2)后期补数据成本是前提收集数据成本的15倍

3)“差之毫厘谬以千里”

6、数据的安全管控

1)4A权限管控

2)数据的加密等多种技术

3)系统的“城防图”:

【示例】:某企业的数据仓库安全案例

 

四、客户的分析/认知

1、客户的定义和范畴

用户和客户的区别客户是否要进行细分,如校园客户、家庭客户、集团客户、小微企业客户等

2、关于客户的基本“信息”(管中窥豹)

身份证信息行为爱好信息衍生信息

客户资料信息透露的内容分析

【示例】客户基本信息分析示例

3、客户的基本属性标签(如对儿童家庭投放儿童保险产品等)

增值服务等方面,让服务更加贴近客户

如何爬取客户的内容信息

【示例】互联网客户“内容爬取”示例

4、客户的喜好(“不怕没缺点,就怕没爱好”)

经常出没的地方(*场、酒吧街、电影院等)

通过前台的观察和后台的询问等获取的知识

【示例】通过网页浏览内容分析,获取用户的内容信息

5、客户的细化分群

客户分群的依据(物以类聚、人以群分)

数据挖掘技术应用客户分群的方法:

【示例】:淘宝客户分群案例

6、客户的知识库

实时调出符合条件的客户群体来

【示例】:金融/电信行业客户知识库举例

7、客户的“交叉营销”

如何识别家庭客户/集团客户?

如何针对家庭客户/集团客户进行营销?

【示例】:保险行业家庭客户交叉营销案例

8、客户的“再挖掘”(UPSELL/CROSSSELL)

客户群中的“种子/关键”客户客户的交往圈分析

基于客户交往圈,进行客户“再挖掘”

【示例】:客户交往圈中“关键客户”识别案例

9、客户的生命周期管理

客户的生命周期数据分析渗透到客户的生命周期全过程

【示例】客户生命周期中数据挖掘应用展示

10、客户的实时欺诈监控

客户的信誉打分;

实时分析设计与实现;

【示例】:基于客户行为的实时监控分析

五、金融产品的分析/认知

1、产品的定义和范畴

金融产品、保险产品、理财产品、股票产品等

2、关于产品的基本“信息”

产品的使用客户特征分析

产品的关联特征分析

【示例】产品关联分析案例

3、产品的基本属性标签

产品基本内容

产品增值内容

【示例】增值产品的潜在客户分析案例

4、竞争对手的竞品分析

竞争对手的同类产品分析

竞品产品量化对比分析

【示例】为客户定制“产品”

5、产品的潜在客户分析

产品潜在用户的特征分析

【示例】:“猜你喜欢”案例介绍

6、产品的“交叉营销”

如何识别客户喜好的产品?

如何进行客户交叉营销?

【示例】:金融行业产品交叉营销案例(金融的啤酒和尿布)

7、产品的升级、改造

产品改进数据获取

产品改进创新设计

【示例】小米手机的大数据营销案例

六、如何为合适的用户提供合适的产品?

1、营销的目的:为合适的用户提供合适的产品

除了“激情营销”,更需要“理性营销”;

真正满足客户需求才能构建长久的营销关系;

客户的真实需求如何?

2、如何发现合适的用户

谁是合适的客户?标准有哪些?客户的担心、顾虑是什么?

3、如何提供合适的产品

从现有的产品客户中寻找目标客户特征

【示例】:电信行业客户“手机阅读报”针对性营销案例示例

4、营销案的设计和评估

如何吸引用户?如何让用户选择产品?

营销与广告的差异;

营销案的设计(吸引眼球);

营销案的评估

5、营销的过程和细节

类似CRM系统的营销流程管理

营销活动的实时性提升

【示例】:某餐饮行业CRM营销案例

6、营销的渠道选择

客户是否喜欢外呼电话,还是短信?还是网上营业厅?

【示例】:用户偏好渠道分析的案例

7、如何避免对客户的过渡打扰

限制每月的外呼次数;

通过网站等渠道进行营销和广告;

8、客户的挽留和延伸销售

识别真正有价值的客户;

【示例】:客户价值评估介绍

尽量让客户进入更高级别,避免降级:(行业的价格战,将钻石卡用户打成了金卡;金卡用户打成了银卡

七、企业的“智慧运营”

1、企业量化管理概述:

企业的量化指标;

企业的量化管理内容;

【示例】企业基于GIS信息的网格指标监控

2、企业成本分析:

   成本数据获取;

成本分析内容;

   【示例】某企业人工成本分析案例

3、企业价值链管控分析

   企业上下游企业分析;

   【示例】某企业渠道欺诈分析;

4、企业的异常运营控制

   异常KPI指标的及时告警;

   异常的基本影响因素分析

   【示例】某企业KPI异常监控和分析案例

5、金融企业的风险控制

   互联网舆情监控;

   客户(企业)的360度大数据收集;

   客户(企业)的360度风险评估;

   【示例】企业风险评估案例

6、网贷平台的P2P风险评估

   P2P的冲击和挑战;

   P2P的风险评估数据及方法;

   【示例】P2P风险评估案例

八、如何编写漂亮的分析报告(既有漂亮里子,也要有漂亮面子)

1、数据是基础

2、分析报告是展现形式

3、分析报告的思路

4、分析报告的方法

示例:分析报告演示

九、数据的质量问题

(数据仓库项目的60%精力是在解决数据质量问题)

1、数据质量的问题表现

接通率的量化依据数据转换成为成功订单几率的描述

示例:数据质量的问题分布图

2、数据质量的根源在哪里

业务管理的标准化指标的口径一致性问题

3、数据质量的管理模式

理清数据的来龙去脉列出数据的监控点

4、数据质量的量化评估方法

数据质量的评估标准

【示例】:数据质量的评估指标

刘晖老师的其他课程

• 刘晖:大数据时代的营销创新与实战
【课程收益】1、掌握行业前沿技术2、通过对业界优秀智能化服务营销案例的解析,从中掌握相关的技术,并应用于自身工作中3、通过具体的案例学习,掌握AI建模、运营维护等全流程4、通过案例剖析,引导学员讨论智能化需求点及可规模化的具体应用【课程特色】干货,没有废话;科学,逻辑清晰;实战,学之能用;投入,案例精彩【课程对象】董事长、总裁、总经理、常务副总经理、总裁助理、企业管理人员【课程时间】3天【课程大纲】模块一:从IT时代到DT时代1、中国人认识互联网的四个阶段:工具-思维-基础设施-大数据  2、从国家战略解读大数据3、大数据的价值:生产资料与资产4、大数据的基本概念5、大数据的分类:按主体、按来源、按储存划分6、未来世界产业的三大维度:传统-互联网-大数据智能产业7、“AlphaGo大战李世石”的大数据分析8、破解“数据孤岛”问题9、数字中国:由“条状数据”到“块状数据”10、运营商的业务升级:从“卖流量”到“卖数据”模块二:开启大数据思维1、建立以数据为中心的新思维2、从计算机思维到算法思维3、功能的价值VS数据的价值4、从“人找信息”到“信息找人”5、大数据的六大基本思维  定量思维-相关思维-实验思维  全样本思维-预测思维-个性化思维6、大数据的精髓在于“三个思维的转变”7、西方知识与东方智慧不可偏废模块三:理解大数据的三个层次1、大数据的三个层次:数据-技术-思维2、大数据的5V特征3、大数据的相关技术介绍  数据采集-存储与管理-分析与挖掘-计算结果展示  案例:广东电信用大数据重构室内网优4、大数据与云计算的关系5、大数据的核心:“数据-信息-知识-智慧”金字塔模型模块四:大数据的价值发现1、大数据是生产力,正开启时代转型2、大数据的四大商业价值3、大数据驱动商业模式创新4、大数据在智能搜索中的应用5、大数据在商业中的价值  行业例举:银行金融-医疗-制造高科技-能源-互联网            政府公用事业-媒体娱乐-零售6、大数据对企业四大革命性影响模块五:大数据的商业应用1、大数据已广泛应用,只是我们还不够重视而已2、电力大数据在欧洲的应用+案例解析3、利用大数据提供优质服务+案例解析4、利用大数据进行“投资决策”+案例解析5、基于大数据的预测分析+案例解析6、大数据+金融 +案例解析7、大数据+电商 +案例解析8、大数据+医疗 +案例解析9、大数据+交通 +案例解析10、大数据+公安 +案例解析11、大数据+零售 +案例解析12、互联网+旅游 +案例解析12、大数据商业应用的八大场景13、大数据商业应用典型案例 +案例解析14、大数据应用的平台及产品介绍百度预测、百度大数据+、百度天算、百度云百度司南:大数据营销决策平台模块六:数据分析的五大思维方式1、什么是大数据分析?2、数据分析的五大思维方式  对照—拆分—降维—增维—假说3、大数据时间维度的三大类型4、关于大数据的六大思考  数据无所“不有”、数据无所“不说”、数据无所“不在”  数据无所“不专”、数据无所“不能”、数据无所“不爱”模块七:大数据时代运营商的挑战与转型1、运营商面临的四大挑战外部经营环境恶化  OTT业务侵蚀网络结构僵化      经营指标痛点运营商的产品如何定价?套餐价格如何确定?采用哪些定价策略可达到利润最大化?2、电信与互联网的差距在哪里?  全新思维:商业模式+运营模式+研发模式+技术创新3、如何重构电信的未来之路  架构重构:硬件可编程和资源池的云化  网络重构:基于SDN和NFV,网络高度智能、虚拟化、云化  业务重构:发展公有云化、电信业务云化  运营重构:以ROADS用户体验为中心进行运营转型模块八:大数据营销的奥秘1、开启低成本精准营销时代2、营销传播进入科学管理时代3、大数据在电信运营管理中的应用4、大数据在电子商务交易中的应用  案例5、大数据营销的四大特点6、大数据营销的六大功能7、如何减少浪费的一半广告费     案例:汽车广告投放8、大数据的四大应用场景9、大数据营销切入的十大抓手  案例10、成功案例解析——华为大数据方案在“福建移动的应用”去哪网的大数据营销一汽丰田汽车的大数据营销11、大数据广告投放原理介绍DSP 、DMP、PMP、 RMP移动化场景营销平台案例模块九:业界优秀智能化服务营销案例解析及实战第一部分:定价策略分析1、营销问题航空公司如何确定预订机票限制数量或者超售机票的数量?2、产品定价的理论依据需求曲线与利润最大化如何求解最优定价案例:产品最优定价求解3、如何做产品组合/套餐定价最大收益定价(演进规划求解)避免价格反转的套餐定价要理解支付意愿曲线案例:电信公司的宽带、IPTV、移动电话套餐定价第二部分:非线性定价策略支付意愿曲线与需求曲线的异同案例:高尔夫球场的双重收费如何定价(如会费+按次计费)第三部分:定价策略的评估与选择单一定价阶梯定价数量折扣最优化双重收费案例:电力公司如何选择最优定价策略第四部分:收益管理收益管理介绍如何确定预订限制如何确定超售数量如何评估模型的收益案例:航空公司如何实现收益管理(预订/超售)第五部分:影响因素分析1、营销问题产品在货架上的位置是否对销量有影响?价格和广告开销是如何影响销量的?2、相关分析相关系数解读相关系数案例:营销费用与销量的相关性分析3、方差分析(影响关键因素分析,影响因素组合分析)方差分析模型及适用场景单因素分析/多因素分析案例:产品摆放位置与销量的相关性分析案例:寻找影响手机销量的关键因素4、回归模型用于因素影响判断回归模型原理及适用场景线性回归(一元、多元)曲线回归案例:如何评估和量化-营销投入对产品销量提升的作用?第六部分: 销售预测分析1、营销问题    如何预测未来的产品销量?2、回归模型3、寻找最佳拟合线来判断和预测如何判断预测的准确性回归分析结果的解读4、回归模型的优化七步骤因素显著性检验异常值检验多重共线性检验残差分析案例:回归模型优化步骤5、自定义模型案例:某餐厅客户流量预测与分析项目6、季节性预测模型季节性回归模型的参数常用季节性预测模型(相加、相乘)案例:航空旅客里程的季节性趋势分析与预测7、新产品销量预测(S曲线)如何评估销量增长的拐点时间及销量高峰值珀尔曲线、 龚铂兹曲线案例:预测销量情况第七部分: 客户需求分析1、营销问题影响产品销售的关键属性和等级如何评估影响营销效果的关键因素是什么?影响用户购买的关键因素/客户消费偏好是什么2、逻辑回归模型逻辑回归模型原理及适用场景评估客户购买产品的概率案例:如何利用回归模型评估用户是潜在用户3、离散选择分析如何评估客户购买产品的概率如何指导产品开发?如何确定产品的重要特性如何评估品牌价值竞争下的产品动态调价如何评估产品的价格弹性案例:从竞争对手产品销量来看产品应该具有哪些属性(产品特征开发分析)案例:品牌价值评估与产品价格敏感度分析(价格变动如何影响销量升降)第八部分:客户价值分析1、如何评价客户生命周期的价值贴现率与留存率评估客户的真实价值使用双向表衡量属性敏感度变化的边际利润案例:从客户价值来评估营销活动的合理性2、RFM模型(客户价值评估)RFM模型与市场策略如何计算RFMRFM模型与活跃度案例:客户的价值评估案例:双11期间如何选择老客户做广告第九部分:市场细分分析1、营销问题如何对市场进行细分如何对产品进行市场定位2、聚类分析属性如何标准化确定聚类的适当数量聚类算法过程演练:如何进行新产品试销地点(城市)的选择3、分类决策树与客户行为预测决策树的原理与适用场景决策树构建的关键问题如何提取客户特征案例:购买用户特征提取演练:客户的特征分析及行为预测第十部分:其它市场营销方法1、关联规则分析(套餐制定、产品推荐)案例:商品摆放布局优化分析2、推荐算法(协同过滤)案例:推荐评估系统3、主成分分析(PCA)案例:新产品试销地点选择实战:产品设计与定价分析实战:如何用大数据支持手机精准营销项目模块十:课堂研讨:智能化需求点及可规模化的具体应用
• 刘晖:大数据商业应用与决策
【课程背景】    现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物,未来的时代将不是IT时代,而是DT的时代,DT就是Data Technology数据科技,大数据并不在“大”,而在于“有用”。价值含量、挖掘比数量更为重要。对于很多行业而言,如何利用这些大规模数据是赢得竞争的关键,企业面对这些痛点则是“有数据不会用,无法产生实际价值”    课程将以大数据应用与管理为切入点,还原商业环境中的实际案例,帮助学员认知大数据是什么?主要价值体现在哪些方面?企业如何根据所学来做大数据应用,释放数据资产与价值?如何提升企业数字化创新能力?使学员学之解惑,学之能用,实现企业新的经营增长突破点。【课程收益】大数据概念、技术图谱、逻辑等大数据商业应用、资产化如何让数据引导企业业务、驱动企业决策大数据应用场景及案例剖析如何数字化经营管理,成本变收益方法【课程特色】干货,没有废话;科学,逻辑清晰;实战,学之能用;投入,案例精彩【课程对象】董事长、总裁、总经理、常务副总经理、总裁助理、企业管理人员【课程时间】6小时【课程大纲】一、认识大数据1、大数据应用困扰、现状及问题大数据误区企业数据应用困扰数据该如何变现2、什么是大数据?3、大数据能做什么?4、大数据特征与特点5、大数据技术图谱大数据技术基础大数据的数据源特点大数据技术逻辑大数据全域识别大数据数据展现   案例:阿里数据二、大数据分析与决策支持系统1、定位2、决策模式3、大数据对企业价值体现商业模型业务逻辑大数据降本增效分析4、大数据的用户分析用户画像用数据了解你的用户5、数据引导业务6、让数据驱动企业决策   案例:汽车营销、桑德环卫三、大数据商业应用场景及案例分析1、什么是应用场景?2、大数据应用场景大数据场景场景模型分析3、大数据场景及变现能力4、大数据商业案例分析小城青年汽车智慧交通有色金属智能交通  案例:拼多多、阿里ET城市大脑、滴滴智能交通四、大数据安全管理1、数据安全防护思路与体系2、数据安全管理组织结构3、数据安全管理策略4、数据生命周期与防护措施5、数据基础架构的安全性 五、大数据数据资产与智能商业价值1、什么是数据资产?什么是数据资产数据资产属性2、大数据资产管理概述3、大数据资产管理定位4、数据资产管理数据资产管理架构数据资产管理方法5、大数据对智能商业意义六、大数据助力当地特色产业1、玻璃钢产业与大数据技术结合后将产生什么?2、皮毛产业与大数据技术结合后将产生什么?3、相关案例解析
• 刘晖:大数据课程-太原
【课程特色】1.   课上采用案例式教学,通俗易懂,课下一对一辅导强化训练,学与练交叉进行强化记忆,你所要做的就是认真听,勤于问,乐于练。2.   清晰的知识结构,根据应用经验采用最优化授课模式。3.   内容充沛、详略得当,前后呼应。4.   讲师资历丰富,具有丰富的实践经验。5.   知识讲授+贴身案例+场景故事+互动讨论+现场演练+落地跟踪【课程时间】3天【课程大纲】第一部分:数据处理架构介绍1大数据的初步认知1.1何谓大数据1.2大数据的发展现状1.3大数据的发展趋势2大数据的架构分析2.1大数据架构概述2.2大数据架构设计2.3大数据架构的参考模型3大数据的数据获取3.1数据分类与数据获取组件3.2探针在数据获取中的原理作用3.3 网页采集与日志收集3.4 数据分发中间件的作用分析4机器学习和数据挖掘技术4.1 机器学习与数据挖掘的关系4.2机器学习的方式与类型4.3机器学习与数据挖掘的应用4.4深度学习的实践与发展5大数据的安全与隐私5.1大数据时代面临的安全挑战5.2安全问题解决的框架、技术与体系5.3大数据隐私保护的政策法规与技术介绍6大数据架构的实现与应用实例6.1大数据架构的实现途径6.2 大数据在电网中的应用案例解析第二部分:HDFS原理及应用1分布式文件系统HDFS1.1 计算机集群结构1.2 分布式文件系统的结构1.3 分布式文件系统的设计需求2 HDFS简介3 HDFS的相关概念3.1 块3.2 名称节点和数据节点3.3 第二名称节点4 HDFS体系结构4.1 概述4.2 HDFS命名空间管理4.3 通信协议4.4 客户端4.5 HDFS体系结构的局限性5 HDFS的存储原理5.1 数据的冗余存储5.2 数据存取策略5.3 数据错误与恢复6 HDFS的数据读写过程6.1 读数据的过程6.2 写数据的过程7 HDFS编程实践7.1 HDFS常用命令7.2 HDFS的Web页面7.3 HDFS常用Java API及应用实例实验:熟悉常用的HDFS操作第三部分:HBase原理及应用1 概述1.1 从BigTable说起1.2 HBase简介1.3 HBase与传统关系数据库的对比分析2 HBase访问接口3 HBase数据模型3.1 数据模型概述3.2 数据模型的相关概念3.3 数据坐标3.4 概念视图3.5 物理视图3.6 面向列的存储4 HBase的实现原理4.1 HBase的功能组件4.2 表和Region4.3 Region的定位5 HBase运行机制5.1 HBase系统架构5.2 Region服务器的工作原理5.3 Store的工作原理5.4 HLog的工作原理6 HBase编程实践6.1 HBase常用的Shell命令6.2 HBase常用的Java API及应用实例实验:熟悉常用的HBase操作第四部分:ETL工具介绍1开启ETL之旅1.1了解ETL1.2选择ETL工具2配置Kettle运行环境2.1安装JDK2.2安装MySQL数据库2.3配置Kettle3熟悉Kettle基本操作3.1认识Kettle界面3.2新建转换与任务3.3运行与查看结果面板4数据获取4.1创建数据库连接4.2表输入4.3 CSV文件输入4.4 Excel输入4.5生成记录5记录处理5.1 排序记录5.2 去除重复记录5.3 过滤记录 5.4值映射5.5字符串替换5.6字符串操作5.7分组6字段处理6.1字段选择6.2增加常量6.3将字段值设置为常量6.4剪切字符串6.5拆分字段7高级转换7.1记录集连接7.2多路数据合并连接7.3公式8迁移和装载8.1表输出8.2插入/更新8.3 Excel输出8.4文本文件输出8.5 SQL文件输出9项目实战9.1分析任务数据需求9.2熟悉任务流程9.3实现项目第五部分:MapReduce原理应用开发1概述1.1 分布式并行编程1.2 MapReduce模型简介1.3 Map和Reduce函数2 MapReduce的工作流程2.1 工作流程概述2.2 MapReduce的各个执行阶段2.3 Shuffle过程详解3 实例分析:WordCount 3.1 WordCount的程序任务3.2 WordCount的设计思路3.3 WordCount的具体执行过程3.4 一个WordCount执行过程的实例4 MapReduce的具体应用4.1 MapReduce在关系代数运算中的应用4.2 分组与聚合运算4.3 矩阵-向量乘法4.4 矩阵乘法5 MapReduce编程实践5.1 任务要求5.2 编写Map处理逻辑5.3 编写Reduce处理逻辑5.4 编写main方法5.5 编译打包代码以及运行程序实验MapReduce初级编程实践实操内容:1 在Windows中使用VirtualBox安装Ubuntu虚拟机2 Hadoop3.1.3安装教程 单机版2.1 Hadoop简介2.2 安装Hadoop前的准备工作2.2.1 创建hadoop用户2.2.2 更新APT 2.2.3 安装SSH 2.2.4 安装Java环境2.3 安装Hadoop 2.3.1 下载安装文件2.3.2 单机模式配置3 HDFS编程实践(Hadoop3.1.3)3.1 HDFS操作常用的Shell命令3.1.1 查看命令的用法3.1.2 HDFS操作3.2 利用HDFS的Web管理界面3.3 HDFS编程实践3.3.1 在Eclipse中创建项目3.3.2 为项目添加需要用到的JAR包3.3.3 编写Java应用程序3.3.4 编译运行程序3.3.5 应用程序的部署4 MapReduce编程实践(Hadoop3.1.3)4.1词频统计任务要求4.2 MapReduce程序编写方法4.2.1 编写Map处理逻辑4.2.2 编写Reduce处理逻辑4.2.3 编写main方法4.2.4 完整的词频统计程序4.3 编译打包程序4.3.1 使用命令行编译打包词频统计程序4.3.2 使用Eclipse编译打包词频统计程序4.4 运行程序

添加企业微信

1V1服务,高效匹配老师
欢迎各种培训合作扫码联系,我们将竭诚为您服务