# 写在前面
- 书籍介绍:暂无。
- 我的简评:暂无。
- !!福利:文末有书籍地址、笔记思维导图、相关资料下载地址哦
# 第一章 认识数据产品
# 1.1.数据产品课程介绍
# 1.2.认识数据产品
- 应用层分类:展示类(可视化大屏、报表)、分析类(BI分析)、挖掘、预测
# 1.3.数据产品分类
不同类型的数据产品:数据采集、数据处理、数据展现|数据分析|挖据预测、业务应用
数据采集产品:爬虫产品(如八爪鱼)、API(如Tushare)、填报(如报表填报系统)、埋点(如诸葛IO)
数据加工过程:清洗(缺失值、异常值、重复值)、融合(实体识别、冗余性识别)、变换(离散化、属性构造)、规约(特征规约、样本规约),产品示例:ETL开发(如Kettle)、调度管理(如Datax)
数据分析工具化产品:报表(如SmartBI)、自助式分析(如FineBI)、数据挖掘(如Kmine)、大屏(如DataHunter)
# 1.4.数据产品能力模型
数据技术能力:SQL、数据分析、大数据平台、数据底层(数据建模)
产品设计工具能力:AXURE、墨刀、Sketch、Xmind
产品规划推动能力:敏捷迭代模式
竞品分析能力:了解主流数据产品与数据产品方向
数据思维(数据Sense):大数据思维、数据思维
产品文档能力:MRD、BRD、PRD、DRD
数据全景化建设能力:数据中台
BI体系:掌握至少一种BI分析工具ETL
# 1.5.如何成为数据产品
产品转型数据产品
应届毕业生
业务专家
数据运营转产品
项目经理
# 第二章 数据产品经理基础能力
# 2.1.产品原型AXURE
# 2.2.逻辑思维工具XMind
# 2.3.流程图
业务流、页面流
工具没有限定,PPT、AXURE、VISIO都可以
# 2.4.需求管理方法论
需求计划
KANO分析法
需求池
# 2.5.数据产品文档
产品文档有哪些:BRD、MRD、PRD、操作手册、发版文档、竞品分析文档、宣传手册、用户调研文档
与分析相关的AI技术:自然语言生成、对话式用户界面、图谱分析、机器学习、自然语言处理、预测分析
2020年Gartner数据和分析技术趋势:增强分析、增强数据管理、持续型智能、可解释的人工智能、自然语言处理|会话分析、图分析、人工智能和机器学习的商业化
# 2.6.多源异构数据源与SQL基础
SQL是必备能力:mysql、tidb、mongo、hbase、neo4j、es
SQL是必备能力:DML、DDL、DCL
# 第三章 数据产品经理分类
# 3.1.TOC内容型数据产品经理
TOC产品数据运营场景:统计、流量、内容、用户、业务
TOC数据运营常用指标:用户指标(存量、增量、留存、渠道)、行为指标(次数频率、转化率、时长、弹出率)、业务指标(总量、人均、付费人数、付费率、Sku视角)
TOC数据运营分析组件:对比分析、多维分析、分布分析、归因分析、路径挖掘、热力分析、分群分析、漏斗分析、行为时序分析
# 3.2.TOC工具型数据产品经理
- TOC数据从采集到分析闭环:采集(客户端数据、业务端数据、第三方数据、线下数据)、建模(数据存储、数据建模、数据处理)、分析(统计、分析、挖掘)、反馈(决策反馈、产品反馈)
# 3.3.TOB内容型数据产品经理
- e报表:门店报表、营业基础分析、营业基础查询、会员基础分析、会员基础查询、供应链
# 3.4.TOB工具型数据产品经理
业务分析类应用架构:数据源(数据湖、关系型数据、业务元数据、文件数据)、服务层(能力服务:图表、报表、报告、自助、填报;数据分析:报表、故事板;数据模型:数据模型、多维模型)、应用层(财务分析、资金分析、费用监控、销售分析、采购分析、人力分析、绩效管理、经营分析、仓储分析)、展现层(嵌入集成、移动分析、数字大屏、Web服务、数据填报、报表订阅、智能问答)
BI数据工具:报表、自助式分析、数据挖掘、大屏
# 3.5.数据中台产品经理
数据中台能力范式
数据湖基础设施(Hadoop、Spark、GreenPlum、Kafka、Flink、ES)
数据湖中间件(统一调度、统一集群、统一运维、流计算服务、批量计算服务、机器学习)
数据融合(多数据采集代理、多数据传输协议、多数据采集格式、库日志实时同步、IOT边缘数据采集、行为数据采集、互联网爬虫、数据填报补录)、数据管理(数据规划、数据治理、数据存储、数据访问、数据开放、数据共享、数据安全、数据运营)、数据开发(逻辑模型开发、物理模型开发、多维数据建模、批|流数据任务开发、数据流程开发、任务流程开发、任务调度和监控、模型和算法开发)、数据智能(BI分析、预测式分析、复杂报表、对话式数据分析、知识图谱分析、数据标签和画像、交互式数据探索、算法和模型服务)
应用开发:微服务架构、H5/友空间/微信/小应用集成、角色/权限/菜单发布扩展、无代码开发
# 3.6.AI中台数据产品
- 丰富的算法模型能力:关联分析(如Aprior)、分类(如CART)、回归(如多元线性)、聚类(如ABC分类)、时序分析(如指数平滑)、概率分布(如分布拟合)、异常值检测(如T-test)、链接预测(如Common neighbour)、特征工程(如GA)、DSIP(如平滑)、机器学习(如SVM)
# 第四章 数据产品案例剖析
# 4.1.BI分析方法论
BI从数据采集到分析流程:
数据源:ERP、MES、PLM、OPC、外部数据、其他数据源
ETL过程:抽取、转换、清洗、过滤、转载
数据管理及储存:数据字典、元数据、维度表、事实表
数据分析:构建业务模型、多数据源支持、多维建模分析(OLAP)、自助分析、主题分析
数据展现:自助分析、数据报表、数字仪表盘、导出为Office文件
业务区:Web端、Office、移动设备
BI分析:统计分析、同比分析、环比分析、趋势分析、相关分析、差异分析、结构分析、预警分析
BI常见概念:切片、切块、上卷、下钻、旋转
# 4.2.数据可视化基础
要素:设计目的(打算讲一个什么故事)、数据展示形式(不同类型数据的最佳展示形式)、受众群体(不同受众从图表中获取的信息不同)、传播场景(数据可视化作品的展示场景)
数据展示形式:趋势型、比例型、关系型、对比型、分布型、地理型
组成元素:标题、副标题、图例、背景、文字、动效、排序、标签、TOKEN
主流的可视化框架:Echarts、AntV、D3、镝数
# 4.3.指标设计基础
指标是衡量目标的参数
指标分类:定性指标与量化指标、虚荣指标与可付诸行动的指标、探索性指标与报告性指标、先见性指标与后见性指标、相关性指标与因果性指标
电子商务关注哪些指标:GMV、转化率、年均购买率、单数、消费金额
# 4.4.数据分析报告完整案例
项目概述
数据来源
用户监测核心指标及定义
xxx分析
报告总结
# 4.5.Dashboard可视化分析
# 4.6.数据分析的正确姿势
CRISP-DM方法论:商业理解 - 数据理解 - 数据准备 - 建模 - 评估 - 部署
数据时代的数据特征:容量Volume、种类Variety、速度Velocity、价值Value
数据处理:数据清洗、集成、转换
# 第五章 数据平台建设
# 5.1.数据治理
质量高的数据:组织数据一致性、完整性、正确性、合规性、及时性
数据治理框架:原则(安全性、开放性、有价值、有效性);范围(元数据、数据开发、数据安全、数据价值、数据组织);实施与评估(执行、审计、评估体系)
数据质量的检查一般分为事前规则验证、事中数据预警、事后数据清洗
# 5.2.数据产品之ETL
Extract Transform Load,描述数据抽取、转换、加载的过程
Kettle是常用的ETL处理开源免费工具
ETL重点关注的能力:输入组件、选择字段组件、转换组件、输出组件
# 5.3.数据仓库建设
数仓两种模型:星型模型、雪花模型
数仓落地实施过程:数据调研、数据域划分、构建总线矩阵、构建明细模型、构建汇总模型、明确统计指标
建议将数仓分为三层:数据引入层ODS、数据公共层CDM、数据应用层ADS
维度表设计原则:尽可能生成丰富的维度属性、尽可能多的给出包含一些富有意义的文字性描述、区分数值型属性和事实、尽量沉淀出通用的维度属性
# 5.4.离线与实时数据仓库
数仓的发展:原始状态的ERP、CRM、SCM 》计算&存储大量异构数据 》实时产生结果
数仓架构的演变:经典数仓架构 》离线大数据架构(数据量暴增) 》Lambda架构(实时性) 》 Kappa架构(多业务、多数据源、事件型数据源) 》混合架构
实时数仓整体设计,涉及全局设计、数据模型、数据保障等几个方面
# 第六章 0-1设计BI分析产品
# 6.1.从点子到产品
# 6.2.BI竞品分析
# 6.3.0-1实现MVP
# 6.4.数据源模块建设
# 6.5.数据集模块设计
# 6.6.可视化模块设计
# 6.7.BI分析筛选器设计
# 6.8.数据产品1-10迭代方向
# 第七章 提升数据产品视野
# 7.1. 带你认识标签画像产品
定性就是用文字语言进行相关描述;定量就是用数学语言进行描述。
定性分析与定量分析应该是统一的,相互补充的。
用户画像常用来作为精准营销、推荐系统的基础性工作,其作用总体包括:精准营销、用户分析、数据挖掘、服务产品、行业报告
标签建模方式:SQL模式、用户行为(事件)、通过基础标签加工、机器学习
# 7.2. 带你认识知识图谱产品
知识图谱平台实施步骤:问题定义、收据收集、数据预处理、知识图谱设计、存储知识图谱、应用知识图谱、系统评估
常用的存储系统:Neo4J、OrientDB、JanusGraph、Jena等
设计知识图谱需要思考的问题:需要哪些实体、关系、属性。哪些实体可以作为属性,哪些属性可以作为实体。哪些信息不需要放在知识图谱。
业务原则:一切要从业务逻辑出发。也就是说通过观察知识图谱的设计也很容易推测其背后业务的逻辑
分析原则:知识图谱中任何一个实体都是为关系分析而服务
冗余原则:避免把超级节点放入到知识图谱中
# 7.3. 带你认识数据搜索产品
电商搜索(ES索引模型)
智能问答(NL-SQL建模)
知识模型(KBQA)
# 第八章 数据产品总监修炼之道
# 8.1. 全局视野-数据中台
DT时代的业务数据化(新零售场景举例):关联销售、智能组货、销售预测、产品设计、智能发券、智慧选址、智能推荐、客户画像
业务中台、应用中台、数据中台、智能中台
数据中台落地思路:业务数据化、数据资产化、资产服务化、流程自动化、场景化驱动
数据资产实施步骤:模现状、建规范、搭平台、管资产、做运营
数据服务类型:开发者基础服务(数据API服务、查询/分析服务、数据可视化服务、标签服务、视频结构化服务)、行业应用服务市场、行业AI模型
# 8.2. 数据创新应用-AI中台
- AI应用场景:智能推荐、数据画像、知识图谱、图像识别、自动流程处理、智能助手、分析预测
# 写在后面
- pdf书籍、笔记思维导图、资料打包下载地址:暂无
- 思维导图在线查看:点击打开
- 得到电子书地址:暂无