SPARK机器学习

1 (p1): 第1章 Spark的环境搭建与运行
2 (p1-1): 1.1 Spark的本地安装与配置
3 (p1-2): 1.2 Spark集群
4 (p1-3): 1.3 Spark编程模型
4 (p1-3-1): 1.3.1 SparkContext类与SparkConf类
5 (p1-3-2): 1.3.2 Spark shell
6 (p1-3-3): 1.3.3 弹性分布式数据集
10 (p1-3-4): 1.3.4 广播变量和累加器
11 (p1-4): 1.4 Spark Scala编程入门
14 (p1-5): 1.5 Spark Java编程入门
17 (p1-6): 1.6 Spark Python编程入门
18 (p1-7): 1.7 在Amazon EC2上运行Spark
23 (p1-8): 1.8 小结
24 (p2): 第2章 设计机器学习系统
24 (p2-1): 2.1 MovieStream介绍
25 (p2-2): 2.2 机器学习系统商业用例
26 (p2-2-1): 2.2.1 个性化
26 (p2-2-2): 2.2.2 目标营销和客户细分
26 (p2-2-3): 2.2.3 预测建模与分析
27 (p2-3): 2.3 机器学习模型的种类
27 (p2-4): 2.4 数据驱动的机器学习系统的组成
28 (p2-4-1): 2.4.1 数据获取与存储
28 (p2-4-2): 2.4.2 数据清理与转换
29 (p2-4-3): 2.4.3 模型训练与测试回路
30 (p2-4-4): 2.4.4 模型部署与整合
30 (p2-4-5): 2.4.5 模型监控与反馈
31 (p2-4-6): 2.4.6 批处理或实时方案的选择
31 (p2-5): 2.5 机器学习系统架构
33 (p2-6): 2.6 小结
34 (p3): 第3章 Spark上数据的获取、处理与准备
35 (p3-1): 3.1 获取公开数据集
37 (p3-2): 3.2 探索与可视化数据
38 (p3-2-1): 3.2.1 探索用户数据
41 (p3-2-2): 3.2.2 探索电影数据
43 (p3-2-3): 3.2.3 探索评级数据
46 (p3-3): 3.3 处理与转换数据
48 (p3-4): 3.4 从数据中提取有用特征
48 (p3-4-1): 3.4.1 数值特征
49 (p3-4-2): 3.4.2 类别特征
50 (p3-4-3): 3.4.3 派生特征
51 (p3-4-4): 3.4.4 文本特征
55 (p3-4-5): 3.4.5 正则化特征
56 (p3-4-6): 3.4.6 用软件包提取特征
57 (p3-5): 3.5 小结
58 (p4): 第4章 构建基于Spark的推荐引擎
59 (p4-1): 4.1 推荐模型的分类
59 (p4-1-1): 4.1.1 基于内容的过滤
59 (p4-1-2): 4.1.2 协同过滤
60 (p4-1-3): 4.1.3 矩阵分解
64 (p4-2): 4.2 提取有效特征
67 (p4-3): 4.3 训练推荐模型
67 (p4-3-1): 4.3.1 使用MovieLens 100k数据集训练模型
68 (p4-3-2): 4.3.2 使用隐式反馈数据训练模型
69 (p4-4): 4.4 使用推荐模型
69 (p4-4-1): 4.4.1 用户推荐
72 (p4-4-2): 4.4.2 物品推荐
75 (p4-5): 4.5 推荐模型效果的评估
75 (p4-5-1): 4.5.1 均方差
77 (p4-5-2): 4.5.2 K值平均准确率
81 (p4-5-3): 4.5.3 使用MLlib内置的评估函数
82 (p4-6): 4.6 小结
83 (p5): 第5章 Spark构建分类模型
85 (p5-1): 5.1 分类模型的种类
85 (p5-1-1): 5.1.1 线性模型
89 (p5-1-2): 5.1.2 朴素贝叶斯模型
90 (p5-1-3): 5.1.3 决策树
91 (p5-2): 5.2 从数据中抽取合适的特征
93 (p5-3): 5.3 训练分类模型
95 (p5-4): 5.4 使用分类模型
96 (p5-5): 5.5 评估分类模型的性能
96 (p5-5-1): 5.5.1 预测的正确率和错误率
97 (p5-5-2): 5.5.2 准确率和召回率
99 (p5-5-3): 5.5.3 ROC曲线和AUC
101 (p5-6): 5.6 改进模型性能以及参数调优
101 (p5-6-1): 5.6.1 特征标准化
104 (p5-6-2): 5.6.2 其他特征
106…