16年11月份邹博机器学习升级版II附讲义、参考书与源码(数学 xgboost lda hmm svm)
课程介绍本课程特点是从数学层面推导最经典的机器学习算法，以及每种算法的示例和代码实现(Python)、如何做算法的参数调试、以实际应用案例分析各种算法的选择等。1.每个算法模块按照“原理讲解→分析数据→自己动手实现→特征与调参”的顺序，“原理加实践，顶天立地”。2.拒绝简单的“调包”——增加3次“机器学习的角度看数学”和3次“Python数据清洗和特征提取”，提升学习深度、降低学习坡度。3.增加网络爬虫的原理和编写，从获取数据开始，重视将实践问题转换成实际模型的能力，分享工作中的实际案例或Kaggle案例：广告销量分析、环境数据异常检测和分析、数字图像手写体识别、Titanic乘客存活率预测、用户-电影推荐、真实新闻组数据主题分析、中文分词、股票数据特征分析等。4.强化矩阵运算、概率论、数理统计的知识运用，掌握机器学习根本。5.阐述机器学习原理，提供配套源码和数据;确保“懂推导，会实现”。6.删去过于晦涩的公式推导，代之以直观解释，增强感性理解。7.对比不同的特征选择带来的预测效果差异。8.重视项目实践(如工业实践、Kaggle等)，重视落地。思考不同算法之间的区别和联系，提高在实际工作中选择算法的能力。9.涉及和讲解的部分Python库有：Numpy、Scipy、matplotlib、Pandas、scikit-learn、XGBoost、libSVM、LDA、Gensim、NLTK、HMMLearn，涉及的其他“小”库在课程的实践环节会逐一讲解。课程目录第一课：机器学习的数学基础1 - 数学分析1. 机器学习的一般方法和横向比较2. 数学是有用的：以SVD为例3. 机器学习的角度看数学4. 复习数学分析5. 直观解释常数e6. 导数/梯度7. 随机梯度下降8. Taylor展式的落地应用9. gini系数10. 凸函数11. Jensen不等式12. 组合数与信息熵的关系第二课：机器学习的数学基础2 - 概率论与贝叶斯先验1. 概率论基础2. 古典概型3. 贝叶斯公式4. 先验分布/后验分布/共轭分布5. 常见概率分布6. 泊松分布和指数分布的物理意义7. 协方差(矩阵)和相关系数8. 独立和不相关9. 大数定律和中心极限定理的实践意义10. 深刻理解最大似然估计MLE和最大后验估计MAP11. 过拟合的数学原理与解决方案第三课：机器学习的数学基础3 - 矩阵和线性代数1. 线性代数在数学科学中的地位2. 马尔科夫模型3. 矩阵乘法的直观表达4. 状态转移矩阵5. 矩阵和向量组6. 特征向量的思考和实践计算7. QR分解8. 对称阵、正交阵、正定阵9. 数据白化及其应用10. 向量对向量求导11. 标量对向量求导12. 标量对矩阵求导第四课：Python基础1 - Python及其数学库1. 解释器Python2.7与IDE：Anaconda/Pycharm2. Python基础：列表/元组/字典/类/文件3. Taylor展式的代码实现4. numpy/scipy/matplotlib/panda的介绍和典型使用5. 多元高斯分布6. 泊松分布、幂律分布7. 典型图像处理8. 蝴蝶效应9. 分形第五课：Python基础2 - 机器学习库1. scikit-learn的介绍和典型使用2. 损失函数的绘制3. 多种数学曲线4. 多项式拟合5. 快速傅里叶变换FFT6. 奇异值分解SVD7. Soble/Prewitt/Laplacian算子与卷积网络8. 卷积与(指数)移动平均线9. 股票数据分析第六课：Python基础3 - 数据清洗和特征选择1. 实际生产问题中算法和特征的关系2. 股票数据的特征提取和应用3. 一致性检验4. 缺失数据的处理5. 环境数据异常检测和分析6. 模糊数据查询和数据校正方法、算法、应用7. 朴素贝叶斯用于鸢尾花数据8. GaussianNB/MultinomialNB/BernoulliNB9. 朴素贝叶斯用于18000+篇/Sogou新闻文本的分类第七课： 回归1. 线性回归2. Logistic/Softmax回归3. 广义线性回归4. L1/L2正则化5. Ridge与LASSO6. Elastic Net7. 梯度下降算法：BGD与SGD8. 特征选择与过拟合第八课：Logistic回归1. Sigmoid函数的直观解释2. Softmax回归的概念源头3. Logistic/Softmax回归4. 最大熵模型5. K-L散度6. 损失函数7. Softmax回归的实现与调参第九课：回归实践1. 机器学习sklearn库介绍2. 线性回归代码实现和调参3. Softmax回归代码实现和调参4. Ridge回归/LASSO/Elastic Net5. Logistic/Softmax回归6. 广告投入与销售额回归分析7. 鸢尾花数据集的分类8. 交叉验证9. 数据可视化第十课：决策树和随机森林1. 熵、联合熵、条件熵、KL散度、互信息2. 最大似然估计与最大熵模型3. ID3、C4.5、CART详解4. 决策树的正则化5. 预剪枝和后剪枝6. Bagging7. 随机森林8. 不平衡数据集的处理9. 利用随机森林做特征选择10. 使用随机森林计算样本相似度11. 数据异常值检测第十一课：随机森林实践1. 随机森林与特征选择2. 决策树应用于回归3. 多标记的决策树回归4. 决策树和随机森林的可视化5. 葡萄酒数据集的决策树/随机森林分类6. 波士顿房价预测第十二课：提升1. 提升为什么有效2. 梯度提升决策树GBDT3. XGBoost算法详解4. Adaboost算法5. 加法模型与指数损失第十三课：提升实践1. Adaboost用于蘑菇数据分类2. Adaboost与随机森林的比较3. XGBoost库介绍4. Taylor展式与学习算法5. KAGGLE简介6. 泰坦尼克乘客存活率估计第十四课：SVM1. 线性可分支持向量机2. 软间隔的改进3. 损失函数的理解4. 核函数的原理和选择5. SMO算法6. 支持向量回归SVR第十五课：SVM实践1. libSVM代码库介绍2. 原始数据和特征提取3. 调用开源库函数完成SVM4. 葡萄酒数据分类5. 数字图像的手写体识别6. SVR用于时间序列曲线预测7. SVM、Logistic回归、随机森林三者的横向比较第十六课：聚类(上)1. 各种相似度度量及其相互关系2. Jaccard相似度和准确率、召回率3. Pearson相关系数与余弦相似度4. K-means与K-Medoids及变种5. AP算法(Sci07)/LPA算法及其应用第十七课：聚类(下)1. 密度聚类DBSCAN/DensityPeak(Sci14)2. DensityPeak(Sci14)3. 谱聚类SC4. 聚类评价AMI/ARI/Silhouette5. LPA算法及其应用第十八课：聚类实践1. K-Means++算法原理和实现2. 向量量化VQ及图像近似3. 并查集的实践应用4. 密度聚类的代码实现5. 谱聚类用于图片分割第十九课：EM算法1. 最大似然估计2. Jensen不等式3. 朴素理解EM算法4. 精确推导EM算法5. EM算法的深入理解6. 混合高斯分布7. 主题模型pLSA第二十课：EM算法实践1. 多元高斯分布的EM实现2. 分类结果的数据可视化3. EM与聚类的比较4. Dirichlet过程EM5. 三维及等高线等图件的绘制6. 主题模型pLSA与EM算法第二十一课：主题模型LDA1. 贝叶斯学派的模型认识2. 共轭先验分布3. Dirichlet分布4. Laplace平滑5. Gibbs采样详解第二十二课：LDA实践1. 网络爬虫的原理和代码实现2. 停止词和高频词3. 动手自己实现LDA4. LDA开源包的使用和过程分析5. Metropolis-Hastings算法6. MCMC7. LDA与word2vec的比较第二十三课：隐马尔科夫模型HMM1. 概率计算问题2. 前向/后向算法3. HMM的参数学习4. Baum-Welch算法详解5. Viterbi算法详解6. 隐马尔科夫模型的应用优劣比较第二十四课：HMM实践1. 动手自己实现HMM用于中文分词2. 多个语言分词开源包的使用和过程分析3. 文件数据格式UFT-8、Unicode4. 停止词和标点符号对分词的影响5. 前向后向算法计算概率溢出的解决方案6. 发现新词和分词效果分析7. 高斯混合模型HMM8. GMM-HMM用于股票数据特征提取**** Hidden Message ***** 相当不错，感谢无私分享精神！ 有道理。。。 有道理。。。 找到好贴不容易，我顶你了，谢了 支持一下:lol 小手一抖，钱钱到手！ 谢谢楼主，共同发展 正需要，支持楼主大人了！ 谢谢楼主，共同发展