数据挖掘需要掌握的内容包括：统计学、机器学习、模式识别、数据库和数据仓库、信息检索、可视化、算法、高性能计算等。 下图比较清楚的画出了学习数据挖掘需要掌握的知识内容： 1、统计学 统计学是通过搜索、整理、分析数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。其中用到了大量的数学及其它学科的专业知识，它的使用范围几乎覆盖了社会科学和自然科…

随着我们进入2017年下半年，是时候看看那些使用数据科学和机器学习的公司面临的共同挑战。假设你的公司已经在大规模收集数据，需要用到分析工具，而且你已经认识到数据科学可以发挥重大作用（包括改善决策或企业经营、增加收入等等），并进行了优先排序。收集数据和识别感兴趣的问题并非小事，但假设你已经在这些方面起了个好头，那么还剩下哪些挑战呢？ 数据科学是一个宽泛的话题，…

摘要：从数据分析、机器学习和结果三方面详解利用高性能分布式计算平台解决现实问题的过程。 近期，comSysto公司分享了该公司研发团队利用Spark平台解决Kaggle竞赛问题的经历，为Spark等平台应用于数据科学领域提供了借鉴。 主办方提供了一个包含5万个匿名驾驶员线路的数据集，竞赛的目的是根据路线研发出一个驾驶类型的算法类签名，来表征驾驶员的特征。例如…

摘要：本文是一位算法师工程师的Spark机器学习笔记，教你构建一个简单的推荐系统。 推荐引擎应用场景： 用户有海量选择：随着场景内item越来越多，用户越来越难以选择到合适的产品 个性化场景：在选择产品时，会借鉴那些与推荐用户相似地群体，利用群体智慧对用户进行推荐”千人千面” 在本篇博客中，会涉及到以下几个部分： 介绍不同类型的推荐引擎 使用用户偏好模型来构…

本篇文章使用Python和OpenCV中的Haar特征分类器对人脸及眼睛进行检测和追踪。在开始之前，有几件准备工作要完成。

神经网络在过去几年中取得了惊人的进步，现在已成为图像识别和自动翻译领域最先进的技术。

摘要：回顾两年来的心路历程，样本量N=1 原文：Doing Data Science at Twitter 原作者: Robert Chang 引子 2015年6月17日是我在Twitter工作两周年的纪念日。回想起来，两年间，数据科学在Twitter的应用方式和范围发生了很大变化： · 许多Twitter的非机器学习主导的核心产品中，机器学习的比重正在不断…

最近几年，Python的使用增长率一直比R快，到今年，Python终于以微弱的优势超过了R的使用率 (52.6% Vs 52.1%)。

摘要：这里是第二部分，就从我给大家准备的“特别提问”开始吧。作者Gregory Piatetsky,KDnuggets. 特别提问：解释什么是过拟合，你如何控制它 这个问题不是20问里面的，但是可能是最关键的一问来帮助你分辨真假数据科学家！ 回答者：GregoryPiatetsky 过拟合是指（机器）学习到了因偶然造成并且不能被后续研究复制的的虚假结果。 我…

Facebook去年底挖来了一个机器学习大神Vladimir Vapnik，他是统计学习理论和支持向量机的主要发明者。Vladimir Vapnik被称为统计学习理论之父，他出生于俄罗斯，1990年底移居美国，在美国贝尔实验室一直工作到2002年，之后加入了普林斯顿的NEC实验室机器学习研究组，同时任哥伦比亚大学特聘教授。2014年，Vladimir Vap…

下面我们将通过具体的例子来学习什么是数据挖掘。

在使用机器学习算法过程中，针对不同的问题需要不用的模型评估标准，这里统一汇总。

近日，谷歌地图的附加功能做到了！在之前应用的基础上引入了公交车的实时交通延误，预测了全球数百个城市的公交车延误情况，从亚特兰大到萨格勒布，从伊斯坦布尔到马尼拉等等， 这提高了六千多万人的通勤时间准确性。

随着理论和技术的进步，我们将在未来看到许多混合模型。因此，数学建模和机器学习建模也应当是“合作关系”，而非“竞争关系”。

NumPy是Python中用于数据分析、机器学习、科学计算的重要软件包。它极大地简化了向量和矩阵的操作及处理。

支持向量机（Support Vector Machine，SVM）是众多监督学习方法中十分出色的一种，几乎所有讲述经典机器学习方法的教材都会介绍。关于SVM，流传着一个关于天使与魔鬼的故事。

不要再用sklearn中的StandarScaler作为默认的特征缩放方法了，别的方法可以给你7%的准确率提升！

随着面部识别系统越发成熟，个人隐私问题也引发了越来越多的担忧。多伦多大学的研究人员利用对抗式训练的深度学习技术开发了一种新的算法，这种算法可以动态地扰乱面部识别系统，有助于保护用户隐私。研究者表示，他们的系统可以将可检测的面部比例从原先的近百分之百降低到 0.5%。 每当用户将照片或视频上传到社交媒体平台时，这些平台的面部识别系统都会对用户有一定的了解。这些…

“数据科学家”很可能是本世纪最性感的工作。但雇佣一个人绝不是这样。事实上，这对公司来说是非常痛苦的。对于有志于在核心数据科学领域获得那份完美工作的人来说，这同样是一件大事。

本文总结了一些秋招面试中会遇到的问题和一些重要的知识点，适合面试前突击和巩固基础知识。