本文介绍了Hadoop分布式式文件系统原理以及Hadoop读写流程

摘要：本章节是“我所经历的大数据平台发展史”最后一章，含有一番外篇，算是对文章提到的数据模型、数据产品的一些细节补充。预计阅读完毕需要20分钟左右。 互联网时代被弱化的数据模型 谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与…

本文纯属虚构，如有雷同，一定统计不显著

本文纯属虚构，如有雷同，一定统计不显著

大数据泄漏和大数据库为今年的美国大选设定了基调。被政客们当作武器的都是哪些类型的数据，这些数据又值多少钱呢？

谁能引爆大数据？在帷策智能、原力大数据创始人兼CEO江颖看来，这个答案就是“位置大数据”。她表示，位置数据 + 时间数据 + 事件数据 + 场所数据+ 人物行为数据 + …… = 大数据的无限演绎，位置大数据将引爆全行业大数据应用

刻画旅客全息视图

摘要：AlphaGo赢下这场围棋的“世纪大战”，这到底是人工智能战胜了人类，还是人类向自然发起挑战？ 人类对自然，抑或说人类对人类本身的改造，又会随着人工智能的飞速发展下走向何方？ 而对于哲学家来说，除了询问自己生从何来死往何处，现在又多了一个命题：我们人类和机器到底有什么区别？ 这可能是目前对人工智能发展最深度的思考之一，期待与你一同探讨。 从事机器智能研…

在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量方法。一般而言，定义一个距离函数 d(x,y), 需要满足下面几个准则： 1) d(x,x) = 0   …

(1)神经网络计算, 另一个常为人诟病的问题,是过度拟合 (overfitting). 一个拥有大量自由参数的模型,很容易通过调试,和训练数据吻合.但这并不意味着,这就是个好模型. 美国数学家冯纽曼 (John Von Neumann) 曾说, “给我四个参数,我的模型可以拟合一个大象. 给我五个参数, 我可以让它扭动它的鼻子.” 神…

摘要：机器学习是大数据挖掘的一大基础，本文以机器学习为切入点，分享达观在大数据技术实践时的一些经验。 大数据时代里，互联网用户每天都会直接或间接使用到大数据技术的成果，直接面向用户的比如搜索引擎的排序结果，间接影响用户的比如网络游戏的流失用户预测、支付平台的欺诈交易监测等等。 互联网的海量数据不可能靠人工一个个处理，只能依靠计算机批量处理。最初的做法是人为设…

摘要：你的工作将在20年内不复存在：到2036年，机器人和人工智能将”淘汰”所有人类工人。这是美国斯坦福大学研究员、世界级人工智能专家维威克·沃德瓦的一个论断。世界经济论坛发布的报告也显示，提高自动化程度和在劳动力队伍中引入人工智能，未来5年将使15个主要经济体失去710万个就业岗位，而同期技术进步将仅带来200万个新工作岗位。 也许…

数据湖和数据中台的区别？

深度学习问题面临的挑战

定性研究结束后，随后的定量分析需要接触一定规模的用户，以此获取用户对产品的认知度等方面的信息，为了保证样本的代表性，通常采取电话访问的形式。 与试商用时期相比，产品上市后的用户数量会有所增加。如果成本允许，建议总样本规模尽可能达到600至800人左右，并按照用户黏性、订购方式分别配额。通常，访问800个用户，在95%的置信度下，可以确保误差在3.5%以内。 …

最近，有一位网友在微博上说，推荐是不是个伪命题连续几天试用了据说很好的某头条，某资讯以及某快报，感觉逃脱不了看什么就是什么的套路。也有人说，这是Exploitation & Exploration出了问题，没有很好得Exploration导致的结果。那么，个性化推荐到底是不是伪命题呢为什么很多推荐系统过了一段时间以后就老是推荐类似的东西呢本篇文章就要…

介绍 日常生活中，推荐工作都是怎样开展的呢推荐来源于经验。假设现在有人需要你基于现实生活中的数据立刻作出推荐，你会怎样做呢首先，我们会感觉自己得像智能顾问一样聪明。其次，我们做的已经超出人类的能力范围了。因此，我们的目标就是建立智能软件，让它为我们提供值得信赖的推荐系统。 当我们访问亚马逊、Netflix、 imdb等许多网站时，我们的潜意识里已经接触到了一…

自从听说阿里巴巴推出的芝麻信用评分可以帮助办理签证，小编就对这种评分产生了深厚的兴趣，何况它利用大数据分析的方法听上去也很酷，不知道你有没用过呢？今天，我们推送的文章就深度介绍了芝麻信用评分与经典的FICO评分之间的差异……

摘要：如何建立电商平台的标签系统？ 期待该问题的优质回答，给所有需要设计标签系统的童鞋一个很好的指引，简要说明一下要做的事情： 1.电商系统的标签，可以支持前台分类的搜索（或者叫查询？） 2.电商系统的标签，可以支持某个关键词搜索出的产品的筛选 3.电商系统的标签，可以支持给商品、用户、供应商、产品、评价等多个维度大标签。 ▍陆志亚 上海商米科技 产品经理 …

外部调研结束后，接下来的内部数据分析则需由产品经理、行业专家和数据分析师共同配合完成。产品经理首先提出业务需求，并及时帮助数据分析师理解需求目标，然后数据分析师在充分掌握的基础上，将其转化为内部数据挖掘的分析目标，最后与行业专家确认所构建出的业务模型。同时，通过内部数据分析，产品经理还可以了解不同用户群体对产品的使用情况，以及从用户使用特征的角度来划分市场。…