转眼到了2011年初，我感觉团队放在网页相关性部门，不利于发展。我的想法是要把团队面向全公司服务，甚至成为像NLP(自然语言处理)部门在厂长心中的地位。但网页相关性部门的上司觉得先服务好本部门就够了。我和基础架构部的一个经理(最早在百度负责维护和开发Hadoop团队的负责人，在他完成了Hadoop在全百度的推广之后，改为负责一个分布式存储团队了)商量了一下，…

痛定思痛，我们觉得主要问题出在数据源上。百度有上百条业务线(有一定业务规模的)，牵涉到数千个日志模块，每个模块的日志格式都是不一样的。甚至就连Web Server这层，有用Apache的，有用Lighttpd的，也有用Nginx的，用的软件版本可能还是不同的。日志格式五花八门，输出的是非结构化的文本字符串，比如Nginx一条日志： 219.136.113.4…

在上一篇的最后，我把数据处理分成五个阶段，分别是数据采集、数据传输、数据建模/存储、数据统计/分析/挖掘、数据可视化/反馈。这篇主要讲解第一个环节数据采集相关的内容。 如果看过前面几篇，就会体会到我对数据源的重视程度是超乎想象的，认为数据源整好了，数据处理就搞定了一半。如果源头没有整好，后续用再复杂的算法，也不能解决数据缺失和错误所带来的问题，并且会花费许多…

几点想法，分享给刚入门的数据分析师，也跟经验丰富的数据分析师做下探讨。 1.数据是有立场的，立场决定解读 数据对于业务来讲，是KPI的衡量标杆，也是行动指南。但一旦涉及到立场和方向性的东西，必然有利益触发点的问题。比如同样的一次活动的网站转化率是1.2%，是好还是坏？这是做数据分析第一步要进行的定位，也就是我们所说的下结论。好坏的区分在于比较，如何比较呢？我…

究竟什么是活跃?

DataMaster划分为六个中心，分别为采集交换中心、取数操作中心、数据开发中心、敏捷挖掘中心、数据开放中心及运营管理中心。

大数据通过提供各种更好的电子签名解决方案，主要改善行业和数字证券。

以下是淘宝云梯分布式计算平台的整体架构，由数据分析网整理自网络资料，供大家学习参考。

数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用。

在本文中优酷数据中台的数据技术专家门德亮分享了优酷从Hadoop迁移到阿里云MaxCompute后对业务及平台的价值。

大数据和分析法的质量，不如分析的目的来得重要。最有趣的紧张态势和争论，始终围绕着组织是否会因使用分析法而获得最大报酬，以使既有的流程行为(process behavior)更完善，或者改变公司人员的行为。

作为一名程序员，你的效率什么时候最高？

【摘要】如果能在一台服务器上应用人工智能和机器学习算法处理每天的股票交易，而自己则在夏威夷的海滩上享受生活，那将是多么惬意呀。虽然股票价格的变化受多种因素的影响，世上也没有免费的午餐，但是有些公司依然能够借助于开源的机器学习算法和数据分析平台得到“更好、更健康、更便宜的午餐”。本文搜集并整理了一些如何实现实时股票分析系统的资料，从架构和算法两个层面给出了一种…

一篇关于Hadoop1.0、Hadoop2.0与Yarn的博文，从整体上把握三者之间的联系

商业智能 BI ( Business Intelligence) 简单来说就是一套由数据仓库、查询报表、数据分析等组成的数据类技术解决方案，将企业中不同业务系统（ ERP、CRM、OA、BPM 等，包括自己开发的业务系统软件）中的数据进行有效的整合，并利用合适的查询和分析工具快速并且准确的为企业提供报表展现与分析，为企业提供决策支持

商业智能 BI 分析平台构建重点

从国内企业使用情况来看，BI工具的应用国外产品，包括SAP BO、Oracle BIEE、Cognos、MSTR、Qlikview、Tableau等等，国内工具以FineBI、亿信华辰ABI、永洪BI为主。 

BI能够带给企业的价值：让每一次决定、每一个管理细节、每一层战略规划都有数据支撑。

决策树故名思意是用于基于条件来做决策的，而它运行的逻辑相比一些复杂的算法更容易理解，只需按条件遍历树就可以了，需要花点心思的是理解如何建立决策树。

最近出炉了不少关于科技产业中各种预测，综合一下各厂商的观点，我们将对2013年度的大数据发展预测进行综述，再加上我们的意见，有些可能会是十分有趣的。 Hadoop的2013 让我们从Hadoop开始吧。作为大数据技术的典型代表，相信你一点也不会对有许多公司的预测仅仅专注于Hadoop而感到意外。MapR首席执行官John Schroeder预测称，“硬件将针…