为了培养一个实用的DRL 交易agent，决定在哪里交易，以什么价格交易，以及交易的数量，会涉及非常多的内容和前期具有挑战性的开发和测试。 公众号为大家介绍了一个名为FinRL的DRL库，可以帮助初学…

摘要：从信息获取的角度来看，搜索和推荐是用户获取信息的两种主要手段。无论在互联网上，还是在线下的场景里，搜索和推荐这两种方式都大量并存，那么推荐系统和搜索引擎这两个系统到底有什么关系区别和相似的地方有哪些本文作者有幸同时具有搜索引擎和推荐系统一线的技术产品开发经验，结合自己的实践经验来为大家阐述两者之间的关系、分享自己的体会。 图1：搜索引擎和推荐系统是获取…

摘要：我对如何开发和部署”Shiny-SparkR”的应用一直很感兴趣，本文目的将展示如何使用 SparkR 来驱动 Shiny 应用。 什么是SparkR SparkR是一个为R提供了轻量级的Spark前端的R包。 SparkR提供了一个分布式的data frame数据结构，解决了 R中的data frame只能在单机中使用的瓶颈，…

摘要：1985年毕业于美国斯坦福大学的Doug Cutting并不是一开始就决心投身IT行业的。但又如何成为了Hadoop之父？以及这10年中，Hadoop的发展和未来期待又是如何的？ 上次见到（膜拜）Hadoop之父Doug Cutting是在2年前，2014中国大数据技术大会上。今年Hadoop10岁，刚看到他的Hadoop十周年贺词，感觉时间飞逝。最近…

摘要：如果去商场里买东西，我并不愿意听导购小姐讲的话，但是电商网站上的推荐，我还真的愿意看一看。【猜你喜欢】，好，那你就猜猜吧。 推荐这种体验除了电商网站，还有新闻推荐、电台音乐推荐、搜索相关内容及广告推荐，基于数据的个性化推荐也越来越普遍了。今天就针对场景来说说这些不同的个性化推荐算法吧。 说个性化之前，先提一下非个性化。 非个性化的推荐也是很常见的，毕竟…

母婴相对一般的电子商务网站有一些特点：第一个特点是商品周期短，在母婴网站上的商品，在线的时间不会超过5-7天，第二个是用户需求的变化快，在母婴行业，可能是用户的需求变化最快的领域，比如是用户处在怀孕当中，关心的是孕妈的一些问题，几个月以后，随着宝宝的落地，就会准备一些纸尿裤和奶粉，而且随着宝宝的长大，纸尿裤和奶粉的类型也会变化。第三个是移动化，一般有90%的…

摘要：用于大规模数据集并行运算的MapReduce诞生之后，谷歌工程师对其进行了大规模随机数据的排序测试。最近，他们向外界披露了过去几年的测试数据和经验总结，特别是50PB海量数据的排序，对于关注数据处理的技术人员来说很有借鉴意义。 为什么谷歌工程师喜欢测试排序？因为很容易产生任意规模的数据，也很容易验证排序的输出是否正确。 最初的MapReduce论文就报…

摘要：本文为您介绍了如何使用 Spark Streaming 实时分析社交媒体数据，通过创建了一个不停运转的流程序，来演示如何实时获取 Twitter 数据，根据文本和位置来收集推文，并使用了 K 均值算法。 这是一篇关于使用 Spark Streaming 实时分析社交媒体数据的简短教程。 您想知道人们在发微博谈论世界的哪些不同地方吗，是在谈论各大洲还是在…

NDC是网易近一年新诞生的结构化数据传输服务，它整合了网易过去在数据传输领域的各种工具和经验，将单机数据库、分布式数据库、OLAP系统以及下游应用通过数据链路串在一起。

Youtube的AI算法已然无处不在

TensorFlow在深度学习框架中，占据第一的位置已经很久了，而且在可见的未来，也将一直占据第一的位置。

如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；如果把数据看作城市的建筑，我们希望城市规划布局合理；如果把数据看作电脑文件和文件夹，我们希望按照自己的习惯有很好的文件夹组织方式，而不是糟糕混乱的桌面，经常为找一个文件而不知所措。

GitHub是最著名的版本控制存储库之一。在其中，您可以找到很多优秀的项目和资源。这是列出了在GitHub上最受欢迎​​的7个数据科学课程的列表。

无论是数据科学家还是数据分析师，都需要跨学科人才，必须知道如何操作代码以便告诉计算机如何分析数据。

本文介绍了Hadoop分布式式文件系统原理以及Hadoop读写流程

摘要：本章节是“我所经历的大数据平台发展史”最后一章，含有一番外篇，算是对文章提到的数据模型、数据产品的一些细节补充。预计阅读完毕需要20分钟左右。 互联网时代被弱化的数据模型 谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与…

本文纯属虚构，如有雷同，一定统计不显著

本文纯属虚构，如有雷同，一定统计不显著

大数据泄漏和大数据库为今年的美国大选设定了基调。被政客们当作武器的都是哪些类型的数据，这些数据又值多少钱呢？

谁能引爆大数据？在帷策智能、原力大数据创始人兼CEO江颖看来，这个答案就是“位置大数据”。她表示，位置数据 + 时间数据 + 事件数据 + 场所数据+ 人物行为数据 + …… = 大数据的无限演绎，位置大数据将引爆全行业大数据应用