稿｜三余 一、前言 模型部署作为算法工程落地的最后一公里，其天然对算法团队而言具有较高的复杂性，不仅要考虑如何高效地部署、管理不同框架模型，还需要考虑分布式服务的负载均衡、故障容错、可扩展性、资源隔离、限流、核心指标监控等问题。这些都极大的依赖于工程团队的能力，不是算法团队的强项，如何解决这最后一公 ....

[图片] 分享嘉宾：周玉驰 贝壳 资深算法工程师 编辑整理：吴祺尧 出品平台：DataFunTalk 导读： 因果推断的应用范围十分广泛，例如气候变暖、新药研发、物理研究、经济学等。AI领域，特别是互联网产业，如何科学的进行因果分析，是一个重要的议题。本次分享的主题是因果分析在贝壳的探索和实践。 今 ....

Spark是什么？        Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。 Spark包含了大数据领域常见...

本篇主要讲解实际运用中Prophet调参的主要步骤以及一些本人实际经验。 一 参数理解篇 class Prophet(object): def __init__( self, gr…

Prophet 简介 Facebook 去年开源了一个时间序列预测的算法，叫做 fbprophet，它的官方网址与基本介绍来自于以下几个网站： Github：https://git…

入门数据挖掘，必须理论结合实践。本文梳理了数据挖掘知识体系，帮助大家了解和提升在实际场景中的数据分析、特征工程、建模调参和模型融合等技能。

作者：李晓春 中兴开发者社区 1.1 分布式数据管理之痛点 为了确保微服务之间松耦合，每个服务都有自己的数据库, 有的是关系型数据库（SQL），有的是非关系型数据库（NoSQL）。开发企业事务往往牵涉到多个服务，要想做到多个服务数据的一致性并非易事，同样，在多个服务之间进行数据查询也充满挑战。 我们以一个在线B2B商店为例，客户服务 包括了客户的各种信息，例…

文|数加大数据团队 自从上次给老公写了个《我是数据分析师（一）：假老公提Excel数据自动更新的需求》教程，他就哼哧哼哧的去做了，就在上周他又提了个新的问题：“我还有一张用户信息，需要跟之前那张销售订单表关联，看看购买的用户的地域来源及年龄情况，要怎么搞？” 于是，就在各位童鞋还沉浸在三八妇女节的欢乐中时，我居然还在跟家里那位讨论怎么做多表关联的报表，而那时…

[图片] 分享嘉宾：Moyan 腾讯音乐 高级算法研究员 编辑整理：吴祺尧 出品平台：DataFunTalk 导读： QQ音乐和全民K歌的各种技术需求驱动了多模态学习的研究。在总结归纳业务需求时，我们总结了MMatch，一系列模态匹配技术。提出多模态技术的想法很自然，因为不同模态之间的描述可以补充知 ....

使用selenium模拟浏览器进行数据抓取无疑是当下最通用的数据采集方案，它通吃各种数据加载方式，能够绕过客户JS加密，绕过爬虫检测，绕过签名机制。它的应用，使得许多网站的反采集策略形同虚设。由于selenium不会在HTTP请求数据中留下指纹，...

由于现在大型网站对selenium工具进行检测，会跳页面checking your browser before accessing，若检测到selenium，则判定为机器人，访问被拒绝。所以第一步是要防止被检测出为机器人，如何防止被检测到呢？当...

[图片] 分享嘉宾：汤楚熙 美团 编辑整理：李瑶 DataFun 出品平台：DataFunTalk 导读： 大家好，我叫汤楚熙，来自美团数据平台中心的计算平台团队，当前主要工作内容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景，实时数仓建设中的挑战和解决方案，包括一些关键的设计 ....

[图片] 作者：果贝，阿里云资深技术专家 ，实时数仓Hologres负责人 2022年1月7日，阿里云实时数仓Hologres举行了年度发布会，在发布会上，来自阿里的资深技术专家从阿里的核心场景出发，为大家解读了实时数仓的新发展趋势“在线化、敏捷化、一站式”。通过本文，我们将会深入解读实时数仓发展所 ....

作者：vivo互联网服务器团队-Li Qingxin 本文根据Li Qingxin老师在“2021 vivo开发者大会 '现场演讲内容整理而成。 一、vivo推送平台介绍 1.1 从产品和技术角度了解推送平台 推送平台是做什么的？ 有的小伙伴可能了解过，有的可能是第一次接触到。无论您是哪一种情况都希 ....

前言 我们小伙伴应该都听说够消息中间件MQ，如：RabbitMQ，RocketMQ，Kafka等。引入中间件的好处可以起到抗高并发，削峰，业务解耦的作用。 [图片] 如上图： （1）订单服务投递消息给MQ中间件 （2）物流服务监听MQ中间件消息，从而进行消费 我们这篇文章讨论一下，如何保障订单服务把 ....

作者：柳明 阿里巴巴 高级技术专家 2010 年加入阿里，2010 年到 2015 年带领团队打造了国内最大规模的基于开源技术 Lucene 的搜索平台，2015 年后响应集团中台号召开始带领团队负责阿里集团搜索中台的建设，通过三年的潜心打造，我们团队在 DevOps、AIOps、offline 中 ....

直接上代码： # -*- coding: utf-8 -*- #将多个Excel文件合并成一个 import os import xlrd import xlsxwriter #打开一个excel文件 def open_xls(file): fh...

[图片] 导读：百度搜索中台内容计算架构为在线提供了数十亿的异构且有丰富特征和信号的优质原材料。我们以 Serverless 理念为指引，通过FaaS化和智能化的系统性建设，构建了新一代内容数据计算系统，实现了业务研发效率、资源成本和架构稳定性维护性的显著提升。本文从搜索中台内容架构演进过程中遇到的 ....

很多人掌握了很多数据分析工具和技能，依然做不好数据分析。面对具体的业务问题，我们还是容易两眼一抹黑，单单会工具和技能是不够的，还必须拥有数据分析思维。 数据思维决定了你如何思考问题…

深度学习可以对物理世界的人/物/场景所产生各种非结构化数据（如语音、图片、视频，语言文字、行为等）进行抽象，变成多维的表示向量。 物理世界的关系可以通过表示向量的距离数学运算得到。 [图片] ** ** 一.向量检索的意义 深度学习最重要的作用就是“表示学习”【1】，简单来说，就是把对象通过深度模型 ....