简介： 本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。 简介：本文由网易云音乐实时计算平台研发工程师岳猛分享， ....

分享嘉宾：李建舒 美团 技术专家 编辑整理：李梦 出品平台：DataFunTalk 导读： 本文主要介绍美团酒旅数据治理的历程和实践经验，以及业务发展各个阶段中数据体系遇到的问题和解决方案。最后，将探讨数据治理在现阶段的建设思路和发展方向。 [图片] 01 背景介绍 数据治理这个话题这两年非常火热， ....

摘要： 本文整理自云邪、雪尽在 Flink Forward Asia 2020 的分享，该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成， 文章的主要内容如下： 数据仓库与数据集成 数据接入(E) 数据入仓/湖(L) 数据打宽(T) 数据仓库与数据集成 [ ....

分享嘉宾：陈天明 汽车之家编辑整理：徐焱森 中经惠众出品平台：DataFunTalk导读： 本文主要介绍汽车之家离线计算平台的建设过程，如何应对集群大规模增长带来的性能和稳定性的挑战，如何解决多租户情

1 背景 作业帮大数据团队主要负责建设公司级数仓，向公司各个重要产品线（拉新、教学、BI 等）提供面向业务的数据信息，如到课时长、答题情况等。在过去半年多时间内，我们基于 Apache Doris，构建了数仓实时查询系统。本文总结并分享下期间的工作内容，也欢迎大家一起讨论。 典型的数仓从逻辑上划分为 ....

[图片] 文章作者：i 技术会 内容来源：爱奇艺技术产品团队 导读： 本文主要介绍如何通过数仓平台进行数据建模，从而构建统一、规范化、标准化的数据仓库体系，以及围绕核心数据仓库元数据中心建设数据图谱等方面的实践和心得，来解决实际场景中遇到的各种问题，学习数据仓库整体建设思想以及元数据应用服务搭建。首 ....

[图片] 分享嘉宾：杨雄 网易严选 资深研发工程师 内容来源：DataFun Talk《基于 Flink 的严选实时数仓实践》 出品社区：DataFun [图片] 今天分享的内容主要分为四个部分，首先会介绍下严选实时数仓的背景、产生的一些问题。然后是针对这些背景和问题对实时数仓的整体设计和具体的实施 ....

仰宗强@贝壳找房 本文根据贝壳找房资深工程师仰宗强老师在 2020 年'面向 AI 技术的工程架构实践'大会上的演讲速记整理而成。 1 开场 大家下午好，很荣幸来到这跟大家一起分享贝壳一站式大数据开发平台的落地实践。今天的分享主要分为以下四个部分： 贝壳的数据业务背景。 数据开发平台探索历程。 数据 ....

[图片] 桔妹导读： 随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。 1. 实时数仓建设目的 随着互 ....

[图片] 桔妹导读： 指标体系是什么？如何使用 OSM 模型和 AARRR 模型搭建指标体系？如何统一流程、规范化、工具化管理指标体系？本文会对建设的方法论结合滴滴数据指标体系建设实践进行解答分析。 1. 什么是指标体系 ▍1.1 指标体系定义 指标体系是将零散单点的具有相互联系的指标，系统化的组织 ....

[图片] 文章作者：朱良 美团外卖 技术专家 编辑整理：Comn 出品平台：DataFunTalk 导读： 本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。在实践中，我们总结的最佳实践是：一个通用的实时生产平台 + 一个通用交互式 ....

随着数据量的爆炸式增长，数据仓库或数据平台已经是每家企业或机构不可缺少的工具，而数据模型正是数据仓库的灵魂。本期详细介绍数据模型的概念、分类和应用，相信你一定有兴趣~

摘要：本文是面向数据领域的一篇专业文章，里面有大量的专有术语，阅读完大约需要15分钟左右。 前言，这个数据平台发展史仅是自己经历过由传统数据平台到互联网数据平台发展一些简单回忆，文章引用了历史项目&平台规划架构，在这里不做更深入描述。 我是从2000年开始接触数据仓库，大约08年开始进入互联网行业，那时在互联网接触到数据平台与传统第三代数据架构还是…

如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；如果把数据看作城市的建筑，我们希望城市规划布局合理；如果把数据看作电脑文件和文件夹，我们希望按照自己的习惯有很好的文件夹组织方式，而不是糟糕混乱的桌面，经常为找一个文件而不知所措。

摘要：记得几年前，曾经有人预测过未来最流行的三大技术：大数据、高并发、数据挖掘。到现在来看，这三种技术的确也随着这几年互联网的发展变得越发成熟和可靠。掌握这三种技术的人，不管是求职还是创业，都属于香饽饽。 一个很深的印象就是当年研究生毕业的时候，专业是数据挖掘、大数据的学生都比较受各种企业的青睐，不管他是不是真的掌握了这些东西。虽然我对大部分高校的相关专业持…

今天就再来深入的谈一谈数据中台的本质。

最近数据字典这个词经常跳出来，挑动着笔者的神经，搞了很多年的取数，报表、经分直至大数据，每每都会搞数据字典，但每每都难说成功，我们的数据字典都经历了三生三世啊，为什么还未成功？

创业公司如何搭建数据仓库？

联机事务处理OLTP（on-line transaction processing）主要是执行基本的、日常的事务处理，比如数据库记录的增、删、改、查。比如在银行存取一笔款，就是一个事务交易。 OLTP的特点一般有： 1.实时性要求高； 2.数据量不是很大； 3.交易一般是确定的，所以OLTP是对确定性的数据进行存取；(比如存取款都有一个特定的金额) 4.并发…

数据挖掘需要掌握的内容包括：统计学、机器学习、模式识别、数据库和数据仓库、信息检索、可视化、算法、高性能计算等。 下图比较清楚的画出了学习数据挖掘需要掌握的知识内容： 1、统计学 统计学是通过搜索、整理、分析数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。其中用到了大量的数学及其它学科的专业知识，它的使用范围几乎覆盖了社会科学和自然科…