[图片] 分享嘉宾：李呈祥 哔哩哔哩 技术专家 编辑整理：胡平霞 Zalando 出品平台：DataFunTalk 导读： 本文主要介绍哔哩哔哩在数据湖与数据仓库一体架构下，探索查询加速以及索引增强的一些实践。主要内容包括： 什么是湖仓一体架构 哔哩哔哩目前的湖仓一体架构 湖仓一体架构下，数据的排序 ....

本文将从作者的亲身经历循序渐进地带你定位大多数事件分析出错的根本原因并给出解决策略。

在数据仓库的建设中，一般都会围绕着星型模型和雪花模型来设计表关系或者结构。下面我们先来理解这两种模型的概念。

1.数据仓库概念 （1）数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合。（2）通过对数据仓库中数据的分析，可以帮助企业，改进业…

作者 ｜ 左琴 策划 ｜ 蔡芳芳 过去几年，数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时，二者之间的边界也逐渐淡化。云原生的新一代数据架构不再遵循数据湖或数据仓库的单一经典架构，而是在一定程度上结合二者的优势重新构建。在云厂商和开源技术方案的共同推动之下，2021 年我们将会看到更多“湖仓一体 ....

[图片] 分享嘉宾：杨尚昂 京东 BI工程师 编辑整理：闵强 明略科技 出品平台：DataFunTalk 导读： 今天给大家分享京东在实时建模过程中使用Flink SQL的应用案例。主要从问题、难点、方案和规划四个方面来介绍。 01 问题 在维度建模中有很多技术场景，本文挑选其中两个较难的场景来进行 ....

数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用。

作者|凤凰牌老熊 这篇文章是支付风控系统设计的第二篇，重点介绍支持支付风控的数据仓库建设。关于支付系统在风控上的具体需求，参见上一篇文章支付风控场景分析。 支付系统的风控分析需要大量的数据支撑。本文从名单、画像和图谱三个层面，分析在支付系统建设的不同阶段如何建立支持风控计算的数据仓库，详细介绍从什么地方采集数据、如何采集数据、以及如何存储这些数据。 支付风控…

IBM、Oracle、Sybase、CA、NCR、Informix、Microsoft、和SAS等有实力的公司相继通过收购或研发的途径推出了自己的数据仓库解决方案，BO和Brio等专业软件公司也在前端在线分析处理工具市场上占有一席之地。下面针对这些数据仓库解决方案的性能和特...

存一份备用：大数据分析工具采购指南_数据仓库 大数据分析工具使用户能够分析各种各样的信息——包括结构化事务数据和社交媒体帖子、Web服务器日志文件及其他形式的非结构化和半结构化数据。一旦组织决定要购买一个大数据分析工具，下一步就是制定一个流程，评估可用的产品，然后从中找到一个最适...

数据的秘密（上）：为什么要关注数据？_数据仓库 由于科技的进步，以及数据「数字化」地存储，使得现代人类可以获得海量的数据。而有了这些海量的数据之后，借助于一些数据分析工具和方法，我们就可以从数据中找到社会运行的「秘密」。 在工作中，借助这些「秘密」，我们有可能发现商业中的新机会，...

大数据就是这么神奇！_数据仓库 大数据，顾名思义就是大量的数据，专业一点的解释叫做无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这...

六个步骤：助你最大化大数据的商业价值_数据仓库 上个月公布的一项调查结果显示，由Apache基金会所开发的分布式系统基础架构Hadoop可能即将面临着来自资金链方面的压力与挑战。具体而言，调查中的绝大多数受访者都表示目前没有对Hadoop的投资计划，主要原因是认为Hadoop“…...

数据仓库设计的21条原则 关键词： 数据仓库设计原则,仓库管理原则,数据仓库设计方法,数据仓库建设原则 –7个步骤，7个禁忌和7种思路 高效实现数据仓库的七个步骤 数据仓库和我们常见的RDBMS系统有些亲缘关系，但它又有所不同。如果你没有实施过数据仓库，那么从设定目标...

严选技术团队 导读：数据仓库，是我们数据工程师的无形产品，不同于可视化、交互型产品的评价体系，数据仓库的评价有其独特性。本文从概念-平台-规范的链路来介绍一下严选数据仓库，并介绍了严选数据仓库的评价体系。 数据为王的时代，数据量从最初的几十 G，慢慢沉淀到几十 T，甚至几十 PB 的量。数据工程师， ....

作者：西贝 大数据技术与数仓写在前面层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系。本文将以数据研发相关领域为例，对比分析我们工作中高频出现的几个名

[图片] 作者 | 闲鱼技术 - 雨成 文章来源 | 闲鱼技术团队 1.现状 闲鱼作为一款闲置交易 APP，在二手交易市场中是当之无愧的佼佼者。闲鱼从 2014 年诞生到现在七整年间持续增长，在这高速增长的背后带来的是每天近百亿的曝光点击浏览等数据，在这些数据规模如此庞大的背后也会带来诸多关于实时性 ....

分享嘉宾：仰宗强 编辑整理：刘春龙 出品平台：DataFunTalk 导读： 本次分享嘉宾是来自贝壳大数据部门的仰宗强，详细介绍了针对贝壳的业务数据与需求的增长，逐步升级数据开发平台的探索实践过程，包括三次数据开发平台架构升级的细节。 本次主题分享，主要从下面 4 个方面进行介绍： 背景介绍 探索历 ....

[图片] 分享嘉宾：张庭 菜鸟 数据工程师 文章整理：comn 出品平台：DataFunTalk 导读： 供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。菜鸟跨境进口业务场景更是如此，更复杂的场景带来更复杂的实体数据模型，对接的业务系统多导致 ETL 流程特别复杂，还 ....

作者简介：冷面，网易云音乐资深数据开发工程师，长期从事大数据开发，数仓建设、模型设计、数据治理、数据应用和服务等工作。目前主要负责云音乐离线数仓建设、会员业务线上数据服务、离线/实时 ABTEST 系统开发。 导读： 云音乐数仓在经历了前期混沌摸索，中期建设完善，如今已逐步形成了一套适合自己的数仓体 ....