今天我来谈谈Dolead的数据环境。
首先,我来向大家介绍一下Dolead面临的挑战:
数据报告
数据仪表板
数据探索
数据智能
然后,我将讨论我们为应对这些挑战而选择的技术堆栈:
谷歌云
BigQuery
二丁基锡
空气交换
空气流动
最后,我将解释我们目前正在应对的不同挑战。
数据环境
我将从我们的数据环境和数据驱动方法背后的动机开始。
Dolead 是一家数字广告公司,因此,我们每天从公司各个部门的不同来源收到数百 GB 的数据。
这些来源包括但不限于:
我们从 Meta、Google、Tiktok 或 Bing 同步的社交网络数据
来自 Outbrain 或 Taboola 的广告网络数据
在我们的登陆页面上跟踪用户行为
在线表格和调查
广告客户数据,例如由我们的广告产生的销售数量
所有这些来源都创建了一个复杂的数据环境,我必须对其进行综合和组织,以便我们的用户和利益相关者能够以自助服务模式充分利用它。
数据挑战和用例
数据仪表板是提供定制的数据仪表板和可视化以进行日常监控的行为。数据质量、数据新鲜度和数据转换非常重要。数据新鲜度通常为日级,对于某些数据,甚至为小时级
数据报告涉及定期数据导出和会议及里程碑报告。质量和转型至关重要
数据探索:技术团队、数据科学家定期进行 dj 电子邮件数据库列表 数据探索。需要确保数据质量和数据新鲜度
数据智能:自动化、机器学习算法。数据质量对于良好的训练至关重要
技术堆栈
谷歌云
BigQuery
无服务器 SQL 数据仓库
根据需要扩大或缩小资源
按使用量付费模式与你在 SQL 查询和转换中处理的数据量有关
旁观者
连接到 BigQuery 的报告和仪表板软件,用于显示和可视化 BigQuery 上托管的数据
云存储
我们用来在加载到 BigQuery 之前存储文件、对象、媒体或暂存步骤的原始数据存储设施
空气交换
提取和加载软件,既是云选项,也是开源软件
您可以将 Python 数据管道编写为代码,并将其托管在运行代码的 Airbyte 服务器中
您可以使用社区为标准提取和加载管道编写的现成数据管道
由于它在单个服务器上运行,因此不适合转换;最好让转换在数据仓库中进行,例如 BigQuery
二丁基锡
SQL 转换工具,使您能够将数据转换编写为 SQL 代码并使用数据仓库运行它在 2024 年夏季奥运会前夕,巴黎采用了创新的潜在客户开发策略来在全球范围内推广该赛事。这不仅是为了吸引游客和运动员,还为了吸引社区、争取赞助商和与媒体合作。让我们探索巴黎如何实现这一目标的具体例子。
数据共享的一些常见用例有哪些?
-
- Posts: 329
- Joined: Sun Dec 22, 2024 5:06 am