使用Airflow在数据库之间移动和转换数据

作者：个性2402852463 | 2023-09-07 16:23

如何解决《使用Airflow在数据库之间移动和转换数据》经验，为你挑选了0个好方法。

使用气流,我从MySQL数据库中提取数据,用python转换它并将其加载到Redshift集群中.

目前我使用3个气流任务:它们通过在本地磁盘上写入CSV来传递数据.

如果不写入磁盘我怎么能这样做？我应该在python中编写一个大任务吗？(这会降低能见度)

编辑:这是一个关于Airflow的问题,以及选择任务粒度以及如何在它们之间传递数据的最佳实践.这不是关于数据迁移或ETL的一般问题.在这个问题中,ETL仅用作气流任务的工作量的例子.

推荐阅读

程序员
Swift:使用Failable Initializer从JSON创建模型类

如何解决《Swift:使用FailableInitializer从JSON创建模型类》经验，为你挑选了1个好方法。 ... [详细]
程序员
发送带有电子webview的发布请求

如何解决《发送带有电子webview的发布请求》经验，为你挑选了1个好方法。 ... [详细]
程序员
为什么编程语言不使用简化的布尔表达式？

如何解决《为什么编程语言不使用简化的布尔表达式？》经验，为你挑选了2个好方法。 ... [详细]
程序员
如何使用按钮启用/禁用文本框

如何解决《如何使用按钮启用/禁用文本框》经验，为你挑选了1个好方法。 ... [详细]
程序员
对于标准库实现来说,专门化一个带有子概念的概念上的函数是否合法？

如何解决《对于标准库实现来说,专门化一个带有子概念的概念上的函数是否合法？》经验，为你挑选了0个好方法。 ... [详细]
程序员
如果我将JavaScript事件绑定到一个元素,然后删除该元素,该事件会发生什么？

如何解决《如果我将JavaScript事件绑定到一个元素,然后删除该元素,该事件会发生什么？》经验，为你挑选了1个好方法。 ... [详细]
程序员
放大Chrome后,svg模式中的图像变得模糊

如何解决《放大Chrome后,svg模式中的图像变得模糊》经验，为你挑选了0个好方法。 ... [详细]
程序员
python中的文字是什么？

如何解决《python中的文字是什么？》经验，为你挑选了2个好方法。 ... [详细]
程序员
如何使用gitlab进行let的加密？

如何解决《如何使用gitlab进行let的加密？》经验，为你挑选了3个好方法。 ... [详细]
程序员
如何在bash数组的所有条目中用下划线替换空格

如何解决《如何在bash数组的所有条目中用下划线替换空格》经验，为你挑选了1个好方法。 ... [详细]
程序员
Ember 2:截断文本并添加省略号

如何解决《Ember2:截断文本并添加省略号》经验，为你挑选了1个好方法。 ... [详细]
程序员
休眠验证+自定义约束+ java.lang.NullPointerException

如何解决《休眠验证+自定义约束+java.lang.NullPointerException》经验，为你挑选了0个好方法。 ... [详细]
程序员
你如何调试react-native使用的自定义android模块

如何解决《你如何调试react-native使用的自定义android模块》经验，为你挑选了1个好方法。 ... [详细]
程序员
npm递归更新包

如何解决《npm递归更新包》经验，为你挑选了0个好方法。 ... [详细]
程序员
如何在Django中缓存模型方法？

如何解决《如何在Django中缓存模型方法？》经验，为你挑选了0个好方法。 ... [详细]
程序员
Java在同一组件上摆动不同的布局

如何解决《Java在同一组件上摆动不同的布局》经验，为你挑选了1个好方法。 ... [详细]
程序员
使用R中的lubridate包找到一年中的某一天

如何解决《使用R中的lubridate包找到一年中的某一天》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何使用JSX重复一次元素n次

如何解决《如何使用JSX重复一次元素n次》经验，为你挑选了3个好方法。 ... [详细]
程序员
MouseHover在鼠标关闭时不会触发

如何解决《MouseHover在鼠标关闭时不会触发》经验，为你挑选了0个好方法。 ... [详细]
程序员
Go - 如何增加最大Stdin输入长度？

如何解决《Go-如何增加最大Stdin输入长度？》经验，为你挑选了1个好方法。 ... [详细]

个性2402852463

这个屌丝很懒，什么也没留下！

关注作者

Tags | 热门标签

RankList | 热门文章