移动数据时,Dataflow通过云功能带来的好处？

我对GCP比较陌生,只是开始在GCP上设置/评估我的组织架构.

场景:
数据将流入pub/sub主题(高频率,低数据量).目标是将数据移至Big Table.根据我的理解,您可以通过触发主题或使用Dataflow实现云功能.

现在我有以前的云功能经验,我很满意,所以这将是我的选择.

我没有看到选择一个优于另一个的好处.所以我的问题是何时选择这些产品？

谢谢

两种解决方案都可行.如果您的发布/订阅流量增长到大量数据,数据流将更好地扩展,但云功能应该适用于少量数据; 我会查看此页面(尤其是速率限制部分)以确保您符合云功能:https://cloud.google.com/functions/quotas

另一件需要考虑的事情是,Dataflow可以保证一次性处理您的数据,因此BigTable中不会出现重复数据.Cloud Functions不会为您提供开箱即用的功能.如果您使用函数方法,那么您将需要确保Pub/Sub消息始终确定写入哪个BigTable单元格; 这样,如果函数多次重试,相同的数据将简单地覆盖相同的BigTable单元格.