使用AWS Lambda函数访问存储在AWS s3中的大型文件

我有超过30GB的文件存储在s3中,我想写一个Lambda函数,它将访问该文件,解析它然后运行一些算法.我不确定我的lambda函数是否可以获取该大文件并对其进行处理,因为Lambda函数的Max执行时间为300秒(5分钟).我找到了有关加速更快的AWS S3功能,但它会有所帮助吗？

考虑lambda函数以外的场景可以任何人建议任何其他服务来托管我的代码作为微服务并解析文件吗？

提前致谢

它完全基于处理要求和处理频率.

您可以使用Amazon EMR解析文件并运行算法,并根据要求终止群集或使其保持活动状态以进行频繁处理.https://aws.amazon.com/emr/getting-started/

您可以尝试使用Amazon Athena(最近推出)服务,该服务将帮助您解析和处理存储在S3中的文件.亚马逊将照顾基础设施需求.http://docs.aws.amazon.com/athena/latest/ug/getting-started.html

对于复杂处理流程要求,您可以使用AWS DataPipeline等AWS服务组合(用于管理流和AWS EMR或EC2)来运行处理任务.https://aws.amazon.com/datapipeline/

希望这有帮助,谢谢