使用 Lambda 函数从 So DynamoDB 解析和加载数据

wufei123 2025-01-26 阅读:3 评论:0
本文介绍如何使用aws lambda函数将s3存储桶中的json数据加载到dynamodb表中。 先决条件: 拥有向S3上传对象的权限。 拥有S3和DynamoDB权限的Lambda执行角色。 架构和组件: 本方案使用三个AWS服务:...

本文介绍如何使用aws lambda函数将s3存储桶中的json数据加载到dynamodb表中。

先决条件:

  1. 拥有向S3上传对象的权限。
  2. 拥有S3和DynamoDB权限的Lambda执行角色。

架构和组件:

本方案使用三个AWS服务:

  1. S3存储桶: 作为可扩展、安全、高性能的对象存储服务,用于存储数据。
  2. Lambda函数: 无服务器计算服务,用于运行代码并处理数据,无需管理基础设施。支持多种编程语言,易于设置。
  3. DynamoDB: 无服务器NoSQL数据库,用于存储Lambda函数处理后的数据。

使用 Lambda 函数从 So DynamoDB 解析和加载数据

工作流程:

  1. 用户通过控制台或CLI使用PutObject API将JSON文件上传到S3存储桶。
  2. 文件上传成功后,触发S3事件,调用Lambda函数进行数据加载和处理。
  3. Lambda函数处理数据并将其加载到DynamoDB表中。

实施步骤:

以下步骤详细说明如何部署和配置上述架构:

1. 创建Lambda函数:

  • 函数名称:parserdemo
  • 运行时:Python 3.1x (或其他支持的运行时)

其他设置保持默认值。创建函数后,修改超时配置和执行角色,如下所示:

使用 Lambda 函数从 So DynamoDB 解析和加载数据使用 Lambda 函数从 So DynamoDB 解析和加载数据

以下Python代码实现数据处理逻辑:

import json
import boto3

s3_client = boto3.client('s3')
dynamodb = boto3.resource('dynamodb')

def lambda_handler(event, context):
    bucket_name = event['Records'][0]['s3']['bucket']['name']
    object_key = event['Records'][0]['s3']['object']['key']
    print(f"Bucket: {bucket_name}, Key: {object_key}")

    response = s3_client.get_object(Bucket=bucket_name, Key=object_key)
    json_data = response['Body'].read()
    string_formatted = json_data.decode('UTF-8')
    dict_format_data = json.loads(string_formatted)

    table = dynamodb.Table('DemoTable')
    if isinstance(dict_format_data, list):
        for record in dict_format_data:
            table.put_item(Item=record)
    elif isinstance(dict_format_data, dict):
        table.put_item(Item=dict_format_data)
    else:
        raise ValueError("Unsupported Format")

2. 创建S3存储桶:

桶名称:使用唯一名称。其他设置保持默认值。将创建的S3存储桶作为触发器添加到Lambda函数:

使用 Lambda 函数从 So DynamoDB 解析和加载数据使用 Lambda 函数从 So DynamoDB 解析和加载数据

3. 创建DynamoDB表:

  • 表名称:DemoTable
  • 分区键:userid
  • 表设置:自定义
  • 容量模式:预配置

为了降低成本,将预配置容量单位设置为较低的读/写单位(例如1或2个单位)。

使用 Lambda 函数从 So DynamoDB 解析和加载数据使用 Lambda 函数从 So DynamoDB 解析和加载数据

完成设置后,上传文件到S3进行测试。您可以在DynamoDB表中查看已创建的项目和上传的记录。 Lambda函数的CloudWatch日志和DynamoDB项目如下所示:

使用 Lambda 函数从 So DynamoDB 解析和加载数据使用 Lambda 函数从 So DynamoDB 解析和加载数据

参考:

  • S3 API
  • DynamoDB API
  • Boto3 for AWS services

希望此指南对您有所帮助。如有任何疑问,请提出。

以上就是使用 Lambda 函数从 So DynamoDB 解析和加载数据的详细内容,更多请关注知识资源分享宝库其它相关文章!

版权声明

本站内容来源于互联网搬运,
仅限用于小范围内传播学习,请在下载后24小时内删除,
如果有侵权内容、不妥之处,请第一时间联系我们删除。敬请谅解!
E-mail:dpw1001@163.com

分享:

扫一扫在手机阅读、分享本文

发表评论
热门文章
  • 华为 Mate 70 性能重回第一梯队 iPhone 16 最后一块遮羞布被掀

    华为 Mate 70 性能重回第一梯队 iPhone 16 最后一块遮羞布被掀
    华为 mate 70 或将首发麒麟新款处理器,并将此前有博主爆料其性能跑分将突破110万,这意味着 mate 70 性能将重新夺回第一梯队。也因此,苹果 iphone 16 唯一能有一战之力的性能,也要被 mate 70 拉近不少了。 据悉,华为 Mate 70 性能会大幅提升,并且销量相比 Mate 60 预计增长40% - 50%,且备货充足。如果 iPhone 16 发售日期与 Mate 70 重合,销量很可能被瞬间抢购。 不过,iPhone 16 还有一个阵地暂时难...
  • 酷凛 ID-COOLING 推出霜界 240/360 一体水冷散热器,239/279 元

    酷凛 ID-COOLING 推出霜界 240/360 一体水冷散热器,239/279 元
    本站 5 月 16 日消息,酷凛 id-cooling 近日推出霜界 240/360 一体式水冷散热器,采用黑色无光低调设计,分别定价 239/279 元。 本站整理霜界 240/360 散热器规格如下: 酷凛宣称这两款水冷散热器搭载“自研新 V7 水泵”,采用三相六极马达和改进的铜底方案,缩短了水流路径,相较上代水泵进一步提升解热能力。 霜界 240/360 散热器的水泵为定速 2800 RPM 设计,噪声 28db (A)。 两款一体式水冷散热器采用 27mm 厚冷排,...
  • 惠普新款战 99 笔记本 5 月 20 日开售:酷睿 Ultra / 锐龙 8040,4999 元起

    惠普新款战 99 笔记本 5 月 20 日开售:酷睿 Ultra / 锐龙 8040,4999 元起
    本站 5 月 14 日消息,继上线官网后,新款惠普战 99 商用笔记本现已上架,搭载酷睿 ultra / 锐龙 8040处理器,最高可选英伟达rtx 3000 ada 独立显卡,售价 4999 元起。 战 99 锐龙版 R7-8845HS / 16GB / 1TB:4999 元 R7-8845HS / 32GB / 1TB:5299 元 R7-8845HS / RTX 4050 / 32GB / 1TB:7299 元 R7 Pro-8845HS / RTX 2000 Ada...
  • python怎么调用其他文件函数

    python怎么调用其他文件函数
    在 python 中调用其他文件中的函数,有两种方式:1. 使用 import 语句导入模块,然后调用 [模块名].[函数名]();2. 使用 from ... import 语句从模块导入特定函数,然后调用 [函数名]()。 如何在 Python 中调用其他文件中的函数 在 Python 中,您可以通过以下两种方式调用其他文件中的函数: 1. 使用 import 语句 优点:简单且易于使用。 缺点:会将整个模块导入到当前作用域中,可能会导致命名空间混乱。 步骤:...
  • Nginx服务器的HTTP/2协议支持和性能提升技巧介绍

    Nginx服务器的HTTP/2协议支持和性能提升技巧介绍
    Nginx服务器的HTTP/2协议支持和性能提升技巧介绍 引言:随着互联网的快速发展,人们对网站速度的要求越来越高。为了提供更快的网站响应速度和更好的用户体验,Nginx服务器的HTTP/2协议支持和性能提升技巧变得至关重要。本文将介绍如何配置Nginx服务器以支持HTTP/2协议,并提供一些性能提升的技巧。 一、HTTP/2协议简介:HTTP/2协议是HTTP协议的下一代标准,它在传输层使用二进制格式进行数据传输,相比之前的HTTP1.x协议,HTTP/2协议具有更低的延...