面向.NET开发者的Terraform入门指南:自动化AWS基础设施配置

基础设施即代码(IaC)#

当你已经开始决定将所有应用程序的基础设施需求转移到云端后，下一步是高效地管理和配置该基础设施,这就是基础设施即代码(IaC)发挥作用的地方。IaC允许你使用代码自动创建、配置和管理云资源。这种方法确保了一致性、可重复性和可扩展性,使基础设施管理更加可靠,减少错误。

无论你需要启动一个简单的Web应用程序还是编排一个复杂的多层架构,IaC都能让你轻松定义、部署和管理所有这些。在可用的IaC工具中,Terraform是最受欢迎的,也是最明显的选择。

Terraform简介#

Terraform是当今最流行的IaC工具之一,允许你使用统一的语法管理多个云提供商的基础设施。无论你使用的是AWS、Azure、Google Cloud还是本地基础设施,Terraform的声明式语言都能让你以可扩展和可维护的方式定义资源和依赖关系。

安装Terraform#

首先,让我们在你的机器上安装Terraform。请按照此文档中的说明进行安装。如果你使用Windows并想通过Chocolatey安装,请以管理员权限运行以下命令安装Chocolatey:

1
Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://community.chocolatey.org/install.ps1'))

安装Chocolatey后,让我们安装Terraform:

1
choco install terraform

你可以通过在命令行运行terraform --version来验证安装。

在撰写本文时,最新的稳定版本是1.9.5。我们将主要使用Visual Studio Code编辑器来处理Terraform,因为它为编写此类脚本提供了最佳体验。请确保安装了以下扩展以改善你的开发体验:

1. HashiCorp Terraform

这将提供语法高亮、验证和建议等附加功能,使编写terraform文件变得更加顺畅。

Terraform提供者#

Terraform提供者就像插件,指示Terraform使用特定的云提供商,如AWS、Azure、GCP等。请注意,使用Terraform也可以实现多云架构。但在本指南中,我们将保持简单。

例如,如果你需要部署AWS S3存储桶,你需要使用AWS Terraform提供者。AWS提供者提供了一组资源,对应于AWS资源,如ECS、VPN等。截至今天,有超过200种AWS服务可用。

首先,创建一个providers.tf文件,并添加以下内容:

1
terraform {
2
  required_version = "~> 1.9.5"
3
  required_providers {
4
    aws = {
5
      source  = "hashicorp/aws"
6
      version = "~> 5.64.0"
7
    }
8
  }
9
}
10

11
provider "aws" {
12
  region = "us-east-1"
13
  default_tags {
14
    tags = {
15
      Environment = "staging"
16
      Owner       = "Mukesh Murugan"
17
      Project     = "codewithmukesh"
18
    }
19
  }
20
}

在terraform块中,我们将定义所需的版本并将其设置为1.9.5,这是terraform的当前最新版本。接下来,我们将定义terraform aws提供者的版本,即5.64.0,这也是aws提供者的最新可用版本。

在provider块中,我们将Area设置为us-east-1,并提到一些默认标签,这些标签将添加到我们创建的每个资源中。我们将添加Environment、Owner和Project等标签。

这指示Terraform使用AWS作为提供者,并将资源部署到us-east-1区域。

在Terraform中编写你的第一个S3存储桶#

现在我们已经添加了提供者,让我们编写我们的第一个资源,即AWS S3存储桶。创建一个buckets.tf并添加以下内容:

1
resource "aws_s3_bucket" "codewithmukesh" {
2
  bucket = "codewithmukesh-bucket"
3
}

检查这段简单的代码。Terraform中S3存储桶的资源名称是”aws_s3_bucket”,这个特定资源的标识符是”codewithmukesh”。在这个资源块内,我们可以定义支持的S3存储桶属性,如名称和其他配置。你可以通过访问此链接了解此资源支持的其他属性。

以下是步骤:

1. 决定创建资源A。
2. 你需要了解如何在云上手动创建资源A,以及与之相关的每个细节。
3. 导航到Terraform文档,在适当的提供者(在我们的例子中是AWS)下搜索你需要的资源。
4. 根据文档进行修改。

**没有开发人员或DevOps工程师会(或被期望)记住每个资源脚本。**相反,文档应该始终被视为唯一的真相来源,因为它们会随着新版本的发布而变化。不要试图记忆terraform资源和语法,只需知道如何从文档中适应它们。

例如,如果我想通过Terraform部署ECS服务,我会参考https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/ecs_service。

到目前为止,我们已经编写了terraform资源来部署AWS S3存储桶,但还没有部署它。在此之前,我们需要熟悉Terraform CLI命令和生命周期。

Terraform生命周期和CLI命令#

Terraform遵循特定的生命周期来管理基础设施即代码。以下是关键步骤和相应的CLI命令:

验证Terraform以管理AWS中的资源#

现在,有多种方法可以确保Terraform经过身份验证以代表你管理AWS资源。你可以修改providers块以包含AWS凭证(Secret Key和Access Key),或使用AWS CLI配置文件来确保你的开发机器已通过身份验证。

1. 通过提供者块:

1
provider "aws" {
2
  region     = "us-west-2"
3
  access_key = "my-access-key"
4
  secret_key = "my-secret-key"
5
}

虽然这是一种相当简单的方法,但存在许多安全问题,因为你现在将AWS Secret Key暴露给公众。但是,如果你只是测试东西,而不一定将任何代码推送到版本控制系统(如GitHub或GitLab),你可以使用这种方法。

2. AWS CLI配置文件

这是从本地机器使用Terraform的推荐方法。只需使用secret key/access key配置AWS CLI配置文件,并在Terraform中的AWS提供者块中引用AWS配置文件。

1
provider "aws" {
2
  region  = "us-west-2"
3
  profile = "mukesh"
4
}

在上述情况下,我配置了一个名为mukesh的AWS CLI配置文件,并在提供者块下引用了它。这允许Terraform CLI使用AWS配置文件配置并验证到AWS以管理资源。你可以从这里了解更多关于AWS CLI配置文件的信息。

部署 S3 存储桶#

现在我们已经了解了工作流程会是什么样子,让我们尝试部署我们的第一个 S3 存储桶。

1. 首先通过运行 terraform init 来初始化我们的 Terraform 脚本。

这将下载 AWS Provider,并创建一些必要的 terraform 文件,如锁定文件和状态文件。

2. 接下来,运行 terraform plan 命令。

执行命令后会显示变更集的详细信息,即将添加/修改或销毁的内容。在我们的例子中,它说 aws_s3_bucket.codewithmukesh 将被创建,以及其内部属性。

terraform plan 命令用于创建执行计划,本质上是 Terraform 将对基础设施进行的更改的预览。Terraform 检索基础设施的当前状态(从状态文件或实际基础设施),并将其与配置文件中定义的期望状态进行比较。基于比较,Terraform 确定使当前基础设施与期望状态一致所需的操作。这些操作可能包括创建、更新或删除资源。

terraform plan 只生成计划;它不会对基础设施进行任何更改。它只是向你展示建议的更改,让你在应用之前进行审查。

3. 一旦你对 terraform plan 的输出感到满意,运行 terraform apply 来应用你的基础设施更改。在下一个提示中,输入 yes 以确认部署。我通常使用 terraform apply -auto-approve 来跳过这个确认提示。

如你所见,S3 存储桶已经配置完成。你也可以在 AWS 管理控制台上交叉检查这一点!

现在我们已经成功通过 Terraform 部署了我们的第一个 AWS 资源,让我们学习 Terraform 中的变量和输出。

Terraform 变量#

Terraform 中的变量允许你使配置文件更加灵活和可重用。通过使用变量,你可以参数化诸如资源名称、区域或实例类型等值。这样,你可以避免硬编码值,并且可以轻松修改配置,而无需更改实际的 .tf 文件。

1
variable "region" {
2
  description = "要部署资源的 AWS 区域"
3
  type        = string
4
  default     = "us-east-1"
5
}

1
provider "aws" {
2
  region = var.region
3
  default_tags {
4
    tags = {
5
      Environment = "staging"
6
      Owner       = "Mukesh Murugan"
7
      Project     = "codewithmukesh"
8
    }
9
  }
10
}

Terraform 输出#

Terraform 中的输出用于从你的配置中提取和显示有用的信息。它们帮助你在 Terraform 创建或更新基础设施后查看关键结果,如资源 ID、端点或连接字符串。

定义输出#

你使用配置中的 output 块定义输出。例如,在我们的情况下,只需创建一个新的 output.tf 文件,其中包含以下代码:

1
output "bucket_name" {
2
  description = "S3 存储桶的名称"
3
  value       = aws_s3_bucket.my_bucket.id
4
}

输出会在 terraform apply 命令完成后立即显示。以下是我应用 Terraform 更改后显示的内容:

你还可以使用 terraform output 命令随时检索输出。

通过利用变量和输出,你可以创建更加动态、可重用和模块化的 Terraform 配置。这提高了基础设施即代码的可维护性和可扩展性。

状态管理#

Terraform 使用状态文件来跟踪它管理的资源。状态文件存储有关你的基础设施的元数据,并作为 Terraform 的真实来源。当你运行 terraform plan 或 terraform apply 等命令时,Terraform 会将真实世界的基础设施与状态文件进行比较,以确定需要进行哪些更改。

在terraform 目录中有额外的文件,如 terraform.tfstate、terraform.tfstate.backup 等。

使用 S3 和 DynamoDB 的远程后端#

默认情况下,Terraform 将其状态文件存储在本地。然而,对于生产环境或团队协作,将状态存储在远程后端中更可靠。最常见的后端之一是 Amazon S3。当你将状态存储在 S3 中时,它可以在团队成员之间共享,并受到保护,避免意外的本地删除。

最常见的选择是将状态存储在 Amazon S3 中,使用 DynamoDB 进行状态锁定,以防止可能损坏状态的并发操作。

使用 S3 和 DynamoDB 设置远程后端#

1. 创建 S3 存储桶 首先,在 AWS 中创建一个 S3 存储桶来存储你的 Terraform 状态文件。存储桶应该是私有的,并且应该启用版本控制,以便在状态损坏的情况下进行回滚。我将手动创建一个名为 cwm-tfstates 的新存储桶用于此目的。

2. 创建用于状态锁定的 DynamoDB 表 为了防止多个 Terraform 进程同时修改状态,我们使用 DynamoDB 进行状态锁定。DynamoDB 确保一次只能运行一个操作,有助于避免状态损坏。我使用管理控制台创建了一个名为 cwm-state-locks 的新 DynamoDB 表,分区键为 LockID(字符串)。这个表将处理锁定,确保状态的安全并发使用。

3. 资源清理 运行 terraform destroy 命令,确保你的资源已清理,并删除 terraform.tfstate 文件。

4. 在 Terraform 中配置后端: 在你的 Terraform 配置中,使用 backend 块来定义 S3 存储桶作为你的远程后端。创建一个名为 main.tf 的新文件,并添加以下内容:

1
terraform {
2
  backend "s3" {
3
    bucket         = "cwm-tfstates"
4
    key            = "demo/beginners-guide/terraform.tfstate"
5
    region         = "us-east-1"
6
    dynamodb_table = "cwm-state-locks"
7
    encrypt        = true
8
  }
9
}

• bucket 属性指定存储状态文件的 S3 存储桶。
• key 属性指定存储桶内状态文件的路径和名称。
• region 定义存储桶和 DynamoDB 表所在的位置。
• dynamodb_table 属性确保状态锁定由 DynamoDB 处理。
• encrypt 属性确保状态文件在 S3 中静态加密。

5. 初始化后端 在配置中定义后端后,你需要初始化 Terraform 以设置远程后端。这可以通过运行 terraform init 命令来完成。但在此之前,运行 terraform destroy 命令确保你的资源已清理,并删除 terraform.tfstate 文件。

如图所示,我们的 S3 后端现在已成功配置,并带有 DynamoDB 表。从现在开始,当运行 terraform plan 或 terraform apply 时,terraform 将交叉检查远程后端(s3 和 dynamodb)中存在的状态文件,以决定如何修改资源。每次运行 terraform apply 命令时,S3 上可用的状态文件都会更新。

部署 EC2 实例#

现在我们已经清楚了所有基本概念,继续做一个小练习,通过 Terraform 部署一个新的 EC2 实例。创建一个名为 ec2.tf 的新文件,并尝试从 terraform 文档中找出所需的代码。你需要添加以下内容:

1
resource "aws_instance" "demo" {
2
  ami           = "ami-066784287e358dad1"
3
  instance_type = "t3.micro"
4
}

你可以直接从 AWS 管理控制台找到所需的 AMI 和实例类型。为了保持简单和小型,我选择了免费层中可用的最小 EC2 实例。

尝试应用你的 terraform 更改。

如图,我们的 S3 存储桶和 EC2 实例都已部署。

销毁资源#

本文到此结束。为了控制你的 AWS 账单,建议销毁你为测试目的创建的资源。运行 terraform destroy 以销毁当前状态下通过 terraform 创建的所有资源。