FSx là dịch vụ tích hợp và quản lý các hệ thống lưu trữ tệp (file storage) phổ biến được phát triển bởi bên thứ ba, giúp khách hàng dễ dàng triển khai và di chuyển các hệ thống lưu trữ sẵn có lên AWS. Bài này giới thiệu về 4 dịch vụ FSx phổ biến nhất: FSx for Windows File Server, FSx for Lustre, FSx for NetApp ONTAP, và FSx for OpenZFS, và một số mẹo thi chứng chỉ liên quan đến FSx.
Trong bài này:
- 1. FSx for Windows File Server
- 2. FSx for Lustre
- 3. FSx for NetApp ONTAP
- 4. FSx for OpenZFS
- 5. Mẹo thi Chứng chỉ
- Tài liệu tham khảo
1. FSx for Windows File Server
Trên AWS, EFS là file storage chỉ hỗ trợ EC2 Instance chạy Linux. Dịch vụ file storage hỗ trợ Windows là FSx for Windows File Server, được thiết kế để tương tích với hệ điều hành này.
Hình trên mô tả các phương thức kết nối tới FSx for Windows File Server. Có 2 cách chính:
-
Kết nối từ trong VPC: FSx for Windows File Server được triển khai trong 1 VPC, nên mặc định tất cả tài nguyên trong VPC đều có thể kết nối tới nó. Hay dùng nhất là EC2 Instance chạy Windows. Lưu ý là cũng có thể dùng các Instance chạy Linux hay MacOS, do bản chất chỉ cần giao tiếp theo đúng chuẩn SMB (Server Message Block) là được (cần cài đặt thêm phần mềm hỗ trợ SMB, như
cifs-utilstrên Linux). -
Kết nối từ hạ tầng nội bộ (on-premise): các máy chủ chạy Windows tại hạ tầng nội bộ kết nối tới FSx for Windows File Server thông qua VPN hoặc Direct Connect, sử dụng giao thức SMB. Ngoài ra, nếu doanh nghiệp có sử dụng Active Directory (một phần mềm quản lý người dùng và quyền truy cập của Microsoft) thì có thể tích hợp trực tiếp, hoặc thông qua dịch vụ Directory Service trên AWS.
2. FSx for Lustre
Lustre là một open-source file system được thiết kế cho các ứng dụng HPC (High Performance Computing), cần hiệu năng cực cao như mô phỏng khoa học, phân tích dữ liệu lớn, AI/ML. AWS tích hợp Lustre vào FSx, giúp dễ dàng triển khai và vận hành Lustre trên hạ tầng cloud.
Hình dưới đây mô tả kiến trúc của FSx for Lustre. Trong đó:
- Người dùng triển khai FSx for Lustre trong 1 VPC.
- Tài nguyên như EC2, ECS, EKS có thể kết nối tới FSx for Lustre bằng cách cài đặt Lustre Client, là phần mềm hỗ trợ giao tiếp với Lustre File System.
- Mỗi Lustre File System gồm nhiều File Server, mỗi File Server được gắn một vài ổ lưu trữ (SSD hoặc HDD tuỳ cấu hình). Trong File Server có bộ đệm trong RAM (in-memory cache) để tăng hiệu năng truy xuất dữ liệu, và tuỳ cấu hình còn có thể có thêm bộ đệm trên SSD (SSD read cache).
- Bên ngoài File System, FSx for Lustre kết nối với data repository, thường là S3, để lưu trữ dữ liệu lâu dài. Có thể tải dữ liệu từ S3 vào FSx for Lustre để xử lý, hoặc ngược lại, lưu dữ liệu đã xử lý từ FSx for Lustre về S3.
2 cách triển khai FSx for Lustre:
- Scratch: dùng cho các tác vụ ngắn hạn (tính bằng giờ hoặc ngày), không cần lưu trữ dữ liệu lâu dài trên ổ đĩa của File Server, do không có cơ chế tự động phục hồi khi phần cứng gặp sự cố. Bù lại hiệu năng cao hơn và chi phí thấp hơn. Thông lượng cơ bản là 200 MB/s cho mỗi TiB dung lượng.
- Persistent: dùng cho các tác vụ dài hạn (tính bằng tuần hoặc tháng). Có khả năng phục hồi AZ Resilience. Với Persistent SSD, các lựa chọn thông lượng là 50, 100, 200 MB/s mỗi TiB dung lượng. Với Persistent HDD, thông lượng cơ bản là 12 MB/s mỗi TiB.
Lưu ý, cả 2 cách đều hỗ trợ liên kết với S3.
3. FSx for NetApp ONTAP
ONTAP là một hệ thống quản lý dữ liệu đa năng được phát triển bởi NetApp, hỗ trợ cả file storage và block storage, tất cả các giao thức (NFS, SMB, iSCSI). ONTAP được tích hợp vào hạ tầng AWS qua dịch vụ FSx for NetApp ONTAP, giúp khách hàng dễ dàng triển khai và vận hành.
4. FSx for OpenZFS
OpenZFS là một file storage mã nguồn mở, được phát triển từ ZFS, hỗ trợ giao thức NFS tiêu chuẩn. AWS tích hợp OpenZFS vào FSx hỗ trợ đầy đủ các tính năng nổi bật, cùng với các tuỳ chọn triển khai với tính sẵn sàng cao như Single-AZ (HA) và Multi-AZ (HA).
Bảng dưới đây so sánh 4 dịch vụ trên FSx:
| FSx for Windows File Server | FSx for Lustre | FSx for NetApp ONTAP | FSx for OpenZFS | |
|---|---|---|---|---|
| Độ trễ | < 1 ms | < 1 ms | < 1 ms | < 0.5 ms |
| Thông lượng tối đa (cả hệ thống) | 12-20 GB/s | 1000 GB/s | 72-80 GB/s | 10-21 GB/s |
| Thông lượng tối đa (cho 1 client) | 20 GB/s | 150 GB/s | 18 GB/s | 10 GB/s |
| IOPS tối đa (cả hệ thống) | Hàng trăm nghìn | Hàng triệu | Hàng triệu | 1-2 triệu |
| Kích thước tối đa | 64 TiB | Cỡ PB | Không giới hạn | 512 TiB |
| Tương thích HĐH | Windows, Linux, macOS | Linux | Windows, Linux, macOS | Windows, Linux, macOS |
| Loại lưu trữ | File storage | File storage | File storage và Block storage | File storage |
| Giao thức | SMB | POSIX | SMB, NFS, iSCSI | NFS |
| Tối ưu chi phí | Chọn ổ HDD | Chọn ổ HDD | Tự động chuyển lớp lưu trữ | - |
| Nén dữ liệu (Compression) | Có | Có | Có | Có |
| Chống trùng lặp (Deduplication) | Có | - | Có | - |
5. Mẹo Thi Chứng chỉ
Thông thường các câu hỏi thi chứng chỉ về FSx sẽ chỉ tập trung vào chọn đúng dịch vụ, dựa theo ngữ cảnh về hệ điều hành và đặc biệt là giao thức cần sử dụng.
- Nếu đề cập đến Windows và SMB, hoặc cần tích hợp Active Directory, chọn FSx for Windows File Server.
- Nếu đề cập đến HPC (High Performance Computing), thường chọn FSx for Lustre.
- Nếu cần hỗ trợ nhiều giao thức (SMB, NFS, iSCSI), hoặc hỗ trợ cả file storage và block storage, chọn FSx for NetApp ONTAP.
- OpenZFS khá ít khi xuất hiện, vì nó chỉ hỗ trợ NFS, mà NFS thì rõ ràng EFS hay dùng hơn.
Ví dụ:
Question: A company plans to migrate its application from on-premises Microsoft Windows Server to AWS. The solution must ensure HA across multiple AZs and offer low-latency access to block storage. Which service should they choose?
A. Host the application on EC2 Windows instances across 2 AZs, utilizing Amazon S3 for storage with cross-region replication enabled to synchronize data between buckets.
B. Deploy the application on EC2 Windows Server instances in 2 AZs, using Amazon EFS as shared storage and configuring cross-region replication to sync data across AZs.
C. Run the application on EC2 Windows Server instances across 2 AZs, leveraging Amazon FSx for Windows File Server as the shared storage solution.
D. Deploy the application on EC2 Windows Server instances across 2 AZs, using a Multi-AZ Amazon FSx for NetApp ONTAP file system accessed via the iSCSI protocol.
Từ khoá đúng trong câu hỏi là block storage, nên ta chọn D. FSx for NetApp ONTAP, vì nó hỗ trợ cả file storage và block storage. Windows cũng xuất hiện, nhưng không phải mấu chốt, vì FSx for NetApp ONTAP hỗ trợ cả Windows, Linux, macOS. Còn FSx for Windows File Server chỉ hỗ trợ file storage.
Tài liệu tham khảo
- Tổng quan về FSx for Windows File Server
- Cách Kết Nối FSx for Windows File Server
- Tổng quan về FSx for Lustre
- Hiệu năng của FSx for Lustre
- Phiên bản Gốc của Lustre File System
- Giới thiệu về FSx for NetApp ONTAP
- Giới thiệu về FSx for OpenZFS
- So sánh các Dịch vụ FSx
Trong khuôn khổ bài viết này, mình chỉ trình bày những điểm cốt lõi cần nắm vững về FSx, hay gặp trong các câu hỏi thi chứng chỉ AWS. Bạn đọc có thể tìm hướng dẫn thực hành và thao tác với FSx trong các tài liệu chính thức của AWS.