시드박스 호스팅
시드박스 및 대용량 스토리지
대용량 스토리지 워크로드에는 대부분의 가상 서버가 잘못 처리하는 세 가지가 필요합니다. NVMe처럼 비용이 급증하지 않는 가격의 실제 용량, 사용 즉시 제한되지 않는 네트워크 포트, 그리고 보유한 데이터를 체크섬할 수 있는 파일 시스템이 그것입니다. VAULT는 엔터프라이즈 드라이브 앞에 NVMe 캐시 계층을 둔 ZFS 기반으로 구축되어 메타데이터 작업은 빠르게 유지하면서 대량 데이터는 저렴한 스핀들에 저장합니다.
이 구성의 이유
시간별 스냅샷이 포함된 ZFS는 자신의 스크립트로부터 사용자를 보호하며, 대용량 옵션의 무제한 트래픽은 방정식에서 계산을 제거합니다. 암스테르담과 부쿠레슈티는 당사 인프라에서 가장 저렴한 트랜짓을 제공합니다.
배포할 구성
사이징
두 가지 숫자: 라이브러리 크기와 핫 시딩할 양. VAULT는 32TB에 도달하므로 라이브러리에서 시작하여 25%를 추가하십시오. ZFS는 풀 사용률이 약 80%를 초과하면 눈에 띄게 성능이 저하됩니다. RAM은 ARC용이며, 미디어의 경우 TB당 1GB가 적절한 규칙입니다. 캐시하려는 것은 페이로드가 아니라 메타데이터이기 때문입니다. 16GB는 16TB 라이브러리를 인덱싱하고, 64GB는 핫 세트를 위한 ARC 공간을 남깁니다. 코어 2개는 클라이언트를 처리하며, 재암호화 또는 아카이브 검증을 위해서만 더 추가하십시오.
시딩 라이브러리를 위한 풀 레이아웃
시딩은 대규모 파일 집합에 걸쳐 작은 조각에 대한 랜덤 읽기입니다. RAIDZ2는 사용 가능한 용량을 최대화하고 vdev당 대략 디스크 하나의 랜덤 IOPS를 제공합니다. 미러는 용량을 절반으로 줄이고 IOPS를 배가합니다. 앞에 NVMe 캐시가 있으면 10TB 이상의 라이브러리에는 두 개의 vdev에 RAIDZ2가 일반적으로 올바른 절충안입니다. atime=off, compression=lz4, recordsize=1M으로 설정하고 sync=standard를 유지하십시오. 토렌트 쓰기는 비동기이므로 SLOG는 여기서 아무 도움이 되지 않습니다. 풀이 오래되면서 단편화를 주시하십시오. 80% 이상 유지되는 풀의 과도한 변화는 용량이 소진되기 훨씬 전에 순차 읽기를 저하시킵니다.
무제한 트래픽과 실제로 멈추는 지점
무제한 기가비트 포트는 한 달 내내 포화 상태를 유지하면 약 300TB를 이동합니다. 거의 아무도 그렇게 하지 않습니다. 한계가 더 일찍 다른 곳에서 도달하기 때문입니다. 피어 수와 연결 추적은 먼저 conntrack 테이블 한계에 도달합니다. 디스크를 비난하기 전에 nf_conntrack_max와 해시 크기를 높이십시오. 그런 다음 토렌트별 조각 검증은 재확인 중에 해시 검사에서 CPU를 소모합니다. 그런 다음 풀은 랜덤 IOPS가 부족해집니다. 저렴한 용량은 레이아웃이 이를 제공할 수 있을 때만 효과가 있으므로 전체 라이브러리가 아닌 활성 시딩 세트를 보유하도록 NVMe 캐시를 구성하십시오.
문제점
- 미디어 풀에서 ZFS 중복 제거 활성화. 중복 제거 테이블은 RAM에 영구적으로 상주하며, 미디어 파일은 거의 중복되지 않으므로 나중에 제거하려면 전체 데이터세트를 다시 써야 합니다. 대신 압축을 사용하고 중복 제거는 꺼두십시오.
- recordsize를 128K로 설정. 대용량 순차 미디어 파일은 recordsize=1M가 필요합니다. 간접 블록이 적고 메타데이터가 적으며 순차 처리량이 향상됩니다. 데이터를 쓰기 전에 데이터세트에 설정해야 하며, 새 블록에만 적용되기 때문입니다.
- 무제한을 무제한 IOPS로 취급. 포트는 무제한이지만 풀은 그렇지 않습니다. 한 번에 수천 개의 토렌트를 시딩하는 것은 랜덤 읽기 워크로드이며, RAIDZ는 vdev당 디스크 하나의 IOPS만 제공합니다.
머신 튜닝
- 스토리지 및 암호화 — ZFS with hourly snapshots · €7
- 주소 및 트랜짓 — Uplink upgrade to 10 Gbps · €19
- 제어판 — No control panel · 포함