올해 개인 취미의 목표였던 홈랩 고도화를 마치고 어느정도 안정화가 완료되어 포스팅을 진행.
이전에 구매하였던 HPE Proliant ML350 Gen 9는 구성 중 몇 가지 사유로 결국 매각을 진행 하였다.
1. 타워 서버라서 큰 건 괜찮은데 깊이가 너무 깊어서 유지보수가 힘듬
2. 고장시 파츠 수급의 어려움
3. HPE 특유의 호환성
4. 일부 파츠 수급 실패 (Tower to Rack kit)
상기 이유로 매각을 진행하였고, 다른 머신을 찾던 중 Dell PowerEdge R730xd를 구매하기로 결정.
R730xd를 구매함과 동시에 VM Data용, Midline Storage용 디스크, NW SW, 각종 NIC도 함께 구매하였다.
최종적으로 Hypervisor용 1기, Storage 1기 구성으로 진행했으며 각 장비의 구성은 아래와 같이 진행하였다.
Hypervisor
– Machine: Dell PowerEdge R730xd LFF
– OS(Hypervisor): VMware ESXi 7.0.3
– CPU: Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40GHz (14C 28T) = 2ea (28C 56T)
– MEM: 16GB DDR4 ECC/REG 2133MHz = 16ea (256GB)
– DISK(for Boot): SanDisk LB206S 200GB SAS2 SSD (Dell OEM) = 2ea (RAID-1)
– NIC 1: Intel(R) GbE 4P I350-t rNDC
– NIC 2: Intel(R) 10GbE 2P X710 Adapter (Dell OEM)
– NIC 3: Mellanox ConnectX-4 Single Port 100 Gb QSFP+ Network Adapter
Storage
– Machine: Dell PowerEdge R730xd LFF
– OS: TrueNAS-SCALE-22.02.4
– CPU: Intel(R) Xeon(R) CPU E5-2660 v3 @ 2.60GHz (10C 20T) = 2ea (20C 40T)
– MEM: 16GB DDR4 ECC/REG 2133MHz = 2ea (32GB)
– DISK(for Boot): SanDisk LB206S 200GB SAS2 SSD (Dell OEM) = 2ea (ZFS Mirror)
– DISK(for Midline Storage): Seagate Exos X16 14TB = 6ea (ZFS RAIDZ1)
– DISK(for VM Data): Micron 7300 Max 3.2T NVMe = 3ea (ZFS Stripe)
– NIC 1: Intel(R) GbE 4P I350-t rNDC
– NIC 2: Intel(R) 10GbE 2P X710 Adapter (Dell OEM)
– NIC 3: Mellanox ConnectX-4 Single Port 100 Gb QSFP+ Network Adapter
가상화 인프라는 VMware의 vSphere를, 스토리지는 Truenas를 사용하게 되었으며, 인프라 구성은 아래와 같다.
가상화 서버와 스토리지 서버간 VM Data 통신은 40G Link를 통해 iSCSI 프로토콜로 진행, 그 외 VM이나 기타 장비들은 10G, 1G Link를 통해 iSCSI, SMB, NFS등의 프로토콜을 사용하여 통신하고 있다.
40G 및 10G 통신은 Mellanox SwitchX-2 SX6012 장비로 스위칭되고, 1G 통신은 Cisco 2960L-16T 장비로 통신한다.
방화벽은 Supermicro SYS-5018D-FN8T에 OPNsense를 설치하여 운용, NMS로는 중국발 베어본 장비에 Ubuntu 20.04.5 LTS + Zabbix 6.0LTS를 설치하여 운용 중이고 알림은 Telegram으로 받아 볼 수 있게 구성하였다.
2022년은 근무 할 때를 제외하고는 이 프로젝트에 시간을 정말 많이 쓴 것 같다.
돈도 많이 들었고, 시행착오도 많이 겪었지만 이로서 얻은 만족감과 다양한 지식의 습득으로 괜찮은 투자였다고 생각한다.
안녕하세요~~ ML350 G9 Homelab으로 유입되었습니다.
너무 좋은 경험/사용기 올려주셔서 감사합니다.
저도 tower to rack를 좀처럼 구하기가 쉽지 않아 작성자님처럼 깊은 고민에 빠져버렸습니다…….
(다소 이전 게시글에 댓글을 올리는것 같지만,,, 양해 부탁드립니다 ㅜ)
간간히 소식 전해주시면 종종 놀러올게요!
뭔가 고민이 한가지가,,,,,,
현재 ESXI에서 GPU Passthrough를 이용한 게이밍 클라우드 서버와 Synology(해놀로지 X)를 운용중인데 내부 VM으로 통합 계획을 가지고 있습니다. 여기서 해놀로지 대비 TrueNAS의 장점이 있을까요?
해놀로지(시놀로지)의 기능이 워낙에 강력하다보니,,,, 타 플랫폼으로의 이전이 다소 낯설게 느껴지네요 ㅜㅜㅜ
많은 고견 부탁드립니다!
감사합니다.
기존에 Synology 환경에 불편함이 없다면 계속 유지 하는 것도 나쁘지 않을 거라 생각 합니다.
기본적으로 일단 일반소비자 대상으로 설계가 된 물건이라 구성 편의성이나, 사용하면서의 UX가 상당히 편리하게 되어있습니다.
TrueNAS로 옮긴다고 하면, 베어메탈 기준으로 HW호환성면에서 이점이 좀 더 있을거고, OpenZFS가 가져다 주는 이점을 누릴 수 있다던가 하는 장점이 있겠네요.
그리고 Xpenology의 경우 라이선스 위반이라 그 문제에서도 자유로워 질 것 같네요.
다만 TrueNAS의 경우 일정 수준의 Linux 지식을 요구할 뿐만 아니라, Best Practice를 따라가려면 일반 컨슈머 제품이 아닌 최소 워크스테이션이나 엔터프라이즈 수준의 HW를 요구 합니다.
정리하면 [편의성, 비용 효율] vs [자율성, 고성능, 안정성] 아닐까 조심스레 생각 해봅니다.
근데 Synology가 Btrfs쓰는데, Btrfs 6.0 부터 성능 개선이 많이 된 걸로 알고 있습니다. 그런거 보면 딱히 지금 문제 없이 잘 쓰고 있고 아쉬운거나 불만이 없는데 굳이 넘어갈 이유가 있냐? 라고 하면 잘 모르겠네요.
저는 엔터프라이즈 장비를 사용하고 있고, NVMe Array를 사용해야 했던 상황이였고, 딱히 Synology가 제공하는 기능에 대해 필요성이 크게 다가오지 않아서 TrueNAS를 사용하고 있습니다. 개인적으로 삽질하는거 아직은 좋아하기도 하고요.
TrueNAS가 궁금하다고 하시면 별도 시스템이나 VM으로 먼저 PoC먼저 해보시는거 권장 드립니다. 생각보다 그렇게 친절한 물건은 아닙니다.