Qumulo는 하드웨어 유연성을 믿으며 파일 시스템을 하드웨어에 구애받지 않도록 설계했습니다.
첫 해에 우리는 수백 명의 파일 스토리지 고객을 인터뷰했으며 가장 강력한 주제 중 하나는 최신 데이터 센터 하드웨어와 공용 클라우드에서 파일 스토리지를 자유롭게 실행할 수 있는 하드웨어에 대한 열망이었습니다. "고객은 우리의 자기장이다"는 우리 회사의 핵심 가치 중 하나이며, 이러한 인터뷰를 통해 고객은 우리에게 분명한 사명을 주었습니다.
하드웨어 유연성
메이저에서 실행하는 것 외에도 클라우드 제공자의 플랫폼, Qumulo의 엔터프라이즈급 내결함성 파일 시스템은 다양한 하드웨어 플랫폼, Fujitsu, HPE 및 자체 인프라를 포함합니다. 그러나 "하드웨어 불가지론"은 표준이 없다는 것을 의미하지 않습니다. 우리는 고객이 지속적으로 훌륭한 경험을 하기를 원하기 때문에 고객이 사용할 특정 플랫폼을 신중하고 신중하게 인증합니다. 또한 새로운 인증 플랫폼을 쉽게 가져올 수 있다는 점도 놀랍습니다. 하드웨어에 구애받지 않는 소프트웨어 설계는 하드웨어에서 명확한 추상화 계층을 생성하고 테스트에 대한 높은 신뢰도를 만들어 기능 구현을 용이하게 합니다.
많은 최신 SSD에는 4k 블록을 원자적으로 쓸 수 있는 기능이 있습니다. 이 속성이 있는 SSD는 쓰기가 비트 오류나 기타 손상 없이 쓰기가 실행된 순서대로 올바른 위치에서 드라이브에 지속적으로 도달한 경우에만 쓰기 요청에 응답합니다. SSD는 정전이 있는 경우에도 이 작업을 수행해야 합니다. 우리는 우리가 제공하는 모든 SSD 모델에 대한 자체 전원 오류 테스트 및 하드웨어를 사용하여 이를 철저히 테스트합니다. 그렇게 하면 소프트웨어 스택에 하드웨어 원자성 보장을 제공할 수 있다는 확신을 갖게 됩니다. 우리가 이 프로세스에 사용하는 전력 오류 테스트 방법론은 매력적이며 향후 자체 블로그 게시물을 올릴 가치가 있습니다.
우리의 핵심 블록 장치 아키텍처는 전적으로 이 원자적 4k 쓰기 속성을 기반으로 합니다. 결과는 4k 블록으로 구성된 목록과 트리를 작성하고 루트를 원자적으로 교환하여 트랜잭션 방식으로 대량의 데이터를 업데이트함으로써 4k보다 훨씬 큰 데이터 구조를 원자적으로 변경할 수 있다는 것입니다.
하드웨어 추상화
하드웨어 추상화는 Linux입니다. 특히 최신 Ubuntu 16.04 LTS를 실행합니다. Qumulo 파일 시스템 소프트웨어의 핵심인 QFSD(Qumulo File System Daemon)는 단일 사용자 모드 프로세스로 실행됩니다. QFSD를 실행하기 위해 커널 수정이 필요하지 않습니다. 대신 Ubuntu apt 패키지 관리자를 통해 설치할 수 있는 즉시 사용 가능한 오픈 소스 패키지에 의존합니다.
내가 사람들에게 이것을 말하면, 그들은 보통 “오, 멋지다! 따라서 ZFS와 Samba 등을 적절하게 설치하고 멋진 UI로 패키징합니다.” 그렇지 않다. QFSD는 그 자체로 독립형 OS와 같습니다. libaio를 통해 Linux 커널에 연결되는 엘리베이터와 캐시가 완비된 자체 블록 장치 계층이 있습니다. pthread가 성능 요구 사항에 비해 너무 느렸기 때문에 자체 협력 멀티태스킹 스케줄러가 있습니다. 결과적으로 Linux에 대한 종속성은 대부분 커널과 인터페이스하기 위한 시스템 호출입니다. 커널은 우리가 대부분의 하드웨어와 상호 작용할 수 있도록 잘 지원되는 풍부한 드라이버와 도구를 제공합니다. 또한 독점 공급업체 통합 도구를 설치하고 인터페이스해야 하는 경우도 있습니다.
Qumulo는 Linux의 하드웨어 정보를 QFSD에서 사용할 중앙 위치로 통합하는 하드웨어 추상화 계층(HAL)을 유지 관리합니다. HAL에서 집계하는 데이터 소스에는 Linux 커널, 특정 하드웨어 및 공급업체용 커널 모듈, 특정 하드웨어 및 공급업체용 명령줄 응용 프로그램, BIOS 구성 및 상태, IPMI 구성 및 상태 등이 포함됩니다. 이 집계를 기반으로 HAL은 하드웨어 관련 결정을 내리고 이 정보를 QFSD로 전달합니다.
HAL은 노드의 일련 번호를 사용하여 SKU를 결정합니다. 거기에서 이 SKU에 대한 하드웨어 정의를 생성합니다. 현재 하드웨어 구성 요소(CPU, NIC, 드라이브 등)가 이 SKU의 노드에서 사용하기 위해 Qumulo에 의해 화이트리스트에 추가되었다고 주장합니다. 프런트엔드 및 백엔드 트래픽에 사용할 NIC를 결정합니다. 저수준 SSD 및 HDD 정보를 QFSD의 작동 및 지원 디스크 추상화에 매핑합니다. 또한 UI에서 사용하기 위해 드라이브를 베이에 매핑합니다. CPU 온도를 폴링하고, 장치 핫플러그 이벤트를 감지하고, 하드웨어 기반 암호화를 구성하고, 섀시 및 드라이브의 LED를 제어하는 등의 작업을 수행할 수 있습니다.
하드웨어 유연성을 위해 Qumulo Core는 파일 데이터 플랫폼 인기 있는 HPE 및 Fujitsu 서버에서 실행되며 다양한 Qumulo 제조 SKU를 제공합니다. 또한 주요 퍼블릭 클라우드 인프라에서 실행됩니다. 내부적으로 VMware에서 Qumulo VM을 호스팅하여 테스트 범위를 늘립니다. 또한 호스트의 플랫 파일을 블록 장치로 사용하고 네트워킹을 위한 루프백을 사용하여 동일한 호스트에서 여러 QFSD 프로세스로 샌드박스 처리된 "simnodes"를 실행하여 테스트합니다. Qumulo 해커톤의 일환으로 내부 개발자 중 한 명이 마더보드의 다양한 SATA 포트에 무작위로 배선된 우리 연구실의 버려진 SSD 무리를 사용하여 집에 있는 게임 타워에서 제품을 실행하고 실행했습니다(이 구성은 권장하지 않습니다. ).
Qumulo는 하드웨어 유연성을 염두에 두고 구축하는 소프트웨어 매장이며 사내 하드웨어 팀이 있습니다. 2부에서는 Hardware Agnostic Enterprise 파일 스토리지 구축, 이 팀의 역할과 이 팀이 하드웨어 독립이라는 더 광범위한 Qumulo 사명에 어떻게 부합하는지 설명합니다.
이 게시물은 2019년에 게시된 원본에서 업데이트되었습니다.
자세히 알아보기
문의하기
시승하기. 대화형 Hands-On Lab에서 Qumulo를 시연합니다.
Qumulo 블로그 구독 고객 사례, 기술 통찰력, 업계 동향 및 제품 뉴스를 제공합니다.
