Nuts Cthulhu DW, IDC, 数据中心建设 (A)

摘要

Cthulhu DW (数据仓库)，是Sauron的底层数据仓库系统及全部数据集，采用本人完全私有的裸金属与云原生大数据系统集群，设计容量为PB，目前容量为100TB的结构化数据，包含多个维度的Token，支持多个维度信息的联合查询。

Cthulhu Database serves as the underlying database system for Sauron and holds the entire dataset. It is built on my fully private bare-metal and cloud-native big data system cluster, designed to handle a capacity of PB-level data. Currently, it holds 100TB of structured data, containing multiple dimensions of Tokens, and supports complex queries that involve combining information from multiple dimensions.

核心网络部分

核心网络采用阶级架构，为多级Master-Slave架构，宏观采用Master(Kingpin, 主节点，唯一) -> Paladin(超级节点，复杂高性能操作、存储、去中心化、安全化) -> Crew(Slave，子节点，可以是存储、冗余、流量分流、边缘等各类操作)。核心网络采用千兆网络设计、最高速度为2.5Gbps。

核心文档: https://docs.nutgit.com/docs/hazelnut_sauron_zh_cn/hazelnut_sauron_zh_cn-1etgiok3hmeeg

图1 多级Master-Slave架构

8台设备主要型号为：
1). Master节点[Prime] (微星纸盒, i7 4代 4核 Itx，20TB存储[SSD + HDD]，16GB内存);
2). Master节点[冗余、兼职Slave] (战神笔记本, i7 4代 4核，4TB存储[SSD + HDD]，16GB内存);
三个超级节点：
1). Dell Edge[图二], (IDC标准服务器机箱，至强双路E5-2680 v2，128GB内存，50TB[SSD + HDD])
2). X99 [图三], (顺丰纸盒，至强E5-2680 v4，256GB内存，50TB[NVMe + SSD + HDD])
3). i7 11代 [图三], (i7 11代，32GB内存，4TB[NVMe], RTX3070)
其他节点，主要包括i7-6700HQ, Celeron N4100, Celeron J1800等，详细配置略。

物理存储部分

物理存储主要采用NVMe + SATA SSD + HDD + 内存冷热存储和阵列卡等技术，硬件特征为各类SATA、NVMe固态、希捷/西数企业氦盘，阵列卡主要为H710P卡、LSI卡。

图4 冷热存储架构，温度算法=%4K IOPS

硬盘特征：
SDLF1CRR-019T 2TB SATA MLC
希捷银河 14TB 氦盘

图5 Master存储介质

硬盘特征 [30TB HDD + 20TB SSD<固态走阵列卡、机械直通南桥>]：

SDLF1CRR-019T 2TB SATA MLC 若干
Micron 1100 2TB TLC 若干
NVMe SSD P3500 2TB TLC (爱国者，长江颗粒)
GeIL P3P 2TB NVMe TLC
其他固态
希捷银河 14TB 氦盘 * 1
希捷银河 16TB 氦盘 * 1

Portal Gun

Menus

Category

Recent posts

Tags

Connect

Nuts Cthulhu DW, IDC, 数据中心建设 (A)

Nuts Cthulhu DW, IDC, 数据中心建设 (A)

摘要

核心网络部分

物理存储部分

See more.