郑州网站建设修改广州网站建设阿里云

郑州网站建设修改,广州网站建设阿里云,承德网络推广公司,网站的建设费计入什么费用1. 集群架构 2. 节点规划 机器服务cpu内存SSD共享存储 hdfs://hdfs.xxxx.net:9000 (我用的商业的#xff0c;没有自己部一套开源的) \\\服务器-1 doris-manager#xff08;版本直接搞最新的#xff0c;越新越好用#xff09; 48200服务器-2mysql#xff08;保存doris-man…1. 集群架构2. 节点规划机器服务cpu内存SSD共享存储hdfs://hdfs.xxxx.net:9000(我用的商业的没有自己部一套开源的)\\\服务器-1doris-manager版本直接搞最新的越新越好用48200服务器-2mysql保存doris-manager元数据自己部署48200服务器-3fe、meta service、foundationDB混部版本V3.0.816641000服务器-5服务器-6服务器-7becompute-group-1版本V3.0.8832300服务器-8becompute-group-2版本V3.0.8832300服务器-9服务器-10becompute-group-3版本V3.0.8832300服务器-11服务器-123. Doris manager部署部署地址部署 Manager | SelectDB Docshttps://docs.selectdb.com/enterprise/management-guide/doris-manager-management/deploy-doris-manager修改配置文件webserver/conf/manager.conf文件可以配置 WebServer 服务DB_TYPEmysql服务依赖的数据库类型mysql、h2 或者 postgresqlDB_HOST你自己的数据库的访问地址只在 DB_TYPE 为 mysql/postgresql 时生效DB_PORT你自己的数据库的访问端口只在 DB_TYPE 为 mysql/postgresql 时生效DB_USER你自己的数据库的访问用户只在 DB_TYPE 为 mysql/postgresql 时生效DB_PASS你自己的数据库的访问密码只在 DB_TYPE 为 mysql/postgresql 时生效DB_DBNAME你自己的数据库的访问库名只在 DB_TYPE 为 mysql/postgresql 时生效登录服务器2:8004端口4. 存算分离集群部署4.1 目录规划文件dir部署/检测脚本/opt/software安装目录/opt/modulefe元数据存放位置/data/doris/fe/doris-metafe日志目录/data/doris/fe/logbe日志目录/data/doris/be/logbe文件缓存目录/data/doris/be/file_cache4.2 详细部署步骤见官网部署存算分离集群 | SelectDB Docshttps://docs.selectdb.com/enterprise/management-guide/doris-cluster-management/deploy-cluster/deploy-separating-storage-compute-cluster大功告成5. 测试5.1 Storage VaultStorage Vault 是 Doris 在存算分离模式中所使用的远程共享存储可配置一个或多个 Storage Vault可将不同表存储在不同 Storage Vault 上。5.1.1 创建Storage Vault创建基于 HDFS 的存算分离模式 Doris 集群需要确保所有的节点 (包括 FE / BE 节点、Meta Service) 均有权限访问所指定的 HDFS。CREATE STORAGE VAULT IF NOT EXISTS hdfs_demo_a PROPERTIES ( type hdfs, -- required fs.defaultFS hdfs://hdfs.xxxx.net:9000, -- required path_prefix bigdata/data_a, -- optional, 一般按照业务名称填写 hadoop.username doris ); CREATE STORAGE VAULT IF NOT EXISTS hdfs_demo_b PROPERTIES ( type hdfs, -- required fs.defaultFS hdfs://hdfs.xxxx.net:9000, -- required path_prefix bigdata/data_b, -- optional, 一般按照业务名称填写 hadoop.username doris ); CREATE STORAGE VAULT IF NOT EXISTS hdfs_vault PROPERTIES ( type hdfs, -- required fs.defaultFS hdfs://hdfs.xxxx.net:9000, -- required path_prefix doris, -- optional, 一般按照业务名称填写 hadoop.username doris );5.2.2 设置默认Storage VaultSET hdfs_vault AS DEFAULT STORAGE VAULT5.2.3 查看Storage Vaultshow STORAGE vaults我们创建3个doris-manager帮我们部署doris时自动帮我们创建了一个默认的这里我新建了一个修改为默认的。5.2.4 建表测试5.2.4.1 库没设置表没设置时且用户有hdfs_vault\hdfs_demo_a\hdfs_demo_b的权限时create database if not EXISTS ods; CREATE TABLE IF NOT EXISTS example_tbl_unique ( user_id LARGEINT NOT NULL, user_name VARCHAR(50) NOT NULL, city VARCHAR(20), age SMALLINT, sex TINYINT ) UNIQUE KEY(user_id, user_name) DISTRIBUTED BY HASH(user_id) BUCKETS 10 PROPERTIES ( enable_unique_key_merge_on_write true ); show create TABLE ods.example_tbl_unique --结果 CREATE TABLE example_tbl_unique ( user_id largeint NOT NULL, user_name varchar(50) NOT NULL, city varchar(20) NULL, age smallint NULL, sex tinyint NULL ) ENGINEOLAP UNIQUE KEY(user_id, user_name) DISTRIBUTED BY HASH(user_id) BUCKETS 10 PROPERTIES ( file_cache_ttl_seconds 0, is_being_synced false, storage_medium hdd, storage_format V2, inverted_index_storage_format V2, enable_unique_key_merge_on_write true, light_schema_change true, storage_vault_id 2, storage_vault_name hdfs_vault, disable_auto_compaction false, enable_single_replica_compaction false, group_commit_interval_ms 10000, group_commit_data_bytes 134217728, enable_mow_light_delete false );5.2.4.2 库设置表没设置时且用户有hdfs_vault\hdfs_demo_a\hdfs_demo_b的权限时CREATE DATABASE IF NOT EXISTS ods_a PROPERTIES ( storage_vault_name hdfs_demo_a ); CREATE TABLE IF NOT EXISTS ods_a.example_tbl_unique ( user_id LARGEINT NOT NULL, user_name VARCHAR(50) NOT NULL, city VARCHAR(20), age SMALLINT, sex TINYINT ) UNIQUE KEY(user_id, user_name) DISTRIBUTED BY HASH(user_id) BUCKETS 10 PROPERTIES ( enable_unique_key_merge_on_write true ); show create table ods_a.example_tbl_unique CREATE TABLE example_tbl_unique ( user_id largeint NOT NULL, user_name varchar(50) NOT NULL, city varchar(20) NULL, age smallint NULL, sex tinyint NULL ) ENGINEOLAP UNIQUE KEY(user_id, user_name) DISTRIBUTED BY HASH(user_id) BUCKETS 10 PROPERTIES ( file_cache_ttl_seconds 0, is_being_synced false, storage_medium hdd, storage_format V2, inverted_index_storage_format V2, enable_unique_key_merge_on_write true, light_schema_change true, storage_vault_id 3, storage_vault_name hdfs_demo_a, disable_auto_compaction false, enable_single_replica_compaction false, group_commit_interval_ms 10000, group_commit_data_bytes 134217728, enable_mow_light_delete false );5.2.4.3 库设置a表设置b时且用户有hdfs_vault\hdfs_demo_a\hdfs_demo_b的权限时CREATE DATABASE IF NOT EXISTS ods_a PROPERTIES ( storage_vault_name hdfs_demo_a ); CREATE TABLE IF NOT EXISTS ods_a.example_tbl_unique_b ( user_id LARGEINT NOT NULL, user_name VARCHAR(50) NOT NULL, city VARCHAR(20), age SMALLINT, sex TINYINT ) UNIQUE KEY(user_id, user_name) DISTRIBUTED BY HASH(user_id) BUCKETS 10 PROPERTIES ( enable_unique_key_merge_on_write true, storage_vault_name hdfs_vault_b ); show create table ods_a.example_tbl_unique_b CREATE TABLE example_tbl_unique_b ( user_id largeint NOT NULL, user_name varchar(50) NOT NULL, city varchar(20) NULL, age smallint NULL, sex tinyint NULL ) ENGINEOLAP UNIQUE KEY(user_id, user_name) DISTRIBUTED BY HASH(user_id) BUCKETS 10 PROPERTIES ( file_cache_ttl_seconds 0, is_being_synced false, storage_medium hdd, storage_format V2, inverted_index_storage_format V2, enable_unique_key_merge_on_write true, light_schema_change true, storage_vault_id 4, storage_vault_name hdfs_demo_b, disable_auto_compaction false, enable_single_replica_compaction false, group_commit_interval_ms 10000, group_commit_data_bytes 134217728, enable_mow_light_delete false );5.2.4.4 库没设置表没设置用户没有hdfs_vault\hdfs_demo_a\hdfs_demo_b的权限时1在ods库创建表时报异常。没有hdfs_vault权限2在ods库查看表时有表信息可以读写数据3在ods_a库查看表时有表信息可以读写数据4在任何库只要用户对这个库有drop权限就可以删除任意表5.2.5 授予/撤销权限GRANT USAGE_PRIV ON STORAGE VAULT vault_name TO { ROLE | USER } {role | user} REVOKE USAGE_PRIV ON STORAGE VAULT vault_name FROM { ROLE | USER } {role | user}6. 计算组在存算分离架构下可以将一个或多个计算节点 (BE) 组成一个计算组 (Compute Group)。本文档介绍如何使用计算组其中涉及的操作包括查看所有计算组计算组授权在用户级别绑定计算组 (default_compute_group) 以达到用户级别的隔离效果6.1 查看所有计算组使用SHOW COMPUTE GROUPS命令可以查看当前仓库中的所有计算组。返回结果会根据用户权限级别显示不同内容具有ADMIN权限的用户可以查看所有计算组普通用户只能查看其拥有使用权限USAGE_PRIV的计算组如果用户没有任何计算组的使用权限则返回结果为空SHOW COMPUTE GROUPS;6.2 计算组权限6.2.1 授予计算组访问权限前置条件当前操作用户具备ADMIN权限或者当前用户属于 admin role。GRANT USAGE_PRIV ON COMPUTE GROUP {compute_group_name} TO {user};6.2.2 撤销计算组访问权限前置条件当前操作用户具备ADMIN权限或者当前用户属于 admin role。GRANT USAGE_PRIV ON COMPUTE GROUP {compute_group_name} TO {user};6.2.3 撤销计算组访问权限前置条件当前操作用户具备ADMIN权限或者当前用户属于 admin role。REVOKE USAGE_PRIV ON COMPUTE GROUP {compute_group_name} FROM {user};6.2.4 设置默认计算组为当前用户设置默认计算组此操作需要当前用户已经拥有计算组的使用权限SET PROPERTY default_compute_group {clusterName};为其他用户设置默认计算组此操作需要 Admin 权限SET PROPERTY FOR {user} default_compute_group {clusterName};查看当前用户默认计算组返回结果中default_compute_group的值即为默认计算组SHOW PROPERTY;查看其他用户默认计算组此操作需要当前用户具备 admin 权限返回结果中default_compute_group的值即为默认计算组SHOW PROPERTY FOR {user};查看当前仓库下所有可用的计算组SHOW COMPUTE GROUPS;6.2.5 没有任务一个计算组时