当前位置:操作系统 > Unix/Linux >>

greenplum db配置

greenplum db配置
 
1. 调整内核参数
 
kernel.sysrq = 1
fs.file-max = 101365
kernel.shmmax = 500000000
kernel.shmall = 4000000000
kernel.msgmni = 2048
kernel.sem = 250 512000 100 2048
kernel.shmmni = 4096
net.core.netdev_max_backlog = 10000
net.core.rmem_default = 1048576
net.core.rmem_max = 1048576
net.core.wmem_default = 262144
net.core.wmem_max = 262144
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ip_local_port_range = 1025 65535
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
vm.overcommit_memory = 2
 
执行sysctl -p 使之生效
 
2. 调整系统限制
 
编辑/etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
 
* soft nproc 131072
* hard nproc 131072
 
重新登录root,使变更生效
 
3. 安装,指定路径,安装包在root下,执行bin文件
接受协议 yes
指定安装路径 回车
是否安装 是
是否存在已有gp 回车
 
4. 建立gpadmin用户,密码也是gpadmin
 
useradd gpadmin
passwd gpadmin
 
5. root下配置ssh信任
 
/* 添加gp的环境变量 */
#cd /usr/local/greenplum-db
#cat greenplum_path.sh >>/etc/profile
 
/* 执行变更 */
#. /etc/profile
 
/* 建立文本,包含所有gp的节点名 */
#编辑/home/gpadmin/all_hosts,添加
yd1701
 
/* 建立root节点的ssh信任 */
编辑/root/.ssh/config文件,添加ssh端口号
Host yd1701
Port 22022
 
/* 建立信任并测试 */
#gpssh-exkeys -f all_hosts
#ssh yd1701 -p 22022 date
  
6. 修改gp db安装目录的权限
 
#chown -R gpadmin:gpadmin /usr/local/greenplum-db
#chown -R gpadmin:gpadmin /usr/local/greenplim-db-4.2.2.0
 
7. 建立master数据目录和segment数据目录
 
#mkdir  /u02/gpdata/gpmaster
#mkdir  /u02/gpdata/gpdata0
#mkdir  /u02/gpdata/gpdata1
以下略,生成16个segment目录,并修改权限为gpadmin:gpadmin
 
8. gpadmin用户下配置ssh信任
 
编辑/home/gpadmin/.ssh/config文件,添加ssh端口号
Host yd1701
Port 22022
 
/* 在gpadmin用户下建立ssh信任并测试 */
#gpssh-exkeys -f all_hosts
#ssh yd1701 -p 22022 date
 
9. 检查环境
 
#gpcheck -f all_hosts -m yd1701 -s yd1701,根据日志调整,然后再运行
 
10. 编辑初始化配置文件
 
#cp /usr/local/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config /home/gpadmin/
调整如下
ARRAY_NAME="EMC Greenplum DW"
SEG_PREFIX=gpseg
PORT_BASE=40000
/* 路径太长,可参考1701同名文件 */
declare -a DATA_DIRECTORY=(/u02/gpdata/gpdata0 /u02/gpdata/gpdata1 ...)
MASTER_HOSTNAME=yd1701
MASTER_DIRECTORY=/u02/gpdata/gpmaster
MASTER_PORT=5432
TRUSTED_SHELL=ssh
CHECK_POINT_SEGMENTS=8
ENCODING=UNICODE
MACHINE_LIST_FILE=/home/gpadmin/all_hosts
 
11. 初始化并查看状态
 
gpadmin用户下gpinitsystem -c gpinitsystem_config
 
编译/etc/profile,增加
export MASTER_DATA_DIRECTORY=/u02/gpdata/gpmaster/gpseg-1
 
重新切换到gpadmin用户,使环境变量生效
 
/* 查看运行状态 */
gpadmin用户下gpstate -s,检查节点是否都是up
 
12. 启动和停止
 
gpadmin用户下gpstop
gpadmin用户下gpstart
 
13. 启动gpfdist
 
gpadmin用户下
nohup gpfdist -d <加载文件路径>  -p<端口号> &
 
14. 配置实例参数
 
14.1 调整master 节点的访问控制,编辑/u02/gpdata/gpmaster/gpseg-1/pg_hba.conf
添加
host     all         gpadmin         0.0.0.0/0       trust
 
14.2 配置各postgres实例参数,如编辑/u02/gpdata/gpdata0/gpseg0/postgresql.conf,根据实际情况调整
缓存,连接数,执行计划等
 
CopyRight © 2022 站长资源库 编程知识问答 zzzyk.com All Rights Reserved
部分文章来自网络,