注册 留言板
当前位置:首页 > 企业级应用 > ODI > 正文

codis集群搭建

来源:CSDN   发布时间: 2016-12-01   作者:zshake   浏览次数:
摘要: 一、codis介绍 2.1 安装基础依赖 2.2 go语言环境搭建 三、安装codis 3.1 通过go下载安装 3.2 通过git方式 3.3 通过下载源码 四...

本文由ilanniweb提供友情赞助,首发于烂泥行天下

想要获得更多的文章,可以关注我的微信ilanniweb

目前公司的业务是php语言开发,使用的是laravel开源框架。laravel框架使用predis连接redis,但是目前predis不支持主从式redis集群,这点很坑。

看了看目前网上的解决方案,国内豌豆荚开源的codis很不错。这篇文章,我们主要介绍codis集群的安装。

一、codis介绍

codis是一个分布式redis集群解决方案,对于上层的应用来说, 连接到codis-proxy和连接原生的redis-server没有明显的区别。

上层应用可以像使用单机的redis一样使用,codis底层会处理请求的转发,不停机的数据迁移等工作。所有后边的一切事情,对于前面的客户端来说是透明的,可以简单的认为后边连接的是一个内存无限大的redis服务。

codis由四部分组成:

codis proxy(codis-proxy)

codis dashboard(codis-config)

codis redis(codis-server)

zookeeper/etcd

codis-proxy是客户端连接的redis代理服务,codis-proxy本身实现了redis协议,表现得和一个原生的redis没什么区别(就像twemproxy),对于一个业务来说,可以部署多个codis-proxy,codis-proxy本身是无状态的。

codis-config是codis的管理工具,支持包括:添加/删除redis节点,添加/删除proxy节点,发起数据迁移等操作。

codis-config本身还自带了一个http-server,会启动一个dashboard,用户可以直接在浏览器上观察codis集群的运行状态。

codis-server是codis项目维护的一个redis分支,基于redis2.8.21开发,加入了slot的支持和原子的数据迁移指令。codis上层的codis-proxy和codis-config只能和这个版本的redis交互才能正常运行。

codis依赖zookeeper来存放数据路由表和codis-proxy节点的元信息,codis-config发起的命令都会通过zookeeper同步到各个存活的codis-proxy。

codis支持按照namespace区分不同的产品,拥有不同的product name的产品,各项配置都不会冲突。

codis架构图如下:

clip_image001

二、环境准备

codis集群的搭建,需要zookeeper集群,有关zookeeper集群的搭建,可以参考这篇文章《烂泥:zookeeper集群搭建》。

除了zookeeper集群之外,我们还需要安装go语言环境,因为codis是基于go语言开发的。

2.1 安装基础依赖

安装基础依赖,使用如下命令:

yum install -y git gcc make g++ gcc-c++ automake openssl-devel zlib-*

clip_image002

基础依赖安装往后,我们现在开始配置go语言环境。

2.2 go语言环境搭建

codis是基于go语言开发的,所以我们要在所有服务器上都配置go语言环境。

下载go语言包,如下:

wget http://www.golangtc.com/static/go/1.4.2/go1.4.2.linux-amd64.tar.gz

clip_image003

下载完毕后,解压到/usr/local,如下:

tar -C /usr/local -xf go1.4.2.linux-amd64.tar.gz

clip_image004

把go加入到系统的环境变量,如下:

vim /etc/profile

export PATH=$PATH:/usr/local/go/bin

export GOPATH=/usr/local/

clip_image005

让刚刚加入的环境变量生效,并查看go是否配置成功,如下:

source /etc/profile

env

go version

clip_image006

通过上图,我们可以很明显的看出go语言环境配置成功。

三、安装codis

codis的安装,我们可以通过三种不同的方式进行:通过go下载安装、通过git方式和通过源码方式,下面分别介绍下。

3.1 通过go下载安装

官方github地址为:https://github.com/CodisLabs/codis

官方使用文档地址为:https://github.com/CodisLabs/codis/blob/master/doc/tutorial_zh.md

按照官方github介绍,codis首选方式是通过go下载安装的。命令如下:

go get -u -d github.com/CodisLabs/codis

clip_image007

注意:由于众所周知的原因,这一步比较慢,需要耐心等待。

上一步执行完毕后,我们切换到/usr/local/src/github.com/CodisLabs/codis目录下,进行编译,如下:

cd /usr/local/src/github.com/CodisLabs/codis

make

clip_image008

clip_image009

clip_image010

注意:这一步也比较慢,需要耐心等待。

make编译执行完毕后后,会在bin目录下生成codis-config、codis-proxy、codis-server三个可执行文件以及assets目录。

其中assets是codis-config的dashboard http 服务需要的前端资源,需要和codis-config放置在同一目录下。如下:

ll bin/

clip_image011

编译完毕后,我们现在来测试编译的结果,使用如下命令:

make gotest

clip_image012

通过上图,我们可以看到codis已经安装成功。

3.2 通过git方式

上一章节,我们介绍了codis通过go下载安装的方法,这一章节,我们通过git方式进行安装。

首先下载codis最新的git仓库,使用如下命令:

git clone https://github.com/CodisLabs/codis.git

clip_image013

git仓库下载完毕后,我们接下来进行如下的操作。如下:

mkdir -p /usr/local/src/github.com/CodisLabs/

cp -r codis /usr/local/src/github.com/CodisLabs/

cd /usr/local/src/github.com/CodisLabs/codis/

clip_image014

以上操作完毕后,就和通过go下载安装方式一样了。执行make命令进行编译,然后执行make gotest命令进行测试。

3.3 通过下载源码

下面我们来介绍下,通过源码方式的安装。下载codis源码文件,如下:

wget https://github.com/CodisLabs/codis/archive/3.0.3.tar.gz

clip_image015

解压源码包,如下:

tar -xf 3.0.3.tar.gz

cd codis-3.0.3/

clip_image016

然后进行编译,使用make命令,如下:

clip_image017

clip_image018

clip_image019

clip_image020

这一步很慢,需要下载各种依赖,然后是make gotest。

基本和go下载安装方式一样,不过需要说明下,我通过源码方式一直没有安装成功。报如下错误:

clip_image021

所以以上三种安装的方法,建议使用第一、二种,尽管有点慢。

四、配置codis集群

codis安装完毕后,我们现在来配置codis集群。在正式配置集群之前,先创建相关的目录,然后复制相关文件到新的目录下。使用如下命令:

cd /usr/local/src/github.com/CodisLabs/codis/

mkdir -p /usr/local/codis/{log,redis_conf}

cp -rf bin/ /usr/local/codis/

cp config.ini /usr/local/codis/

cp extern/redis-test/conf/6379.conf /usr/local/codis/redis_conf/20189.conf

cp extern/redis-test/conf/6380.conf /usr/local/codis/redis_conf/20190.conf

clip_image022

4.1 编辑codis配置文件

上述操作完毕后,我们来修改codis的配置文件config.ini,在此我们只需要修改相关的选项即可。如下:

vim /usr/local/codis/config.ini

coordinator=zookeeper

zk=192.168.1.9:2181,192.168.1.124:2181,192.168.1.231:2181

product=test

dashboard_addr=192.168.1.9:18087

password=

backend_ping_period=5

session_max_timeout=1800

session_max_bufsize=131072

session_max_pipeline=1024

zk_session_timeout=30000

proxy_id=proxy_9

该配置文件中,我们需要注意三个参数:zk、dashboard_addr、proxy_id。

其中zk是表示zookeeper集群的服务器IP地址,dashboard_addr表示codis web管理的IP地址及端口,proxy_id表示codis的id,注意每台codis服务器该值要唯一

clip_image023

另外两台服务器的codis配置文件,内容如下:

clip_image024

clip_image025

到此codis配置文件修改完毕。

4.2 编辑redis配置文件

codis配置文件修改完毕后,我们现在来修改redis配置文件。

每台codis服务器上,我们要启动两个redis实例(也可以启动多个redis实例),所以我们要配置两个redis。如下:

vim /usr/local/codis/redis_conf/20189.conf

daemonize no

pidfile /var/run/redis20189.pid

port 20189

tcp-backlog 511

timeout 0

tcp-keepalive 0

loglevel notice

logfile /var/log/redis/20189.log

databases 16

stop-writes-on-bgsave-error yes

rdbcompression yes

rdbchecksum yes

dbfilename dump20189.rdb

dir /usr/local/codis/

slave-serve-stale-data yes

slave-read-only yes

repl-disable-tcp-nodelay no

slave-priority 100

appendonly no

appendfilename “appendonly.aof”

appendfsync everysec

no-appendfsync-on-rewrite no

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

lua-time-limit 5000

slowlog-log-slower-than 10000

slowlog-max-len 128

latency-monitor-threshold 0

notify-keyspace-events “”

hash-max-ziplist-entries 512

hash-max-ziplist-value 64

list-max-ziplist-entries 512

list-max-ziplist-value 64

set-max-intset-entries 512

zset-max-ziplist-entries 128

zset-max-ziplist-value 64

hll-sparse-max-bytes 3000

activerehashing yes

client-output-buffer-limit normal 0 0 0

client-output-buffer-limit slave 256mb 64mb 60

client-output-buffer-limit pubsub 32mb 8mb 60

hz 10

aof-rewrite-incremental-fsync yes

clip_image026

配置第二个redis实例,如下:

yes|cp /usr/local/codis/redis_conf/20189.conf /usr/local/codis/redis_conf/20190.conf

sed -i ‘s/20189/20190/g’ /usr/local/codis/redis_conf/20190.conf

mkdir -p /var/log/redis/

clip_image027

每台codis服务器上redis配置完毕后,我们来启动redis实例,如下:

/usr/local/codis/bin/codis-server /usr/local/codis/redis_conf/20189.conf &

/usr/local/codis/bin/codis-server /usr/local/codis/redis_conf/20190.conf &

ps -ef |grep codis-server

clip_image028

注意:我们每台codis服务器上的redis实例都需要启动。

4.3 启动codis dashboard

redis实例全部启动后,我们现在来启动codis的dashboard。

注意,我们一定要在192.168.1.9这台codis服务器上启动该命令,这是因为我们在4.1章节codis配置文件中配置的dashboard地址就是192.168.1.9。

使用如下命令启动dashboard:

nohup /usr/local/codis/bin/codis-config -c config.ini dashboard &

netstat -tunlp

clip_image029

codis dashboard访问端口是18087,如下:

http://codis.ilanni.com:18087/admin/

clip_image030

通过上图,我们可以很明显的看出codis dashboard已经正常启动。

4.4 创建redis server分组

codis dashboard已经正常启动后,我们现在来创添加redis server分组。如下:

clip_image031

clip_image032

clip_image033

clip_image034

这样我们第一个redis server分组就创建完毕了,可以使用同样的方法创建第二、三个分组。如下:

clip_image035

这样三组redis server分组就创建完毕了。

当然我们也可以通过命令进行创建,如下:

/usr/local/codis/bin/codis-config server add-group 1

/usr/local/codis/bin/codis-config server add-group 2

/usr/local/codis/bin/codis-config server add-group 3

/usr/local/codis/bin/codis-config server list

clip_image036

注意:上述命令在三台codis服务器上任意一台上执行。

到此codis的redis server分组添加完毕。

4.5 添加redis实例

redis server分组添加完毕后,我们现在来为每一个分组添加redis实例。先为group_1添加redis实例,如下:

clip_image037

clip_image038

这个里面可以填写任何一个codis服务器上的redis实例(哪怕不是codis服务器的redis实例),在此我们填写的是192.168.1.9这台服务器上的redis实例。

clip_image039

可以看到group_1组的第一个redis实例,被自动配置为master类型。

现在我们来添加第二个redis实例,如下:

clip_image040

clip_image041

通过上图,我们可以很明显的看到第二个添加的redis实例被默认配置为slave类型。

注意:redis官方的支持的集群也是master-slave主从式的集群。

group_2组和group_3组的redis实例添加和上面的操作一样,如下:

clip_image042

这样三组redis实例就全部添加完毕。

当然我们也可以通过命令进行添加,如下:

/usr/local/codis/bin/codis-config server add 1 192.168.1.9:20189 master

/usr/local/codis/bin/codis-config server add 1 192.168.1.9:20190 slave

/usr/local/codis/bin/codis-config server add 2 192.168.1.124:20189 master

/usr/local/codis/bin/codis-config server add 2 192.168.1.124:20190 slave

/usr/local/codis/bin/codis-config server add 3 192.168.1.231:20189 master

/usr/local/codis/bin/codis-config server add 3 192.168.1.231:20190 slave

注意:上述命令中的数字,表示的是哪一个分组,master/slave表示的是所属类型。

clip_image043

我们也可以通过命令查看,各个redis server组的信息,如下:

/usr/local/codis/bin/codis-config server list

clip_image044

注意:每组添加的第一个redis实例不能被删除,因为codis默认把该redis实例设置为master。

到此redis server分组的redis实例添加完毕。

4.6 分配slot范围

codis采用pre-sharding的技术来实现数据的分片,默认分成1024个slot(0-1023)。对于每个key来说,可以通过以下公式确定所属的slot id:slotid=crc32(key)%1024。

每一个slot都会有一个且必须有一个特定的server group id来表示这个slot的数据由哪个server group来提供。

在分配slot之前,我们需要初始化slot。

在codis服务器任意一台上执行bin/codis-config slot init命令,该命令会在zookeeper上创建slot相关信息。如下:

cd /usr/local/codis

/usr/local/codis/bin/codis-config -c config.ini slot init

clip_image045

slot初始化完毕后,我们现在来分配slot范围。如下:

clip_image046

clip_image047

上图中的New Group Id是自定义的。

clip_image048

通过上图,我们可以看到第一组slot分配成功。

现在来查看slot分配信息,如下:

clip_image049

clip_image050

通过上图,我们可以很明显的看出组1分配的slot是0-334,335以后还没有分配。现在来分配剩下的slot,如下:

clip_image051

clip_image052

这样slot已经全部分配完毕。

当然我们也可以通过命令进行分配,如下:

/usr/local/codis/bin/codis-config slot range-set 0 334 1 online

/usr/local/codis/bin/codis-config slot range-set 335 669 2 online

/usr/local/codis/bin/codis-config slot range-set 670 1023 3 online

clip_image053

查看slot信息,如下:

/usr/local/codis/bin/codis-config slot info 1

/usr/local/codis/bin/codis-config slot info 2

/usr/local/codis/bin/codis-config slot info 3

clip_image054

4.7 启动codis-proxy

以上全部配置完毕后,我们来启动codis-proxy,使用如下命令:

nohup /usr/local/codis/bin/codis-proxy -c /usr/local/codis/config.ini –log-level=error -L/usr/local/codis/log/proxy.log –cpu=8 –addr=0.0.0.0:19000 –http-addr=0.0.0.0:11000 &

下面对以上命令中的参数进行解释:

-c 配置文件地址。

-L 日志输出文件地址。

–log-level=<loglevel> 输出日志级别(debug<info (default)<warn<error<fatal)。

–cpu=<cpu_num> proxy占用的cpu核数,默认1,最好设置为机器的物理cpu数的一半到2/3左右。

–addr=<proxy_listen_addr> proxy的redis server监听的地址, 格式<ip or hostname>:<port>, 如: localhost:9000, :9001。

–http-addr=<debug_http_server_addr> proxy的调试信息启动的http server,可以访问 http://debug_http_server_addr/debug/vars。

clip_image055

codis-proxy启动后,我们可以在dashboard上进行查看,如下:

clip_image056

到此codis集群就搭建完毕。

五、连接codis集群

codis集群搭建完毕后,现在我们来连接codis集群。要连接codis集群,我们只需要连接codis-proxy即可。即连接4.7章节中的codis-proxy服务器地址,然后加19000端口。使用redis-cli命令连接,如下:

redis-cli -h 192.168.1.9 -p 19000

info

clip_image057

通过上图,我们可以很明显的看到连接codis集群是ok的。

我们现在对codis集群做一些压力测试,同时在dashboard上观察键值对的情况。如下:

redis-benchmark -h 192.168.1.9 -p 19000 -c 10000 -d 100 -t set -n 100000 -r 100000

上述命令的意思是,使用redis-benchmark压力测试命令连接codis集群,同时并发10000个(-c),测试set操作(-t),每个测试数据集是100字节(-d),请求数是100000(-n),使用使用随机数插入数值(-r)。

clip_image058

通过上图,可以很明显的看到codis集群的性能还是很不错的呢。

而我们laravel框架中redis的配置直接填写codis-proxy的连接地址即可。如下:

clip_image059

六、其他

在codis搭建和使用过程中,我们还是会碰到一些其他问题的,下面就稍微提下。

6.1 报zk节点不存在错误

如果要kill的dashboard的话,强烈建议通过kill -15 pid来关闭。

如果是直接使用kill -9进行kill的话,可能会报zk节点不存在错误的话。

这样的话,我们需要通过连接zookeeper集群,删除相关节点,然后再进行操作。删除节点操作,操作如下:

cd /usr/local/zookeeper/

./bin/zkCli.sh -server 127.0.0.1:2181

ls /zk/codis/db_test

rmr /zk/codis/db_test

clip_image060

clip_image061

6.2 与阿里云slb集成

在这里我们大致介绍下,codis在与阿里云的slb(负载均衡)进行集成的线上生产环境的案例。

目前我们连接codis集群是通过单个codis-proxy来进行的,如果这个节点挂了,就会出现了单点故障的危险。

所以我们这边在codis集群每台服务器上,都启动一个codis-proxy。然后前端使用slb进行统一接入,slb后端就有三台codis-proxy服务器。

codis集群的搭建和前面是一样的,只是在此我们的codis所在ecs(服务器)只有内网IP(省钱),而且slb我们是要的也是内网(省钱)。如下:

clip_image062

clip_image063

这样的话,客户端连接slb的地址就是连接codis整个集群了,同时也避免了单点故障的问题。

注意:阿里云slb后端的ecs,不能telnet通其前端的slb。



我来说两句
评论内容:
验  证  码:
 
(网友评论仅供其表达个人看法,并不表明本站同意其观点或证实其描述。)
评论列表
已有 0 条评论(查看更多评论)
精彩专题
友情链接:
设为首页 - 加入收藏 Copyright @2016 Infocool 版权所有 粤ICP备16000626号