Redis + Gearman + Mysql 实现读写分离

2019年6月28日

通过Gearman实现MySQL到Redis的数据复制
Redis +  Gearman + Mysql   实现读写分离  mysql更新同步redis

一  安装LNMP环境或者 LAMP
无论哪种架构 启动相应服务   mysql  nginx   apache  ...
配置好一个站点   假设站点为 : www.redis.com  目录自己定 在站点根目录添加 info.php

 vim info.php
<?php
     phpinfo();
?>

本地 host
IP www.redis.com

访问 www.redis.com/info.php  可以看到 php 信息

二  安装redis 和 这里采用yum安装 方便简洁

--enablerepo=remi   启用一个仓库  remi 源中较新

yum install --enablerepo=remi  redis

配置  redis 详见 redis 安装

三  安装php的redis扩展

yum install --enablerepo=remi php-pecl-redis

LAMP 重启 httpd , LNMP  重启 php-fpm

刷新 www.redis.com/info.php   看看有没有  redis

可以查找到 redis 显示版本信息 表示成功

四 读写分离

1 创建数据库
[root@redis ~]# mysql -u root -p123456
mysql> create database mytest;
mysql> CREATE TABLE `test` (`id` int(7) NOT NULL AUTO_INCREMENT, `name` char(8) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;
mysql> INSERT INTO `test` VALUES (1,'sven'),(2,'jim'),(3,'zhu'),(4,'wang'),(5,'ftd'),(6,'test'),(7,'test01'),(8,'test02'),(9,'test03');
mysql> select * from mytest.test;
+----+--------+
| id | name   |
+----+--------+
|  1 | sven   |
|  2 | jim    |
|  3 | zhu    |
|  4 | wang   |
|  5 | ftd    |
|  6 | test   |
|  7 | test01 |
|  8 | test02 |
|  9 | test03 |
+----+--------+

2 编写php的测试代码
vim data.php

<?php
        $redis = new Redis();
        $redis->connect('127.0.0.1',6379) or die ("could net connect redis server");
        //$redis->auth('redis password'); //redies 使用密码时用到
        $query = "select * from test limit 8";
        //为了简单一点,这里就读取了8条数据
        for ($key = 1; $key < 8; $key++)
        {
                if (!$redis->get($key))
                {
                        $connect = mysql_connect('127.0.0.1','test','123456');
                        mysql_select_db(mytest);
                        $result = mysql_query($query);
                        //如果没有找到$key,就将该查询sql的结果缓存到redis
                        while ($row = mysql_fetch_assoc($result))
                        {
                                $redis->set($row['id'],$row['name']);
                        }
                        $myserver = 'mysql';
                        break;
                }
                else
                {
                        $myserver = "redis";
                        $data[$key] = $redis->get($key);
                }
        }

        echo $myserver;
        echo "<br>";
        for ($key = 1; $key < 8; $key++)
        {
                echo "number is <b><font color=#FF0000>$key</font></b>";

                echo "<br>";

                echo "name is <b><font color=#FF0000>$data[$key]</font></b>";

                echo "<br>";
        }
?>

浏览器 查看 www.redis.com/data.php

mysql
number is 1
name is
number is 2
name is
number is 3
name is
number is 4
name is
number is 5
name is
number is 6
name is
number is 7
name is
number is 8
name is

第一次查看得到 上述的情况  , 因为redis 没有数据 数据是第一次从数据库中读取存入 redis 的 ,刷新页面

redis
number is 1
name is seve
number is 2
name is seve
number is 3
name is seve
number is 4
name is seve
number is 5
name is ftd
number is 6
name is test
number is 7
name is test01
number is 8
name is test02

读取的 Redis 的数据

到这里,我们已经实现了redis作为mysql的缓存服务器,但是如果更新了mysql中的数据,redis中对应的KEY仍然是之前存储的值,数据不会更新,此时就会出现mysql和redis数据不一致的情况。所以接下来就要通过mysql触发器将改变的数据同步到redis中。

五 通过gearman实现同步

1、介绍

Gearman是一个支持分布式的任务分发框架:
   Gearman Job Server:Gearman核心程序,需要编译安装并以守护进程形式运行在后台。
   Gearman Client:可以理解为任务的请求者。
   Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式运行,Gearman Worker接收到Gearman Client传递的任务内容后,会按顺序处理。

大致流程:

下面要编写的mysql触发器,就相当于Gearman的客户端。修改表,插入表就相当于直接下发任务。然后通过lib_mysqludf_json UDF库函数将关系数据映射为JSON格式,然后在通过gearman-mysql-udf插件将任务加入到Gearman的任务队列中,最后通过redis_worker.php,也就是Gearman的worker端来完成redis数据库的更新。

2、安装启动

[root@redis ~]# yum -y install gearmand libgearman libgearman-devel
[root@redis ~]# /etc/init.d/gearmand start
正在启动 gearmand:                                        [确定]
[root@redis ~]# /etc/init.d/gearmand status
gearmand (pid  11264) 正在运行...

3、安装php的gearman扩展

yum install --enablerepo=remi php-pecl-gearman

LAMP 重启 httpd , LNMP  重启 php-fpm

刷新 www.redis.com/info.php   看看有没有  gearman 的扩展

可以查找到 gearman 显示版本信息 表示成功

4、安装lib_mysqludf_json

lib_mysqludf_json UDF库函数将关系数据映射为JSON格式。通常,数据库中的数据映射为JSON格式,是通过程序来转换的。

[root@redis ~]# wget -c -t 0 https://github.com/mysqludf/lib_mysqludf_json/archive/master.zip
[root@redis ~]# unzip master.zip
[root@redis ~]# cd lib_mysqludf_json-master/
[root@redis ~]# rm lib_mysqludf_json.so

[root@redis lib_mysqludf_json-master]# gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c

mysql> show global variables like 'plugin_dir';
+---------------+-------------------------+
| Variable_name | Value                   |
+---------------+-------------------------+
| plugin_dir    | /usr/lib64/mysql/plugin |
+---------------+-------------------------+

#将模块拷贝到插件目录下
[root@redis lib_mysqludf_json-master]# cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/

#注册UDF函数
mysql> CREATE FUNCTION json_object RETURNS STRING SONAME 'lib_mysqludf_json.so';

5、安装gearman-mysql-udf

这个插件是用来管理调用 Gearman 的分布式的队列。

[root@redis ~]# wget https://launchpad.net/gearman-mysql-udf/trunk/0.6/+download/gearman-mysql-udf-0.6.tar.gz
[root@redis ~]# tar xvf gearman-mysql-udf-0.6.tar.gz
[root@redis ~]# cd gearman-mysql-udf-0.6
[root@redis gearman-mysql-udf-0.6]# ./configure --with-mysql=/usr/bin/mysql_config --libdir=/usr/lib64/mysql/plugin/
[root@redis gearman-mysql-udf-0.6]# make
[root@redis gearman-mysql-udf-0.6]# make install

#注册UDF函数
mysql> CREATE FUNCTION gman_do_background RETURNS STRING SONAME 'libgearman_mysql_udf.so';
mysql> CREATE FUNCTION gman_servers_set RETURNS STRING SONAME 'libgearman_mysql_udf.so';

#查看函数
mysql> select * from mysql.func;
+--------------------+-----+-------------------------+----------+
| name               | ret | dl                      | type     |
+--------------------+-----+-------------------------+----------+
| json_object        |   0 | lib_mysqludf_json.so    | function |
| gman_do_background |   0 | libgearman_mysql_udf.so | function |
| gman_servers_set   |   0 | libgearman_mysql_udf.so | function |
+--------------------+-----+-------------------------+----------+

#指定gearman的服务信息
mysql> SELECT gman_servers_set('127.0.0.1:4730');

6、编写mysql触发器(根据实际情况编写)

vim /root/trigger.sql

DELIMITER $$
CREATE TRIGGER datatoredis AFTER UPDATE ON test FOR EACH ROW BEGIN
    SET @RECV=gman_do_background('syncToRedis', json_object(NEW.id as `id`, NEW.name as `name`));
  END$$
DELIMITER ;

mysql> use mytest;

mysql> source  /root/trigger.sql

Query OK, 0 rows affected (0.67 sec)

查看触发器
mysql> SELECT * FROM information_schema.`TRIGGERS`;
+-----------------+----------------+--------------+--------------------+----------------------+---------------------+--------------------+--------------+------------------+---------------------------------------------------------------------------------------------------------------+--------------------+---------------+----------------------------+----------------------------+--------------------------+--------------------------+---------+-------------------+----------------+----------------------+----------------------+--------------------+
| TRIGGER_CATALOG | TRIGGER_SCHEMA | TRIGGER_NAME | EVENT_MANIPULATION | EVENT_OBJECT_CATALOG | EVENT_OBJECT_SCHEMA | EVENT_OBJECT_TABLE | ACTION_ORDER | ACTION_CONDITION | ACTION_STATEMENT                                                                                              | ACTION_ORIENTATION | ACTION_TIMING | ACTION_REFERENCE_OLD_TABLE | ACTION_REFERENCE_NEW_TABLE | ACTION_REFERENCE_OLD_ROW | ACTION_REFERENCE_NEW_ROW | CREATED | SQL_MODE          | DEFINER        | CHARACTER_SET_CLIENT | COLLATION_CONNECTION | DATABASE_COLLATION |
+-----------------+----------------+--------------+--------------------+----------------------+---------------------+--------------------+--------------+------------------+---------------------------------------------------------------------------------------------------------------+--------------------+---------------+----------------------------+----------------------------+--------------------------+--------------------------+---------+-------------------+----------------+----------------------+----------------------+--------------------+
| def             | mytest         | datatoredis  | UPDATE             | def                  | mytest              | test               |            0 | NULL             | BEGIN
    SET @RECV=gman_do_background('syncToRedis', json_object(NEW.id as `id`, NEW.name as `name`));
  END | ROW                | AFTER         | NULL                       | NULL                       | OLD                      | NEW                      | NULL    | STRICT_ALL_TABLES | root@localhost | utf8                 | utf8_general_ci      | latin1_swedish_ci  |
+-----------------+----------------+--------------+--------------------+----------------------+---------------------+--------------------+--------------+------------------+---------------------------------------------------------------------------------------------------------------+--------------------+---------------+----------------------------+----------------------------+--------------------------+--------------------------+---------+-------------------+----------------+----------------------+----------------------+--------------------+
1 row in set (0.08 sec)

7 编写一个简易的 实例

为了更容易理解后文Gearman的运行流程,这里不妨从一个最简单的Gearman实例来说明,比如我们要进行一个文件处理的操作,首先编写一个Gearman Client并命名为client.php:

<?php
$client = new GearmanClient();
$client->addServer();
$client->doBackground('writeLog', 'Log content');
echo '文件已经在后台操作';
echo "<br />";

?>

运行这个文件,相当于模拟用户请求一个Web页面后,将处理结束的信息返回用户:

php client.php

查看一下Gearman的状况:

(echo status ; sleep 0.1) | netcat 127.0.0.1 4730

可以看到输出为

writeLog        1       0       0
.

说明我们已经在Gearman中建立了一个名为writeLog的任务,并且有1个任务在队列等待中。

而上面的4列分别代表当前的Gearman的运行状态:

    任务名称
    在等待队列中的任务
    正在运行的任务
    正在运行的Worker进程

可以使用watch进行实时监控:

watch -n 1 "(echo status; sleep 0.1) | nc 127.0.0.1 4730"

8、编写gearman的worker端

vim /www/redis_worker.php
<?php
$worker = new GearmanWorker();
$worker->addServer();
$worker->addFunction('syncToRedis', 'syncToRedis');

$redis = new Redis();
$redis->connect('127.0.0.1', 6379);
//$redis->auth('M6dM76g0L5#4M3nbvhQJ54hEabpa0R*D5ZG');

while($worker->work());
function syncToRedis($job)
{
        global $redis;
        $workString = $job->workload();
        //反转字符串
        #$result = strrev($workString);
        $work = json_decode($workString);
        if(!isset($work->id)){
                return false;
        }
        $redis->set($work->id, $work->name);

        //加入执行日志  不知道为什么或许我配置的问题  gearman 默认的日志  /var/log/gearman.log 空的所以我将执行的过程记录日志
        $filename = "/var/log/gearmand_worker.log";
        $file = fopen("$filename","a+");
        fwrite($file,date("Y-m-d H:i:s")."\n");
        fwrite($file,$workString."\n");
        #fwrite($file,$result."\n");
        fclose($file);
}
?>

#后台运行
[root@redis www]# nohup php redis_worker.php &

再次查看Gearman的队列,发现等待的任务变成0,worker进程变成了1,

writeLog        0       0       1

当 worker进程变成了1 ,就表示成功了。

9、更新mysql中的数据

mysql> set @RECV = 1;
mysql> select @RECV;
+------+
| @RECV|
+------+
|    1 |
+------+
mysql> update test set name = 'ssss' where id = 1;
mysql> select @RECV;
+------+
| @RECV|
+------+
| NULL |
+------+

10 查看 redis 数据变化了没有

redis-cli

redis > get 1
"ssss"

看到成功更新数据
 

没有评论

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注