packet number

在做proxy的时候在这里迷糊过,翻了几遍代码才搞明白，细节如下：
客户端服务端的net->pkt_nr都从0开始.接受包时比较packet number 和net->pkt_nr是否相等,否则报packet number乱序,连接报错;相等则pkt_nr自增.发送包时把net->pkt_nr作为packet number发送,然后对net->pkt_nr进行自增保持和对端的同步.

接收包

sql/net_serv.c:my_real_read

898     if (net->buff[net->where_b + 3] != (uchar) net->pkt_nr)

发送包

sql/net_serv.c:my_net_write

392   int3store(buff,len);
393   buff[3]= (uchar) net->pkt_nr++;

我们来几个具体场景的packet number, net->pkt_nr的变化

连接

0 c ———–> s 0  connect

0 c <—-0——s 1  handshake

2 c —–1—–>s 1 auth

2c <—–2——s 0 ok

开始两方都为0,服务端发送handshake packet(pkt=0)之后自增为1,然后等待对端发送过来pkt=1的包

查询

每次查询,服务客户端都会对net->pkt_nr进行清零

include/mysql_com.h
388 #define net_new_transaction(net) ((net)->pkt_nr=0)

sql/sql_parse.cc:do_command
805   net_new_transaction(net);

sql/client.c:cli_advanced_command

800   net_clear(&mysql->net, (command != COM_QUIT));

开始两方net->pkt_nr皆为0, 命令发送后客户端端为1,服务端开始发送分包,分包的pkt_nr的依次递增,客户端的net->pkt_nr也随之增加.

1 c ——0—–> s 0  query

1 c <—-1——s 2  resultset

2 c <—-2——s 3  resultset

 解包的细节

my_net_read负责解包，首先读取4个字节，判断packet number是否等于net->pkt_nr然后再次读取packet_number长度的包体。

伪代码如下：

remain=4
for(i = 0; i < 2; i++) {
    //数据是否读完
    while (remain>0)  {
        length = read(fd, net->buff, remain)
        remain = remain - length
    }
    //第一次
    if (i=0) {
        remain = uint3korr(net->buff+net->where_b);
    }
}

网络层优化

从ppt里可以看到,一个resultset packet由多个包组成,如果每次读写包都导致系统调用那肯定是不合理,常规优化方法:写大包加预读

net->buff

每个包发送到网络或者从网络读包都会先把数据包保存在net->buff里,待到net->buff满了或者一次命令结束才会通过socket发出给对端.net->buff有个初始大小(net->max_packet),会随读取数据的增多而扩展.

vio->read_buffer

每次从网络读包,并不是按包的大小读取,而是会尽量读取2048个字节,这样一个resultset包的读取不会再引起多次的系统调用了.header packet读取完毕后, 接下来的field,eof, row apcket读取仅仅需要从vio-read_buffer拷贝指定字节的数据即可.

MySQL api说明

api和MySQL客户端都会使用sql/client.c这个文件,解包的过程都是使用sql/client.c:cli_read_query_result.

mysql_store_result来解析row packet,并把数据存储到res->data里,此时所有数据都存内存里了.

mysql_fetch_row仅仅是使用内部的游标,遍历result->data里的数据

3052     if (!res->data_cursor)
3053     {
3054       DBUG_PRINT("info",("end of data"));
3055       DBUG_RETURN(res->current_row=(MYSQL_ROW) NULL);
3056     }
3057     tmp = res->data_cursor->data;
3058     res->data_cursor = res->data_cursor->next;
3059     DBUG_RETURN(res->current_row=tmp);

mysql_free_result是把result->data指定的行数据释放掉.

mysqldump是个单线程的逻辑备份工具，依次一个个导出多个表，没有一个并行的机制。mydumper弥补了这方面的缺陷可以并行的多线程的从表中读入数据并同时写到不同的文件里。项目的作者是由一群在sun、fb、skysql的工程师完成的。类似的工具还有mk-parallel-dump。

编译安装

cmake .
make
sudo make install

源码分析

根据流程图解释一下mydumper的工作步骤。

解析参数
使用glib的g_option_context_parse，比libc里的getopt_long简单多了。

连接目标数据库。

通过show processlist来判断是否有长查询，如果有长查询则退出dump，可以通过–long-query-guard加长时间，或者使用–kill-long-queries杀掉长查询。

锁定myisam表。

针对innodb table开启事务。

产生3个消息队列(线程ready队列、任务队列、myisam表处理完毕队列)。

conf.queue = g_async_queue_new();
conf.ready = g_async_queue_new();
conf.unlock_tables= g_async_queue_new();

产生指定的线程个数，–threads可以指定，默认是4个。

GThread **threads = g_new(GThread*,num_threads);
struct thread_data *td= g_new(struct thread_data, num_threads);
for (n=0; n<num_threads; n++) {
    td[n].conf= &conf;
    td[n].thread_id= n+1;
    threads[n] = g_thread_create((GThreadFunc)process_queue,&td[n],TRUE,NULL);
    g_async_queue_pop(conf.ready);
}

dump_database，从DATA_DICTIONARY.TABLES读取所有表，通过–ignore, –tables-list, regex等过滤条件，产生需要dump的目标表列表，分别插入innodb_tables、non_innodb_table、table_schemas三个链表。

    query= g_strdup_printf("SELECT TABLE_NAME, ENGINE, TABLE_TYPE as COMMENT FROM DATA_DICTIONARY.TABLES WHERE TABLE_SCHEMA='%s'", database);
    ....
    innodb_tables= g_list_append(innodb_tables, dbt);
    ....
    non_innodb_table= g_list_append(non_innodb_table, dbt);
    ....
    table_schemas= g_list_append(table_schemas, dbt);

dump non-innodb table 把需要导出myisam表加入到任务队列。

        for (non_innodb_table= g_list_first(non_innodb_table); non_innodb_table; non_innodb_table= g_list_next(non_innodb_table)) {
                dbt= (struct db_table*) non_innodb_table->data;
                dump_table(conn, dbt->database, dbt->table, &conf, FALSE);
                g_atomic_int_inc(&non_innodb_table_counter);
        }

dump innodb table把需要导出innodb表加入任务队列。

        for (innodb_tables= g_list_first(innodb_tables); innodb_tables; innodb_tables= g_list_next(innodb_tables)) {
                dbt= (struct db_table*) innodb_tables->data;
                dump_table(conn, dbt->database, dbt->table, &conf, TRUE);
        }

dump schema 把需要导出表结构任务加入到任务队列。

        for (table_schemas= g_list_first(table_schemas); table_schemas; table_schemas= g_list_next(table_schemas)) {
                dbt= (struct db_table*) table_schemas->data;
                dump_schema(dbt->database, dbt->table, &conf);
                g_free(dbt->table);
                g_free(dbt->database);
                g_free(dbt);
        }

典型的生产者（主线程）消费者（子线程）模式，子线程会从任务队列里读取需要处理的表名字和表类型，再通过select * from table_name 读入数据各自写入到各自的文件。

for(;;) {
    ....
    job=(struct job *)g_async_queue_pop(conf->queue);
    ....
    switch (job->type) {
        case JOB_DUMP:
            ....
            dump_table_data_file(thrconn, tj->database, tj->table, tj->where, tj->filename);
            ....
        case JOB_DUMP_NON_INNODB:
            ....
            dump_table_data_file(thrconn, tj->database, tj->table, tj->where, tj->filename);
        case JOB_SCHEMA:
            ....
            dump_schema_data(thrconn, sj->database, sj->table, sj->filename);
}

所有导数据的任务加入任务队列之后，会再加入让线程退出的任务，让线程自然退出。

case JOB_SHUTDOWN:
    g_message("Thread %d shutting down", td->thread_id);
    if (thrconn)
        mysql_close(thrconn);
    g_free(job);
    mysql_thread_end();
    return NULL;
    break;

解除myisam表锁。

等待子线程退出。

使用

导出test database的数据

 mydumper -h 127.0.0.1 -u root --database test

指定某个目录

 mydumper -h 127.0.0.1 -u root --outputdir=.

不导出表结构

 mydumper -h 127.0.0.1 -u root --no-schema

如果表数据是空，还是产生一个空文件（默认无数据则只有表结构文件）

 mydumper -h 127.0.0.1 -u root --build-empty-files

设置长查询的上限，如果存在比这个还长的查询则退出mydumper，也可以设置杀掉这个长查询

 mydumper -h 127.0.0.1 -u root --long-query-guard 200 --kill-long-queries

设置要dump的列表–tables-list，不需要设置db名字，逗号分割

 mydumper -h 127.0.0.1 -u root --tables-list=ddd,zzz

通过regex也设置正则表达，需要设置db名字

 mydumper -h 127.0.0.1 -u root --regex=test.z

把单表分成多个chunks，这个后面会讲分割的原理

 mydumper -h 127.0.0.1 -u root --rows 10000

过滤某个引擎的表

 mydumper -h 127.0.0.1 -u root -B test --ignore-engines=innodb

详细日志

 mydumper -h 127.0.0.1 -u root -B test -v 3

几个注意点

各自线程都要自己连接到数据库，因为libmysql是线程不安全的。
因为对myisam表有有表锁，所有先处理myisam表，记录myisam表个数，每处理一个myisam都原子操作数量减一。并在myisam表都处理完毕后，立即解锁，尽量减少锁定的时间，而不是在导出innodb表数据的时候还在lock myisam表。

main_thread

for (non_innodb_table= g_list_first(non_innodb_table); non_innodb_table; non_innodb_table= g_list_next(non_innodb_table)) {
        dbt= (struct db_table*) non_innodb_table->data;
        dump_table(conn, dbt->database, dbt->table, &conf, FALSE);
        g_atomic_int_inc(&non_innodb_table_counter);
}

child_thread

if (g_atomic_int_dec_and_test(&non_innodb_table_counter) && g_atomic_int_get(&non_innodb_done)) {
        g_async_queue_push(conf->unlock_tables, GINT_TO_POINTER(1));
}

main_thread

g_async_queue_pop(conf.unlock_tables);
g_message("Non-InnoDB dump complete, unlocking tables");
mysql_query(conn, "UNLOCK TABLES");

–regex的处理在–tables-list后， 先满足–tables-list再满足–regex，如下只会dump表z1

mydumper -h 127.0.0.1 -u root --regex=test.z1 --outputdir=. --rows=10000 -v 3 -e --tables-list=z2,z1
** Message: Thread 1 dumping data for `test`.`z1`
** Message: Thread 2 dumping schema for `test`.`z1`

–rows的使用，设置–rows可以把一个表分成多个文件。分块的原则并不是根据–rows设定的行数来决定生成文件里包含的函数，而是通过rows和表的总行数计算出要生成的文件个数，尽量保证每个文件的大小一致。

表的总行数是如何获得的？
首先mydumper会选择一个索引，顺序是pk、uk或者show index from table里Cardinality最高的一个索引，再通过explain select index from table的rows字段获得总行数total_nums（可能不准确），于是第一个文件就是从select * from table where index >=1 and index < total_nums/ (int(total_nums/ rows) – 1) + 1。每个分块可以分到不同的线程，所以即便同一个表dump都可以很快加速。

ps：这个项目大量使用glib（gnome）比较少见，看了一下glib doc觉得glib设计的挺好的用起来很方便，否则实现一个消息队列加多线程还是要几百行代码的。接下来要看mydumper0.50的代码。

今天在开发的过程发现MySQLdb.connect有些参数没法设置。通过这个页面我们可以看到在connect的时候，可以设置的option和client_flags和MySQL c api相比差不少。

一个很重要的参数 MYSQL_OPT_READ_TIMEOUT没法设置，这个参数如果不设置，极致状况MySQL处于hang住，自动切换IP漂移，客户端无法重连到新MySQL。

给MySQLdb加Option很简单，只要修改_mysql.c这个把Python对象映射到MySQL操作的文件，添加参数，再加一段mysql_option即可。

下面是修改后的git diff 文件

diff --git a/_mysql.c b/_mysql.c
index d42cc54..61a9b34 100644
--- a/_mysql.c
+++ b/_mysql.c
@@ -489,9 +489,10 @@ _mysql_ConnectionObject_Initialize(
"named_pipe", "init_command",
"read_default_file", "read_default_group",
"client_flag", "ssl",
-                                 "local_infile",
+                                 "local_infile", "read_timeout",
NULL } ;
int connect_timeout = 0;
+       int read_timeout = 0;
int compress = -1, named_pipe = -1, local_infile = -1;
char *init_command=NULL,
*read_default_file=NULL,
@@ -500,7 +501,7 @@ _mysql_ConnectionObject_Initialize(
self->converter = NULL;
self->open = 0;
check_server_init(-1);
-       if (!PyArg_ParseTupleAndKeywords(args, kwargs, "|ssssisOiiisssiOi:connect",
+       if (!PyArg_ParseTupleAndKeywords(args, kwargs, "|ssssisOiiisssiOii:connect",
kwlist,
&host, &user, &passwd, &db,
&port, &unix_socket, &conv,
@@ -509,7 +510,8 @@ _mysql_ConnectionObject_Initialize(
&init_command, &read_default_file,
&read_default_group,
&client_flag, &ssl,
-                                        &local_infile /* DO NOT PATCH FOR RECONNECT, IDIOTS
+                                        &local_infile, &read_timeout
+                                        /* DO NOT PATCH FOR RECONNECT, IDIOTS
IF YOU DO THIS, I WILL NOT SUPPORT YOUR PACKAGES. */
))
return -1;
@@ -540,6 +542,12 @@ _mysql_ConnectionObject_Initialize(
mysql_options(&(self->connection), MYSQL_OPT_CONNECT_TIMEOUT,
(char *)&timeout);
}
+
+        if (read_timeout) {
+                unsigned int timeout = read_timeout;
+                mysql_options(&(self->connection), MYSQL_OPT_READ_TIMEOUT, (char *)&timeout);
+        }
+
if (compress != -1) {
mysql_options(&(self->connection), MYSQL_OPT_COMPRESS, 0);
client_flag |= CLIENT_COMPRESS;

代码修改完毕，python setup.py install 即可，如果出现mysql_config找不到的问题。你还要修改setup_posix.py文件。

hoterran@hoterran-laptop:~/Projects/MySQL-python-1.2.3$ git diff setup_posix.py
diff --git a/setup_posix.py b/setup_posix.py
index 86432f5..f4f08f1 100644
--- a/setup_posix.py
+++ b/setup_posix.py
@@ -23,7 +23,7 @@ def mysql_config(what):
         if ret/256 > 1:
             raise EnvironmentError("%s not found" % (mysql_config.path,))
     return data
-mysql_config.path = "mysql_config"
+mysql_config.path = "/usr/local/mysql/bin/mysql_config"
 
 def get_config():
     import os, sys

编译通过，我们来试试添加的read_timeout这个参数。

conn = MySQLdb.connect(host = DB_SERVER,user = DB_USERNAME,passwd = DB_PASSWORD,db = DB_NAME, port=int(DB_PORT), client_flag = 2, read_timeout = 10)

然后执行语句前，你试着把mysql用gdb hang住10s后，python就会异常抛错

OperationalError: (2013, 'Lost connection to MySQL server during query')
 >/home/hoterran/Projects/dbaas/trunk/dbtest.py(18)()
 >mydb.execute_sql(conn, sql)
(Pdb)
--Return--
> /home/hoterran/Projects/dbaas/trunk/dbtest.py(18)()->None
> mydb.execute_sql(conn, sql)
(Pdb)
OperationalError: (2013, 'Lost connection to MySQL server during query')
> <string>(1)<module>()->None

ps: 在_mysql.c找到一句很搞的话

/* DO NOT PATCH FOR RECONNECT, IDIOTS
IF YOU DO THIS, I WILL NOT SUPPORT YOUR PACKAGES. */