PHP使用数据库永久连接方式操作MySQL的是与非

转：http://hi.baidu.com/thinkinginlamp/blog/item/c947fdfa91c3fbdeb48f3187.html 作者：老王

PHP 程序员 应该都知道连接MySQL数据库可以使用mysql_pconnect（永久连接）函数，使用数据库永久连接可以提高效率，但是实际应用中数据库永久连接往往会导致出现一些问题，通常的表现就是在大访问量的网站上时常发生断断续续的无法连接数据库的情况，出现类似＂Too many connections in ...＂的错误提示信息，重新启动服务器又正常了，但过不了一会儿又出现同样的故障。对于这些问题的成因，恐怕就不是每个人都能说清楚的了，虽然PHP文档里有一些相关资料，但是解释的并不浅显易懂，这里我厚着脸皮试图做一个简单的讨论，所述观点不见得全都正确，欢迎大家反馈意见。

首先看看数据库永久连接的定义： 永久的数据库连接是指在脚本结束运行时不关闭的连接。当收到一个永久连接的请求时。PHP 将检查是否已经存在一个（前面已经开启的）相同的永久连接。如果存在，将直接使用这个连接；如果不存在，则建立一个新的连接。所谓“相同”的连接是指用相同的用户名和密码到相同主机的连接。

PHP使用永久连接方式操作MySQL是有前提的：就是PHP必须安装为多线程或多进程Web服务器的插件或模块。最常见的形式是把PHP用作多进程Apache服务器的一个模块。对于一个多进程的服务器，其典型特征是有一个父进程和一组子进程协调运行，其中实际生成Web页面的是子进程。每当客户端向父进程提出请求时，该请求会被传递给还没有被其它的客户端请求占用的子进程。这也就是说当相同的客户端第二次向服务端提出请求时，它将有可能被一个不同的子进程来处理。在开启了一个永久连接后，所有不同子进程请求SQL服务的后继页面都能够重新使用这个已经建立的 SQL服务器连接。它使得每个子进程在其生命周期中只做一次连接操作，而非每次在处理一个页面时都要向 SQL 服务器提出连接请求。每个子进程将对服务器建立各自独立的永久连接。PHP本身并没有数据库连接池的概念，但是Apache有进程池的概念, 一个Apache子进程结束后会被放回进程池, 这也就使得mysql_pconnect打开的的那个mysql连接资源可以不被释放，而是依附在相应的Apache子进程上保存到了进程池中。于是在下一个连接请求时它就可以被复用。一切看起来似乎都很正常，但是在Apache并发访问量大的时候，如果使用mysql_pconnect，会由于之前的 Apache子进程占用的MySQL连接没有close, 很快使MySQL达到最大连接数，使得之后的请求可能得不到响应。

上 面的部分文字是摘抄自PHP文档，看起来可能还是有些文绉绉的不好理解，那么我就用大白话再举一个例子来说明问题： 假设Apache配置最大连接数为1000，MySQL配置最大连接数为100，当Apache服务器接到200个并发访问的时候，其中100个涉及到数据库访问，剩下的100个不涉及数据库访问，因为这个时候还不存在可用的数据库连接，所以这里面涉及到数据库访问的100个并发会同时产生100个数据库永久连接，达到了数据库最大连接数，当这些操作没有结束的时候，任何其他的连接都无法再获得数据库连接，当这些操作结束了，相应的连接会被放入进程池，此时Apache的进程池里就有了200个空闲的子进程，其中100个是带有数据库连接的，由于Apache会为访问请求随机的挑选空闲子进程，所以你得到的子进程很可能是不包含数据库连接的那100个中的一个，而数据库连接已经达到了最大值，你也不可能成功的建立新的数据库连接，唉，你便只好不停的刷新页面，哪个时候运气好，碰巧分配到了带有数据库连接的子进程，才能正常浏览页面。如果是大访问量的网站来说，任何时候都可能存在大量的并发，所以浏览者可能就会不停的发现无法连接数据库的现象了。 或许你会说，我们把Apache和MySQL的最大连接数调成一样大不就可以了么？是的，合理的调整这个最大连接数某种程度上会避免这个问题的发生，但是Apache和MySQL的负载能力是不同的，如果按照Apache的负载能力来设置，对于MySQL来说，这个最大连接数就偏大，会产生大量的 MySQL数据库永久连接，打个比方，就好像和平时代还要养活一个几百万的军队一样，其开销得不偿失；而如果按照Mysql的负载能力设置，对于 Apache来说，这个最大连接数就偏小，有点杀鸡牛刀的感觉，无法发挥Apache的最大效率。

所 以按照PHP手册上的介绍，只适合在并发访问不大的网站上使用数据库永久连接，但对于一个并发访问不大的网站来说，使用数据库永久连接带来的效率提高似乎没有太大的意义，从这个角度上来看，我觉得PHP中的数据库永久连接基本上是一个鸡肋的角色，如果你一定要使用数据库连接池的概念，可以尝试一下sqlrelay 或者Apache本身提供的mod_dbd ，说不定会有惊喜。

Mysql UDF (转贴)

最近公司在做个SNS子项目，需要把交易系统中的交易数据实时地发送到SNS子系统中。最自然的设计是修改各个交易模块，将数据向SNS系统传输。但是在评审和开发的时候遇到了不小的阻力。理由很简单，这些修改直接影响系统的核心交易模块，引入了一定的风险。综合考虑后，决定增加个类似于Memcached Functions for MySQL的备选方案。SNS子系统虽然大量地使用了cache，但是没有使用Memcached或EHCache，原因是这些cache实现无法满足所有的需求。最初的想法是在UDF中使用ActiveMQ CPP，将消息直接发送到SNS子系统的cache中。不过最终还是放弃了这种比较激进的做法，而是在UDF中将数据通过socket发送到某个Java程序，然后再对数据进行分类处理后，转发给SNS cache。

关于user-defined function(UDF)，在MySQL的官方文档上有比较详细的说明。为了使用UDF，必须要动态链接mysqld，也就是不能使用--with-mysqld-ldflags=-all-static，而是应该使用--with-mysqld-ldflags=-rdynamic。UDF通常需要用C/C++编写，如果要编写一个名为xxx的UDF，那么需要定义如下的C/C++方法：

• xxx() (required)。这个方法的返回值就是UDF的结果。SQL数据类型和C/C++类型之间的对应关系是：varchar char *；INTEGER long long；REAL double；DECIMAL char *等。


• xxx_init() (optional)。xxx()对应的初始化方法。该方法通常用来检查xxx()方法的参数（或者进行参数类型的转换），分配内存，指定返回值的最大长度等。


• xxx_deinit() (optional)。xxx()对应的清理方法。在这个方法中应该释放之前分配的内存。

当在SQL中调用名为XXX()的UDF时，MySQL会首先尝试调用名为xxx_init() 的方法，如果该方法返回false，那么MySQL会终止SQL的执行，并返回一个error message（在xxx_init()中保存在message参数中的以null结尾的字符串，最大长度为 MYSQL_ERRMSG_SIZE）。否则MySQL会对每个row调用xxx() 方法。在所有的row都被处理后，MySQL会调用xxx_deinit() 方法来执行相应的清理工作。对于那些象SUM()之类的聚集函数，还有一些其他的C/C++函数需要编写。需要注意的是，如果采用C++编写UDF，由于C++的"name mangling"会导致MySQL无法找到对应的C++函数，因此需要将函数声明包含在extern "C" { ... }中。以下是这些函数的例子：

my_bool xxx_init(UDF_INIT *initid, UDF_ARGS *args, char *message);

char *xxx(UDF_INIT *initid, UDF_ARGS *args, char *result, unsigned long *length, char *is_null, char *error);

void xxx_deinit(UDF_INIT *initid);

initid参数会被传递到所有三个函数中（用于在这三个函数中共享数据），它指向一个UDF_INIT结构体。关于该结构体的成员，可以参考MySQL的在线文档。args参数指向一个UDF_ARGS结构体，它有如下成员：

• unsigned int arg_count。参数的个数。


• enum Item_result *arg_type。参数的类型。可选值有STRING_RESULT, INT_RESULT, REAL_RESULT, and DECIMAL_RESULT。DECIMAL_RESULT类型的值是以char *的形式传入到函数中的，因此处理方式同STRING_RESULT类型参数。如果xxx_init()中对该成员赋值，例如args->arg_type[0] = STRING_RESULT;那么MySQl会在调用xxx()是对 相应的参数进行强制地类型转换。


• char **args。参数值。如果参数值是NULL，那么args->args[i]是一个空指针（0）。对于STRING_RESUL类型的参数，那么可以通过 args->args[i]访问该字符串，字符串的长度是args->lengths[i]（不要假定该字符串是以null结尾的）。对于INT_RESULT类型的参数，通过long long int_val = *((long long*) args->args[i]);进行访问。对于REAL_RESULT类型参数，通过double real_val = *((double*) args->args[i]);进行访问。对于DECIMAL_RESULT类型参数，处理方式同STRING_RESULT。



• unsigned long *lengths。在xxx_init()函数中，其值是字符串参数的最大长度。在xxx()函数中，其值是字符串参数的实际长度。对于INT_RESULT 或者REAL_RESULT类型参数，其值始终是最大可能值。


• char *maybe_null。在xxx_init()函数中，其值表明该参数是否可以为null。
  
  


• char **attributes。参数名。默认情况下是SQL中的表达式文本（同样，不要假定该字符串是以null结尾的）。


• unsigned long *attribute_lengths。参数名的字符串长度。

以下是个UDF C代码的片段：

#include <stdio.h>
#include <stdlib.h>

#include <string.h>
#include <errno.h>
#include <unistd.h>
#include <pthread.h>
#include <arpa/inet.h>
#include <sys/socket.h>

#include "mysql.h"

///////////////////////////////////////////////////
extern "C" { 
    //
    my_bool send_message_open_init(UDF_INIT *initid, UDF_ARGS *args, char *message);
    char * send_message_open(UDF_INIT *initid, UDF_ARGS *args, char* result, unsigned long *length, char *is_null, char *error);
    void send_message_open_deinit(UDF_INIT *initid);

    //
    my_bool send_message_close_init(UDF_INIT *initid, UDF_ARGS *args, char *message);
    char * send_message_close(UDF_INIT *initid, UDF_ARGS *args, char* result, unsigned long *length, char *is_null, char *error);
    void send_message_close_deinit(UDF_INIT *initid);
    
    //
    my_bool send_message_init(UDF_INIT *initid, UDF_ARGS *args, char *message);
    char * send_message(UDF_INIT *initid, UDF_ARGS *args, char* result, unsigned long *length, char *is_null, char *error);
    void send_message_deinit(UDF_INIT *initid);
}

////////////////////////////////////////////////////
// Open
////////////////////////////////////////////////////
my_bool send_message_open_init(UDF_INIT *initid, UDF_ARGS *args, char *message) {
    // Validation
    if(args->arg_count != 2) {
        strcpy(message,"usage: select send_message_open('10.15.3.68', 7777)");
        return -1;
    } else if(args->arg_type[0] != STRING_RESULT || args->arg_type[1] != INT_RESULT){
        strcpy(message,"usage: select send_message_open('10.15.3.68', 7777)");
        return -1;
    } else {
        return 0;
    }
}

char * send_message_open(UDF_INIT *initid, UDF_ARGS *args, char* result, unsigned long *length, char *is_null, char *error){
    ...
}

void send_message_open_deinit(UDF_INIT *initid) {
}

...

编译：

g++ -I/usr/local/mysql/include/mysql/ -shared -o send_message.so send_message.c

编译后需要将so文件拷贝到MySQL可以加载的位置，如：

cp send_message.so /usr/local/mysql6320/lib/mysql/plugin/

在MySQL中创建UDF：

DROP FUNCTION IF EXISTS send_message_open;
DROP FUNCTION IF EXISTS send_message_close;
DROP FUNCTION IF EXISTS send_message;
CREATE FUNCTION send_message_open RETURNS STRING SONAME 'send_message.so'; 
CREATE FUNCTION send_message_close RETURNS STRING SONAME 'send_message.so'; 
CREATE FUNCTION send_message RETURNS STRING SONAME 'send_message.so'; 

测试：

select send_message_open('10.15.3.68', 7777);
select send_message('test message');
select send_message_close();

mysql 数据库备份


mysqldump -h db481.1und1.de -P 3306 -udbo263011116 -pxy.cTPv8 db263011116 --compact --tables sms_history -w"f_clientid = '1' AND DATE_FORMAT(senddate,'%m') = DATE_FORMAT(CURRENT_TIMESTAMP() - INTERVAL 1 MONTH ,'%m')" | gzip > _DB/Backup/TESTSEITE_12-2008.gz



"--compact" :Produce less verbose output. This option enables the --skip-add-drop-table, --skip-add-locks, --skip-comments, --skip-disable-keys, and --skip-set-charset options.