年前在做項(xiàng)目的時(shí)候遇到了一個(gè)小坑，就是把一個(gè)超過14位的十進(jìn)制數(shù)字作為score和member存到redis的sorted set的時(shí)候，用PHP讀取數(shù)據(jù)的時(shí)候score會(huì)被轉(zhuǎn)換成浮點(diǎn)數(shù)，最末兩位的數(shù)字會(huì)消失，導(dǎo)致當(dāng)用score作為分頁標(biāo)志的時(shí)候會(huì)出現(xiàn)分頁異常的情況。

1 事故現(xiàn)場

1.1 插入數(shù)據(jù)

redis> zadd sorted_set_key_test 3888153779537508 3888153779537508
(integer) 1
redis> zrange sorted_set_key_test 0 -1 withscores
1) "3888153779537508"
2) "3888153779537508"
redis>

1.2 讀取數(shù)據(jù)

//redis.php
<?php
    $redis = new Redis();
    $redis->connect('127.0.0.1', 6379);
    var_dump($redis->ZRANGE("zset_test", 0, -1, true));

[root@localhost ~]# php redis.php
array(1) {
  [3888153779537508]=>
  float(3.8881537795375E+15)
}
[root@localhost ~]#

2 分析過程

2.1 redis存儲(chǔ)的大小限制

redis中sorted set的scores取值范圍

2.2 通過tcpdump抓包，確定問題是在PHP中

tcpdump -i lo port 6379 -q -X

tcpdump抓包結(jié)果

?如圖所示，第一個(gè)紅框內(nèi)為php向redis服務(wù)器發(fā)送請求的數(shù)據(jù)包，第二個(gè)紅框內(nèi)為redis返回?cái)?shù)據(jù)結(jié)果的數(shù)據(jù)包，包內(nèi)容如下：

[root@localhost ~]# telnet 127.0.0.1 6379
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
zrange zset_test 0 -1 withscores
*2
$16
3888153779537508
$16
3888153779537508

發(fā)現(xiàn)redis返回的是字符串類型的一串?dāng)?shù)字

2.3 通過查PHP-redis擴(kuò)展的源碼，發(fā)現(xiàn)是擴(kuò)展的問題

//redis.c  line:1966-1971
/* {{{ proto array Redis::zRange(string key,int start,int end,bool scores=0) */
PHP_METHOD(Redis, zRange)
{
    generic_zrange_cmd(INTERNAL_FUNCTION_PARAM_PASSTHRU, "ZRANGE",
        redis_zrange_cmd);
}

首先找到了實(shí)現(xiàn)$redis->zrange的函數(shù)，發(fā)現(xiàn)調(diào)用了generic_zrange_cmd的函數(shù)

//redis_cluster.c line:1586-1617
/* Generic implementation for ZRANGE, ZREVRANGE, ZRANGEBYSCORE, ZREVRANGEBYSCORE */
static void generic_zrange_cmd(INTERNAL_FUNCTION_PARAMETERS, char *kw,
                               zrange_cb fun)
{
    redisCluster *c = Z_REDIS_OBJ_P(getThis());
    cluster_cb cb;
    char *cmd; int cmd_len; short slot;
    int withscores=0;

    if(fun(INTERNAL_FUNCTION_PARAM_PASSTHRU, c->flags, kw, &cmd, &cmd_len,
           &withscores, &slot, NULL)==FAILURE)
    {
        efree(cmd);
        RETURN_FALSE;
    }

    if(cluster_send_command(c,slot,cmd,cmd_len TSRMLS_CC)<0 || c->err!=NULL) {
        efree(cmd);
        RETURN_FALSE;
    }

    efree(cmd);

    cb = withscores ? cluster_mbulk_zipdbl_resp : cluster_mbulk_resp;
    if (CLUSTER_IS_ATOMIC(c)) {
        cb(INTERNAL_FUNCTION_PARAM_PASSTHRU, c, NULL);
    } else {
        void *ctx = NULL;
        CLUSTER_ENQUEUE_RESPONSE(c, slot, cb, ctx);
        RETURN_ZVAL(getThis(), 1, 0);
    }
}

在這個(gè)函數(shù)的1609行，判斷如果有withscores，調(diào)用cluster_mbulk_zipdbl_resp

//cluster_library.c line:2207-2214
/* Handling key,value to key=>value where the values are doubles */
PHP_REDIS_API void
cluster_mbulk_zipdbl_resp(INTERNAL_FUNCTION_PARAMETERS, redisCluster *c,
                          void *ctx)
{
    cluster_gen_mbulk_resp(INTERNAL_FUNCTION_PARAM_PASSTHRU, c,
        mbulk_resp_loop_zipdbl, NULL);
}

直接調(diào)用了cluster_gen_mbulk_resp，并且把mbulk_resp_loop_zipdbl函數(shù)作為參數(shù)傳了進(jìn)去，發(fā)現(xiàn)在cluster_gen_mbulk_resp最終調(diào)用了mbulk_resp_loop_zipdbl

//cluster_library.c line:2318-2356
/* MULTI BULK loop processor where we expect key,score key, score */
int mbulk_resp_loop_zipdbl(RedisSock *redis_sock, zval *z_result,
                           long long count, void *ctx TSRMLS_DC)
{
    char *line, *key;
    int line_len, key_len;
    long long idx=0;

    // Our context will need to be divisible by 2
    if(count %2 != 0) {
        return -1;
    }

    // While we have elements
    while(count--) {
        line = redis_sock_read(redis_sock, &line_len TSRMLS_CC);
        if (line != NULL) {
            if(idx++ % 2 == 0) {
                key = line;
                key_len = line_len;
            } else {
                zval z;
                if (redis_unserialize(redis_sock,key,key_len, &z TSRMLS_CC)) {
                    convert_to_string(&z);
                    add_assoc_double_ex(z_result, Z_STRVAL(z), Z_STRLEN(z), atof(line));
                    zval_dtor(&z);
                } else {
                    add_assoc_double_ex(z_result, key, key_len, atof(line));
                }

                /* Free our key and line */
                efree(key);
                efree(line);
            }
        }
    }

    return SUCCESS;
}

發(fā)現(xiàn)，在最終處理score數(shù)據(jù)的時(shí)候調(diào)用了atof函數(shù)，將redis服務(wù)器返回的字符串轉(zhuǎn)換成了浮點(diǎn)數(shù)，導(dǎo)致了開始說的問題。

3 總結(jié)

3.1 后續(xù)處理

當(dāng)時(shí)發(fā)現(xiàn)這個(gè)問題之后，將score作為member的一部分存在redis里，取出來之后，從member中獲取到score，再根據(jù)這個(gè)score來進(jìn)行分頁獲取數(shù)據(jù)

3.2 什么時(shí)候會(huì)出現(xiàn)這樣的問題

經(jīng)過簡單的嘗試，發(fā)現(xiàn)php最多可以保存14位精確的數(shù)據(jù)在float類型中，如果超過14位，最末幾位會(huì)失去精度

3.3 后續(xù)吧

在github里提了issue，作者給出的回答是：

?大概是說2.2.7之后的版本都是這么處理的，理論上可以對(duì)獲取到的score進(jìn)行判斷是浮點(diǎn)數(shù)還是整數(shù)，但是這樣會(huì)消耗一部分性能。