memcached有关知识

2012-07-20

memcached相关知识一、Memcached一些特性和限制：?在 Memcached中可以保存的item数据量是没有限制的，只有内

memcached相关知识

一、Memcached一些特性和限制：

?在 Memcached中可以保存的item数据量是没有限制的，只有内存足够
?Memcached单进程最大使用内存在32位操作系统上为2G，要使用更多内存，可以分多个端口开启多个Memcached进程
?最大30天的数据过期时间,设置为永久的也会在这个时间过期，常量REALTIME_MAXDELTA60*60*24*30控制
?最大键长为250字节，大于该长度无法存储，常量KEY_MAX_LENGTH 250控制
?单个item最大数据是1MB，超过1MB数据不予存储，常量POWER_BLOCK 1048576进行控制，它是默认的slab大小
?最大连接数默认是1024，通过启动时使用 -c 参数来修改，settings.maxconns=1024 进行查看。

?跟空间占用相关的参数：settings.factor=1.25, settings.chunk_size=48, 影响slab的数据占用和步进方式
?memcached是一种无阻塞的socket通信方式服务，基于libevent库，由于无阻塞通信，对内存读写速度非常之快。
?memcached分服务器端和客户端，可以配置多个服务器端和客户端，应用于分布式的服务非常广泛。
?memcached作为小规模的数据分布式平台是十分有效果的。
?memcached是键值一一对应，key默认最大不能超过128个字节，value默认大小是1M，也就是一个slabs，如果要存2M的值（连续的），不能用两个slabs，因为两个slabs不是连续的，无法在内存中存储，故需要修改slabs的大小，多个key和value进行?存储时，即使这个slabs没有利用完，那么也不会存放别的数据。

?目前memcached支持C/C++、Perl、PHP、Python、Ruby、Java、C#、Postgres、Chicken Scheme、Lua、MySQL和Protocol等语言客户端。
?memcached本身的服务是用C语言编写的，启动非常简单：

参考：http://hi.baidu.com/34pc/blog/item/04cd3ccf111f182ff9dc61bf.html

二、Memcached主要的Java客户端有：

xmemcached

http://code.google.com/p/xmemcached/

http://interview.group.iteye.com/group/wiki/1825-xmemcached-java-memcached-client-api

memcached java client

http://www.whalin.com/memcached/#download

spymemcached

http://code.google.com/p/spymemcached/ ?

三、安装memcached 的win32版本?

?memcached for win32用于在win32平台测试，(请下载后面的memcached-1.2.1版本)。
http://www.iteye.com/topic/24505

最初版本：?http://jehiah.com/projects/memcached-win32/

管理命令
memcached.exe -d install?? 安装服务
memcached.exe -d start???? 启动服务
memcached.exe -d stop????? 停止服务
memcached.exe -d shutdown? 停止服务
memcached.exe -d uninstall 卸载服务

配置参数
memcached.ini文件指定的各参数及值可以根据需要做更改，默认的如下：
bind_addr=127.0.0.1?? #指绑定的IP
listener_port=11212?? #指监听的端口
memory=16???????????? #内存大小，单位是M
max_conns=1024??????? #最大连接数
evict_to_free = 0???? #关闭LRU算法，适用于存放session

?简单测试：

1、memcached 的win32版本：1.2.1

2、客户端：使用xmeecached 1.3.3

3、写一个jsp，一次初始化之后，执行N次set()操作，jsp代码请看附件

MemcachedClient memcachedClient = ......;String key=UUID.randomUUID().toString();String value=UUID.randomUUID().toString();memcachedClient.set(key, 0,value);

4、使用ab.exe测试

ab.exe -n 5000 -c 500 http://127.0.0.1:8080/MVC/cache_test.jsp

Server Software:??????? Apache-Coyote/1.1
Server Hostname:??????? 127.0.0.1
Server Port:??????????? 8080

Document Path:????????? /MVC/cache_test.jsp
Document Length:??????? 318 bytes

Concurrency Level:????? 500
Time taken for tests:?? 4.101 seconds
Complete requests:????? 5000
Failed requests:??????? 0
Write errors:?????????? 0
Total transferred:????? 2625000 bytes
HTML transferred:?????? 1590000 bytes
Requests per second:??? 1219.21 [#/sec] (mean)
Time per request:?????? 410.100 [ms] (mean)
Time per request:?????? 0.820 [ms] (mean, across all concurrent requests)
Transfer rate:????????? 625.09 [Kbytes/sec] received

5、总结：

当时只有一台机器，memcached服务端（win32）,与客户端（jsp运行在tomcat）,与ab.exe,都在一台机器上，测试时CPU100% .

留下本次测试的结果，以后整好环境，在测试一下，用于对比。?

四、在Ubuntu上安装Memcached

1. 查自己的源里有没有memcache
?? sudo apt-cache search memcache
2. 如果有,就安装

?? sudo apt-get install memcache
?? 这时候会提示关联了 libevent0 ，是否安装? yes
?? 然后很顺利的就安装完了。
3. 如果第一步你的源里没有memcache..?
?? 就要，去ubuntu的论坛里把各种官方源都添加进去把。
?? 记得 sudo apt-get update 一下
4.检验是否安装成功.
?? 安装成功之后,memcache就自己启动了.通过进程查看一下
?? ps -aux??? 会查到一条记录
?? /usr/bin/memcached -m 64 -p 11211 -u nobody -l 127.0.0.1
?? 显示的就是 memcached 的端口11211 用户nobody 地址 127.0.0.1

?? 表示安装成功。

五、在Linux上手动安装Memcached

? 1、首先从memcached网站下载最新版的memcached源码包，同时去libevent下载最新的libevent源码。?

????? 基于libevent事件处理机制 http://www.monkey.org/~provos/libevent/
????? memcached: http://memcached.org/
? 2、解压下载回来的两个包。?
? 3、由于memcached需要使用libevent我们需要首先安装libevent?
?????? cd libevent?
?????? ./configure --prefix=/usr/local?
?????? make?
?????? sudo make install (这一步必需要用sudo 执行，否则会因为没有权限而报错，因为在编译过程中需要新建目录)?
?????? 如果中间有报错，请参照错误信息来配置或者增加需要的库。?

检测libevent 安装是否成功，输入：# ls -al /usr/lib | grep libevent? 会出现如下结果（不同的机器可能有不同的输出）：?
XXXX@XXXXX:~$ ls -al /usr/lib |grep libevent
lrwxrwxrwx?? 1 root??? root????????? 21 2009-07-19 08:45 libevent-1.4.so.2 -> libevent-1.4.so.2.1.3
-rwxr-xr-x?? 1 root??? root????? 301588 2009-07-19 08:45 libevent-1.4.so.2.1.3
-rw-r--r--?? 1 root??? root????? 386638 2009-07-19 08:45 libevent.a
lrwxrwxrwx?? 1 root??? root????????? 26 2009-07-19 08:45 libevent_core-1.4.so.2 -> libevent_core-1.4.so.2.1.3
-rwxr-xr-x?? 1 root??? root????? 115721 2009-07-19 08:45 libevent_core-1.4.so.2.1.3
-rw-r--r--?? 1 root??? root????? 151618 2009-07-19 08:45 libevent_core.a
-rwxr-xr-x?? 1 root??? root???????? 860 2009-07-19 08:45 libevent_core.la
lrwxrwxrwx?? 1 root??? root????????? 26 2009-07-19 08:45 libevent_core.so -> libevent_core-1.4.so.2.1.3
lrwxrwxrwx?? 1 root??? root????????? 27 2009-07-19 08:45 libevent_extra-1.4.so.2 -> libevent_extra-1.4.so.2.1.3
-rwxr-xr-x?? 1 root??? root????? 239933 2009-07-19 08:45 libevent_extra-1.4.so.2.1.3
-rw-r--r--?? 1 root??? root????? 298406 2009-07-19 08:45 libevent_extra.a
-rwxr-xr-x?? 1 root??? root???????? 867 2009-07-19 08:45 libevent_extra.la
lrwxrwxrwx?? 1 root??? root????????? 27 2009-07-19 08:45 libevent_extra.so -> libevent_extra-1.4.so.2.1.3
-rwxr-xr-x?? 1 root??? root???????? 825 2009-07-19 08:45 libevent.la
lrwxrwxrwx?? 1 root??? root????????? 21 2009-07-19 08:45 libevent.so -> libevent-1.4.so.2.1.3

4、安装memcached?
??? cd memcached?
??? ./configure --with-libevent=/usr/local?
?? ?make?
?? ?sudo make install?? (这一步必需要用sudo 执行，否则会因为没有权限而报错，因为在编译过程中需要新建目录)
??? 如果中间有报错，请参照错误信息来配置或者增加需要的库。?

检查memcached 是否安装成功(不同机器可能输出不同): s -al /usr/local/bin/mem*?
XXXX@XXXXX:~$ ls -al /usr/local/bin/mem*
-rwxr-xr-x 1 root root 210268 2009-07-19 08:46 /usr/local/bin/memcached

至此安装已经完成。

六、管理Memcached

1. 手动启动memcached
?? memcached? -d? -m 128 -l 127.0.0.1 -p 11211 -u root
?? 以root用户，分配128M内存启动memcache
?? memcached? -d? -m 128 -l 127.0.0.1 -p 11212 -u root
?? 在另外一个端口11212启动另外一个memcache实例

?? 例：

?? /usr/local/bin/memcached -d -u nobody -m 1024 -p 11210 -l 10.11.12.70 -P /opt/memcached/pid/m11210.pid

2. 重启：先kill -9 掉进程，再执行启动相关参数的memcache

七、监视Memcached的状态

Memcached的命令：存储命令set/add/replace/append/prepend/cas
读取命令get=bget?/gets
删除命令delete
计数命令incr/decr
统计命令stats/settings/items/sizes/slabs
?使用命令：?使用方法如下：telnet?ip 端口，连接到memcached服务器。退出telnet:quit
输入命令，例如：stats 可显示memcached服务的状态信息。?stats 命令，结果详细解释：
1.? pid: memcached服务进程的进程ID
2.? uptime: memcached服务从启动到当前所经过的时间，单位是秒。
3.? time: memcached服务器所在主机当前系统的时间，单位是秒。
4.? version: memcached的版本号。5.? pointer_size：服务器所在主机操作系统的指针大小，一般为32或64.
6.? curr_items：表示当前缓存中存放的所有缓存对象的数量。不包括目前已经从缓存中删除的对象。
7.? total_items：表示从memcached服务启动到当前时间，系统存储过的所有对象的数量，包括目前已经从缓存中删除的对象。
8.? bytes：表示系统存储缓存对象所使用的存储空间，单位为字节。
9.? curr_connections：表示当前系统打开的连接数。
10. total_connections：表示从memcached服务启动到当前时间，系统打开过的连接的总数。
11. connection_structures：表示从memcached服务启动到当前时间，被服务器分配的连接结构的数量，这个解释是协议文档给的，具体什么意思，我目前还没搞明白。
12. cmd_get：累积获取数据的数量，这里是3，因为我测试过3次，第一次因为没有序列化对象，所以获取数据失败，是null，后边有2次是我用不同对象测试了2次。
13. cmd_set：累积保存数据的树立数量，这里是2.虽然我存储了3次，但是第一次因为没有序列化，所以没有保存到缓存，也就没有记录。
14. get_hits：表示获取数据成功的次数。
15. get_misses：表示获取数据失败的次数。
16. evictions：LRU算法移除的对象数量，用来释放内存。
17. bytes_read：memcached服务器从网络读取的总的字节数。
18. bytes_written：memcached服务器发送到网络的总的字节数。
19. limit_maxbytes：memcached服务缓存允许使用的最大字节数。总的可用储存空间大小 .与我们启动memcached服务设置的大小一致。
20. threads：被请求的工作线程的总数量。这个解释是协议文档给的，具体什么意思，我目前还没搞明白。

八、Memcached主要启动参数
?启动方式：
-d ??以守护程序（daemon）方式运行
-u root ?指定用户，如果当前为 root ，需要使用此参数指定用户
-P /tmp/a.pid?保存PID到指定文件内存设置：
-m 1024 ?数据内存数量，不包含memcached本身占用，单位为 MB
-M ??内存不够时禁止LRU，报错
-n 48??初始chunk=key+suffix+value+32结构体，默认48字节
-f 1.25 ?增长因子，默认1.25
-L??启用大内存页，可以降低内存浪费，改进性能连接设置：
-l 127.0.0.1 ?监听的 IP 地址，本机可以不设置此参数
-p 11211 ?TCP端口，默认为11211，可以不设置
-U 11211?UDP端口，默认为11211，0为关闭并发设置：
-c 1024?最大并发连接数，默认1024，最好是200
-t 4??线程数，默认4。由于memcached采用NIO，所以更多线程没有太多作用
-R 20??每个event连接最大并发数，默认20
-C??禁用CAS命令（可以禁止版本计数，减少开销）

热点排行

软件架构设计

memcached有关知识