Nov
3
这里委屈MySQL一下,只是想测试,如果二者用于比较纯粹的key/value存储,性能如何。
机器配置:RHEL5.6
AMD Opteron(tm) 6128HE 2GHz, 32G RAM,
HDD(应该不是SSD,7200还是10000rpm不知道)
连续读54.5 MB/s (dd if=/dev/zero of=test bs=1048576 count=512)
====
MySQL: 使用源码附带的的 my-medium.cnf 配置
CREATE TABLE nn (k INTEGER PRIMARY KEY, v INTEGER); #默认MyISAM引擎
100,000条数据
INSERT: 4k QPS, 24.45s #类似于 INSERT INTO nn VALUES (42, 42)
UPDATE: 2.7k QPS, 36.00s #类似于 UPDATE nn SET v=43 WHERE k=42
SELECT(key随机): 3.3k QPS, 31.22s #类似于 SELECT * FROM nn WHERE k=42
空间占用:1.9M 其中数据879K,索引1004K
5,000,000 条数据 (不测试INSERT和UPDATE了……)
LOAD: 32.8万条/s, 15.25s # LOAD DATA INFILE '/tmp/data' INTO TABLE nn (k, v)
SELECT(10w次, key随机): 4k QPS, 25.49s
空间占用:92M 其中数据43M,索引49M
以上测试除了MySQL Load之外完全使用C代码调用MySQL的官方C API
====
Berkeley DB(BTree, 没测hash):
100w条插入:15.9s, 62.9k QPS
100w条查询(key随机):8.69s, 115k QPS
空间占用:100w=>25M, 1000w=>259M, 2亿=>5.4G
p.s. 如果把cache_size设置为512MB的话,插入基本都在内存中完成,100w跳只需要大约2.64s,378.6k QPS,和MySQL在同一个级别。
以上测试使用c编码完成,使用默认参数,没有设置内存占用大小。
Python使用bsddb模块效率约是c的50%。
机器配置:RHEL5.6
AMD Opteron(tm) 6128HE 2GHz, 32G RAM,
HDD(应该不是SSD,7200还是10000rpm不知道)
连续读54.5 MB/s (dd if=/dev/zero of=test bs=1048576 count=512)
====
MySQL: 使用源码附带的的 my-medium.cnf 配置
CREATE TABLE nn (k INTEGER PRIMARY KEY, v INTEGER); #默认MyISAM引擎
100,000条数据
INSERT: 4k QPS, 24.45s #类似于 INSERT INTO nn VALUES (42, 42)
UPDATE: 2.7k QPS, 36.00s #类似于 UPDATE nn SET v=43 WHERE k=42
SELECT(key随机): 3.3k QPS, 31.22s #类似于 SELECT * FROM nn WHERE k=42
空间占用:1.9M 其中数据879K,索引1004K
5,000,000 条数据 (不测试INSERT和UPDATE了……)
LOAD: 32.8万条/s, 15.25s # LOAD DATA INFILE '/tmp/data' INTO TABLE nn (k, v)
SELECT(10w次, key随机): 4k QPS, 25.49s
空间占用:92M 其中数据43M,索引49M
以上测试除了MySQL Load之外完全使用C代码调用MySQL的官方C API
====
Berkeley DB(BTree, 没测hash):
100w条插入:15.9s, 62.9k QPS
100w条查询(key随机):8.69s, 115k QPS
空间占用:100w=>25M, 1000w=>259M, 2亿=>5.4G
p.s. 如果把cache_size设置为512MB的话,插入基本都在内存中完成,100w跳只需要大约2.64s,378.6k QPS,和MySQL在同一个级别。
以上测试使用c编码完成,使用默认参数,没有设置内存占用大小。
Python使用bsddb模块效率约是c的50%。
Nov
2
#!/bin/bash
#check twice a day
#0 2,10 * * * cd /home/felix021/code/tbbt && ./check.sh
now=`cat now`
now=`expr $now + 1`
url="http://yyets.com/showresource-juji-1005.html"
wget $url -O output.html &> /dev/null
pattern=S05E$now
if [ $now -lt 10 ]; then
pattern=S05E0${now}
fi
if grep "output.html" -e $pattern &> /dev/null; then
echo $now > now
echo "please check $url" | mail -t "felix021@扣扣.com" -s "TBBT05 update: $now"
fi
rm -f output.html
#check twice a day
#0 2,10 * * * cd /home/felix021/code/tbbt && ./check.sh
now=`cat now`
now=`expr $now + 1`
url="http://yyets.com/showresource-juji-1005.html"
wget $url -O output.html &> /dev/null
pattern=S05E$now
if [ $now -lt 10 ]; then
pattern=S05E0${now}
fi
if grep "output.html" -e $pattern &> /dev/null; then
echo $now > now
echo "please check $url" | mail -t "felix021@扣扣.com" -s "TBBT05 update: $now"
fi
rm -f output.html
Nov
2
$ tar zxf mysql-5.1.30.tar.gz
$ cd mysql-5.1.30
$ mkdir -p /home/fengmin/mysql
$ ./configure --prefix=/home/fengmin/mysql --with-plugins=all --with-pthread --with-charset=utf8 --with-extra-charsets=all
$ make -j4 &> make.log
$ make install
$ cd /home/fengmin/mysql
$ mkdir data
$ ./bin/mysql_install_db --datadir=/home/fengmin/mysql/data/
$ cp ./share/mysql/my-small.cnf my.cnf
$ vi my.cnf #修改各种配置
$ ./bin/mysqld_safe --defaults-file=/home/fengmin/mysql/my.cnf & #启动server
$ ./bin/mysqladmin -u root password 'newpassword' -h 127.0.0.1 -P 3306 #修改root密码
$ ./bin/mysql -h127.0.0.1 -P 3306 -u root -pnewpassword #连接mysql
$ ./bin/mysqladmin -h 127.0.0.1 -P 3306 -u root -pnewpassword shutdown #关闭server
$ cd mysql-5.1.30
$ mkdir -p /home/fengmin/mysql
$ ./configure --prefix=/home/fengmin/mysql --with-plugins=all --with-pthread --with-charset=utf8 --with-extra-charsets=all
$ make -j4 &> make.log
$ make install
$ cd /home/fengmin/mysql
$ mkdir data
$ ./bin/mysql_install_db --datadir=/home/fengmin/mysql/data/
$ cp ./share/mysql/my-small.cnf my.cnf
$ vi my.cnf #修改各种配置
$ ./bin/mysqld_safe --defaults-file=/home/fengmin/mysql/my.cnf & #启动server
$ ./bin/mysqladmin -u root password 'newpassword' -h 127.0.0.1 -P 3306 #修改root密码
$ ./bin/mysql -h127.0.0.1 -P 3306 -u root -pnewpassword #连接mysql
$ ./bin/mysqladmin -h 127.0.0.1 -P 3306 -u root -pnewpassword shutdown #关闭server
Oct
31
一个蛋疼的服务:向某个端口提供shell服务。
基本流程是这样的:python虚拟一个终端,载入了一个bash;然后呢,监听某个端口,连上该端口的客户端的输入当作bash的输入,将bash的输出返回给该客户端。当客户端断开的时候,bash继续运行,等待下一个客户端。
之所以倒腾出这么个东西,主要是突然想写个php在一个session里面完成一系列任务(甚至su成另外一个用户),但是system之类的函数就很难搞。基本上就是没用的东西。
基本流程是这样的:python虚拟一个终端,载入了一个bash;然后呢,监听某个端口,连上该端口的客户端的输入当作bash的输入,将bash的输出返回给该客户端。当客户端断开的时候,bash继续运行,等待下一个客户端。
之所以倒腾出这么个东西,主要是突然想写个php在一个session里面完成一系列任务(甚至su成另外一个用户),但是system之类的函数就很难搞。基本上就是没用的东西。
#!/usr/bin/python
import socket
import os
import thread
import pty
tty = open("/dev/tty", "w")
shell_input_reader, shell_input_writer = os.pipe()
shell_output_reader, shell_output_writer = os.pipe()
def sheller(arg):
global shell, shell_input_reader, shell_output_writer
os.dup2(shell_input_reader, 0)
os.dup2(shell_output_writer, 1)
os.dup2(shell_output_writer, 2)
while True:
pty.spawn('/bin/bash')
def shell_to_sock(conn):
global shell_output_reader
while True:
try:
conn.send(os.read(shell_output_reader, 1024))
except:
break
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
sock.bind(('127.0.0.1', 4698)) #如果希望这个服务对其他机器开放的话,那就把这个ip改成0.0.0.0或者外网的ip
sock.listen(5)
thread.start_new_thread(sheller, (1,))
while True:
conn, addr = sock.accept()
print >>tty, "%s:%d connected" % (addr[0], addr[1])
thread.start_new_thread(shell_to_sock, (conn, ))
while True:
try:
buf = conn.recv(1024)
if not buf:
break
print >>tty, "[%s]" % buf.strip()
os.write(shell_input_writer, buf)
except:
break
conn.close()
import socket
import os
import thread
import pty
tty = open("/dev/tty", "w")
shell_input_reader, shell_input_writer = os.pipe()
shell_output_reader, shell_output_writer = os.pipe()
def sheller(arg):
global shell, shell_input_reader, shell_output_writer
os.dup2(shell_input_reader, 0)
os.dup2(shell_output_writer, 1)
os.dup2(shell_output_writer, 2)
while True:
pty.spawn('/bin/bash')
def shell_to_sock(conn):
global shell_output_reader
while True:
try:
conn.send(os.read(shell_output_reader, 1024))
except:
break
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
sock.bind(('127.0.0.1', 4698)) #如果希望这个服务对其他机器开放的话,那就把这个ip改成0.0.0.0或者外网的ip
sock.listen(5)
thread.start_new_thread(sheller, (1,))
while True:
conn, addr = sock.accept()
print >>tty, "%s:%d connected" % (addr[0], addr[1])
thread.start_new_thread(shell_to_sock, (conn, ))
while True:
try:
buf = conn.recv(1024)
if not buf:
break
print >>tty, "[%s]" % buf.strip()
os.write(shell_input_writer, buf)
except:
break
conn.close()
Oct
28
ppt中保存的默认是原始照片;可以把照片另存,但是保存的图片实际上是压缩过后的图片,而且EXIF信息也丢失了;另存为pptx再改成zip,发现效果相同。为了找回最原始的照片,可以将其另存为xml格式,然后再写程序将其中的图片信息提取出来。
xml格式中图片的信息大致是这样存储的:
写了个简单的python脚本来完成:
xml格式中图片的信息大致是这样存储的:
引用
<pkg:part pkg:name="/ppt/media/image5.jpeg" pkg:contentType="image/jpeg" pkg:compression="store"><pkg:binaryData> [[base64 encoded data]] </pkg:binaryData></pkg:part>
写了个简单的python脚本来完成:
import re
import base64
import os
x = open("1.xml", "r")
str = x.read()
r = re.compile(r'<pkg:part pkg:name="[^"]*\/([^"]*)".*?>\s*<pkg:binaryData>((.|\n)*?)<\/pkg:binaryData>', re.S)
m = re.findall(r, str)
os.system("mkdir files")
for i in m:
print "write %s" % i[0]
f = open("./files/" + i[0], "wb");
f.write(base64.b64decode(i[1]))
import base64
import os
x = open("1.xml", "r")
str = x.read()
r = re.compile(r'<pkg:part pkg:name="[^"]*\/([^"]*)".*?>\s*<pkg:binaryData>((.|\n)*?)<\/pkg:binaryData>', re.S)
m = re.findall(r, str)
os.system("mkdir files")
for i in m:
print "write %s" % i[0]
f = open("./files/" + i[0], "wb");
f.write(base64.b64decode(i[1]))
Oct
27
每天备份一次数据库;删除5天之前的备份;每逢周一将备份好的数据库发送到邮箱。
p.s. uuencode是sharutils这个软件包里面的。yum或者apt-get都可以直接安装。
#!/bin/bash
dbhost=127.0.0.1
dbuser=user
dbpass=pass
dbname=dbname
dir=~/backupdir/
fname=$dir/db_`date +%Y-%m-%d`.sql
fname1=$dir/db_`date +%Y-%m-%d -d "5 days ago"`.sql.bz2
mysqldump -h $dbhost -u $dbuser -p$dbpass --databases $dbname > $fname
bzip2 $fname
rm -rf $fname1
day=`date +%A`
fname=$fname.bz2
if [ $day == "Monday" ]; then
uuencode $fname `basename $fname` | mail -t some@gmail.com -s "[`date +%Y-%m-%d`] Database Backup"
fi
dbhost=127.0.0.1
dbuser=user
dbpass=pass
dbname=dbname
dir=~/backupdir/
fname=$dir/db_`date +%Y-%m-%d`.sql
fname1=$dir/db_`date +%Y-%m-%d -d "5 days ago"`.sql.bz2
mysqldump -h $dbhost -u $dbuser -p$dbpass --databases $dbname > $fname
bzip2 $fname
rm -rf $fname1
day=`date +%A`
fname=$fname.bz2
if [ $day == "Monday" ]; then
uuencode $fname `basename $fname` | mail -t some@gmail.com -s "[`date +%Y-%m-%d`] Database Backup"
fi
p.s. uuencode是sharutils这个软件包里面的。yum或者apt-get都可以直接安装。
Oct
23
选项->设置->压缩->创建默认配置
[常规]
~压缩文件格式:
zip (方便分享,windows默认支持)
~压缩方式:
较好
[文件]
~ 要排除的文件:
*\Thumbs.db
~ 不压缩直接存储的文件
*.jpg *.jpeg *.png *.avi *.wmv *.rmvb *.rm *.gif *.mp4 *.mkv *.zip *.rar *.gz *.bz2 *.mp3 *.wma
[常规]
~压缩文件格式:
zip (方便分享,windows默认支持)
~压缩方式:
较好
[文件]
~ 要排除的文件:
*\Thumbs.db
~ 不压缩直接存储的文件
*.jpg *.jpeg *.png *.avi *.wmv *.rmvb *.rm *.gif *.mp4 *.mkv *.zip *.rar *.gz *.bz2 *.mp3 *.wma
Oct
13
Translated to ENGLISH VERSION
源于这两篇文章:
http://blog.csdn.net/ggggiqnypgjg/article/details/6645824
http://zhuhongcheng.wordpress.com/2009/08/02/a-simple-linear-time-algorithm-for-finding-longest-palindrome-sub-string/
这个算法看了三天,终于理解了,在这里记录一下自己的思路,免得以后忘了又要想很久- -.
首先用一个非常巧妙的方式,将所有可能的奇数/偶数长度的回文子串都转换成了奇数长度:在每个字符的两边都插入一个特殊的符号。比如 abba 变成 #a#b#b#a#, aba变成 #a#b#a#。 为了进一步减少编码的复杂度,可以在字符串的开始加入另一个特殊字符,这样就不用特殊处理越界问题,比如$#a#b#a#(注意,下面的代码是用C语言写就,由于C语言规范还要求字符串末尾有一个'\0'所以正好OK,但其他语言可能会导致越界)。
下面以字符串12212321为例,经过上一步,变成了 S[] = "$#1#2#2#1#2#3#2#1#";
然后用一个数组 P[i] 来记录以字符S[i]为中心的最长回文子串向左/右扩张的长度(包括S[i],也就是把该回文串“对折”以后的长度),比如S和P的对应关系:
那么怎么计算P[i]呢?该算法增加两个辅助变量(其实一个就够了,两个更清晰)id和mx,其中 id 为已知的 {右边界最大} 的回文子串的中心,mx则为id+P[id],也就是这个子串的右边界。
然后可以得到一个非常神奇的结论,这个算法的关键点就在这里了:如果mx > i,那么P[i] >= MIN(P[2 * id - i], mx - i)。就是这个串卡了我非常久。实际上如果把它写得复杂一点,理解起来会简单很多:
当然光看代码还是不够清晰,还是借助图来理解比较容易。
当 mx - i > P[j] 的时候,以S[j]为中心的回文子串包含在以S[id]为中心的回文子串中,由于 i 和 j 对称,以S[i]为中心的回文子串必然包含在以S[id]为中心的回文子串中,所以必有 P[i] = P[j],见下图。

当 P[j] >= mx - i 的时候,以S[j]为中心的回文子串不一定完全包含于以S[id]为中心的回文子串中,但是基于对称性可知,下图中两个绿框所包围的部分是相同的,也就是说以S[i]为中心的回文子串,其向右至少会扩张到mx的位置,也就是说 P[i] >= mx - i。至于mx之后的部分是否对称,就只能老老实实去匹配了。

对于 mx <= i 的情况,无法对 P[i]做更多的假设,只能P[i] = 1,然后再去匹配了。
于是代码如下:
OVER.
#UPDATE@2013-08-21 14:27
@zhengyuee 同学指出,由于 P[id] = mx,所以 S[id-mx] != S[id+mx],那么当 P[j] > mx - i 的时候,可以肯定 P[i] = mx - i ,不需要再继续匹配了。不过在具体实现的时候即使不考虑这一点,也只是多一次匹配(必然会fail),但是却要多加一个分支,所以上面的代码就不改了。
源于这两篇文章:
http://blog.csdn.net/ggggiqnypgjg/article/details/6645824
http://zhuhongcheng.wordpress.com/2009/08/02/a-simple-linear-time-algorithm-for-finding-longest-palindrome-sub-string/
这个算法看了三天,终于理解了,在这里记录一下自己的思路,免得以后忘了又要想很久- -.
首先用一个非常巧妙的方式,将所有可能的奇数/偶数长度的回文子串都转换成了奇数长度:在每个字符的两边都插入一个特殊的符号。比如 abba 变成 #a#b#b#a#, aba变成 #a#b#a#。 为了进一步减少编码的复杂度,可以在字符串的开始加入另一个特殊字符,这样就不用特殊处理越界问题,比如$#a#b#a#(注意,下面的代码是用C语言写就,由于C语言规范还要求字符串末尾有一个'\0'所以正好OK,但其他语言可能会导致越界)。
下面以字符串12212321为例,经过上一步,变成了 S[] = "$#1#2#2#1#2#3#2#1#";
然后用一个数组 P[i] 来记录以字符S[i]为中心的最长回文子串向左/右扩张的长度(包括S[i],也就是把该回文串“对折”以后的长度),比如S和P的对应关系:
S # 1 # 2 # 2 # 1 # 2 # 3 # 2 # 1 #
P 1 2 1 2 5 2 1 4 1 2 1 6 1 2 1 2 1
(p.s. 可以看出,P[i]-1正好是原字符串中回文串的总长度)
P 1 2 1 2 5 2 1 4 1 2 1 6 1 2 1 2 1
(p.s. 可以看出,P[i]-1正好是原字符串中回文串的总长度)
那么怎么计算P[i]呢?该算法增加两个辅助变量(其实一个就够了,两个更清晰)id和mx,其中 id 为已知的 {右边界最大} 的回文子串的中心,mx则为id+P[id],也就是这个子串的右边界。
然后可以得到一个非常神奇的结论,这个算法的关键点就在这里了:如果mx > i,那么P[i] >= MIN(P[2 * id - i], mx - i)。就是这个串卡了我非常久。实际上如果把它写得复杂一点,理解起来会简单很多:
//记j = 2 * id - i,也就是说 j 是 i 关于 id 的对称点(j = id - (i - id))
if (mx - i > P[j])
P[i] = P[j];
else /* P[j] >= mx - i */
P[i] = mx - i; // P[i] >= mx - i,取最小值,之后再匹配更新。
if (mx - i > P[j])
P[i] = P[j];
else /* P[j] >= mx - i */
P[i] = mx - i; // P[i] >= mx - i,取最小值,之后再匹配更新。
当然光看代码还是不够清晰,还是借助图来理解比较容易。
当 mx - i > P[j] 的时候,以S[j]为中心的回文子串包含在以S[id]为中心的回文子串中,由于 i 和 j 对称,以S[i]为中心的回文子串必然包含在以S[id]为中心的回文子串中,所以必有 P[i] = P[j],见下图。
当 P[j] >= mx - i 的时候,以S[j]为中心的回文子串不一定完全包含于以S[id]为中心的回文子串中,但是基于对称性可知,下图中两个绿框所包围的部分是相同的,也就是说以S[i]为中心的回文子串,其向右至少会扩张到mx的位置,也就是说 P[i] >= mx - i。至于mx之后的部分是否对称,就只能老老实实去匹配了。
对于 mx <= i 的情况,无法对 P[i]做更多的假设,只能P[i] = 1,然后再去匹配了。
于是代码如下:
//输入,并处理得到字符串s
int p[1000], mx = 0, id = 0;
memset(p, 0, sizeof(p));
for (i = 1; s[i] != '\0'; i++) {
p[i] = mx > i ? min(p[2*id-i], mx-i) : 1;
while (s[i + p[i]] == s[i - p[i]]) p[i]++;
if (i + p[i] > mx) {
mx = i + p[i];
id = i;
}
}
//找出p[i]中最大的
int p[1000], mx = 0, id = 0;
memset(p, 0, sizeof(p));
for (i = 1; s[i] != '\0'; i++) {
p[i] = mx > i ? min(p[2*id-i], mx-i) : 1;
while (s[i + p[i]] == s[i - p[i]]) p[i]++;
if (i + p[i] > mx) {
mx = i + p[i];
id = i;
}
}
//找出p[i]中最大的
OVER.
#UPDATE@2013-08-21 14:27
@zhengyuee 同学指出,由于 P[id] = mx,所以 S[id-mx] != S[id+mx],那么当 P[j] > mx - i 的时候,可以肯定 P[i] = mx - i ,不需要再继续匹配了。不过在具体实现的时候即使不考虑这一点,也只是多一次匹配(必然会fail),但是却要多加一个分支,所以上面的代码就不改了。





