Nov
3
Nov
3
这里委屈MySQL一下,只是想测试,如果二者用于比较纯粹的key/value存储,性能如何。
机器配置:RHEL5.6
AMD Opteron(tm) 6128HE 2GHz, 32G RAM,
HDD(应该不是SSD,7200还是10000rpm不知道)
连续读54.5 MB/s (dd if=/dev/zero of=test bs=1048576 count=512)
====
MySQL: 使用源码附带的的 my-medium.cnf 配置
CREATE TABLE nn (k INTEGER PRIMARY KEY, v INTEGER); #默认MyISAM引擎
100,000条数据
INSERT: 4k QPS, 24.45s #类似于 INSERT INTO nn VALUES (42, 42)
UPDATE: 2.7k QPS, 36.00s #类似于 UPDATE nn SET v=43 WHERE k=42
SELECT(key随机): 3.3k QPS, 31.22s #类似于 SELECT * FROM nn WHERE k=42
空间占用:1.9M 其中数据879K,索引1004K
5,000,000 条数据 (不测试INSERT和UPDATE了……)
LOAD: 32.8万条/s, 15.25s # LOAD DATA INFILE '/tmp/data' INTO TABLE nn (k, v)
SELECT(10w次, key随机): 4k QPS, 25.49s
空间占用:92M 其中数据43M,索引49M
以上测试除了MySQL Load之外完全使用C代码调用MySQL的官方C API
====
Berkeley DB(BTree, 没测hash):
100w条插入:15.9s, 62.9k QPS
100w条查询(key随机):8.69s, 115k QPS
空间占用:100w=>25M, 1000w=>259M, 2亿=>5.4G
p.s. 如果把cache_size设置为512MB的话,插入基本都在内存中完成,100w跳只需要大约2.64s,378.6k QPS,和MySQL在同一个级别。
以上测试使用c编码完成,使用默认参数,没有设置内存占用大小。
Python使用bsddb模块效率约是c的50%。
机器配置:RHEL5.6
AMD Opteron(tm) 6128HE 2GHz, 32G RAM,
HDD(应该不是SSD,7200还是10000rpm不知道)
连续读54.5 MB/s (dd if=/dev/zero of=test bs=1048576 count=512)
====
MySQL: 使用源码附带的的 my-medium.cnf 配置
CREATE TABLE nn (k INTEGER PRIMARY KEY, v INTEGER); #默认MyISAM引擎
100,000条数据
INSERT: 4k QPS, 24.45s #类似于 INSERT INTO nn VALUES (42, 42)
UPDATE: 2.7k QPS, 36.00s #类似于 UPDATE nn SET v=43 WHERE k=42
SELECT(key随机): 3.3k QPS, 31.22s #类似于 SELECT * FROM nn WHERE k=42
空间占用:1.9M 其中数据879K,索引1004K
5,000,000 条数据 (不测试INSERT和UPDATE了……)
LOAD: 32.8万条/s, 15.25s # LOAD DATA INFILE '/tmp/data' INTO TABLE nn (k, v)
SELECT(10w次, key随机): 4k QPS, 25.49s
空间占用:92M 其中数据43M,索引49M
以上测试除了MySQL Load之外完全使用C代码调用MySQL的官方C API
====
Berkeley DB(BTree, 没测hash):
100w条插入:15.9s, 62.9k QPS
100w条查询(key随机):8.69s, 115k QPS
空间占用:100w=>25M, 1000w=>259M, 2亿=>5.4G
p.s. 如果把cache_size设置为512MB的话,插入基本都在内存中完成,100w跳只需要大约2.64s,378.6k QPS,和MySQL在同一个级别。
以上测试使用c编码完成,使用默认参数,没有设置内存占用大小。
Python使用bsddb模块效率约是c的50%。
Nov
2
#!/bin/bash
#check twice a day
#0 2,10 * * * cd /home/felix021/code/tbbt && ./check.sh
now=`cat now`
now=`expr $now + 1`
url="http://yyets.com/showresource-juji-1005.html"
wget $url -O output.html &> /dev/null
pattern=S05E$now
if [ $now -lt 10 ]; then
pattern=S05E0${now}
fi
if grep "output.html" -e $pattern &> /dev/null; then
echo $now > now
echo "please check $url" | mail -t "felix021@扣扣.com" -s "TBBT05 update: $now"
fi
rm -f output.html
#check twice a day
#0 2,10 * * * cd /home/felix021/code/tbbt && ./check.sh
now=`cat now`
now=`expr $now + 1`
url="http://yyets.com/showresource-juji-1005.html"
wget $url -O output.html &> /dev/null
pattern=S05E$now
if [ $now -lt 10 ]; then
pattern=S05E0${now}
fi
if grep "output.html" -e $pattern &> /dev/null; then
echo $now > now
echo "please check $url" | mail -t "felix021@扣扣.com" -s "TBBT05 update: $now"
fi
rm -f output.html
Nov
2
$ tar zxf mysql-5.1.30.tar.gz
$ cd mysql-5.1.30
$ mkdir -p /home/fengmin/mysql
$ ./configure --prefix=/home/fengmin/mysql --with-plugins=all --with-pthread --with-charset=utf8 --with-extra-charsets=all
$ make -j4 &> make.log
$ make install
$ cd /home/fengmin/mysql
$ mkdir data
$ ./bin/mysql_install_db --datadir=/home/fengmin/mysql/data/
$ cp ./share/mysql/my-small.cnf my.cnf
$ vi my.cnf #修改各种配置
$ ./bin/mysqld_safe --defaults-file=/home/fengmin/mysql/my.cnf & #启动server
$ ./bin/mysqladmin -u root password 'newpassword' -h 127.0.0.1 -P 3306 #修改root密码
$ ./bin/mysql -h127.0.0.1 -P 3306 -u root -pnewpassword #连接mysql
$ ./bin/mysqladmin -h 127.0.0.1 -P 3306 -u root -pnewpassword shutdown #关闭server
$ cd mysql-5.1.30
$ mkdir -p /home/fengmin/mysql
$ ./configure --prefix=/home/fengmin/mysql --with-plugins=all --with-pthread --with-charset=utf8 --with-extra-charsets=all
$ make -j4 &> make.log
$ make install
$ cd /home/fengmin/mysql
$ mkdir data
$ ./bin/mysql_install_db --datadir=/home/fengmin/mysql/data/
$ cp ./share/mysql/my-small.cnf my.cnf
$ vi my.cnf #修改各种配置
$ ./bin/mysqld_safe --defaults-file=/home/fengmin/mysql/my.cnf & #启动server
$ ./bin/mysqladmin -u root password 'newpassword' -h 127.0.0.1 -P 3306 #修改root密码
$ ./bin/mysql -h127.0.0.1 -P 3306 -u root -pnewpassword #连接mysql
$ ./bin/mysqladmin -h 127.0.0.1 -P 3306 -u root -pnewpassword shutdown #关闭server
Oct
31
一个蛋疼的服务:向某个端口提供shell服务。
基本流程是这样的:python虚拟一个终端,载入了一个bash;然后呢,监听某个端口,连上该端口的客户端的输入当作bash的输入,将bash的输出返回给该客户端。当客户端断开的时候,bash继续运行,等待下一个客户端。
之所以倒腾出这么个东西,主要是突然想写个php在一个session里面完成一系列任务(甚至su成另外一个用户),但是system之类的函数就很难搞。基本上就是没用的东西。
基本流程是这样的:python虚拟一个终端,载入了一个bash;然后呢,监听某个端口,连上该端口的客户端的输入当作bash的输入,将bash的输出返回给该客户端。当客户端断开的时候,bash继续运行,等待下一个客户端。
之所以倒腾出这么个东西,主要是突然想写个php在一个session里面完成一系列任务(甚至su成另外一个用户),但是system之类的函数就很难搞。基本上就是没用的东西。
#!/usr/bin/python
import socket
import os
import thread
import pty
tty = open("/dev/tty", "w")
shell_input_reader, shell_input_writer = os.pipe()
shell_output_reader, shell_output_writer = os.pipe()
def sheller(arg):
global shell, shell_input_reader, shell_output_writer
os.dup2(shell_input_reader, 0)
os.dup2(shell_output_writer, 1)
os.dup2(shell_output_writer, 2)
while True:
pty.spawn('/bin/bash')
def shell_to_sock(conn):
global shell_output_reader
while True:
try:
conn.send(os.read(shell_output_reader, 1024))
except:
break
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
sock.bind(('127.0.0.1', 4698)) #如果希望这个服务对其他机器开放的话,那就把这个ip改成0.0.0.0或者外网的ip
sock.listen(5)
thread.start_new_thread(sheller, (1,))
while True:
conn, addr = sock.accept()
print >>tty, "%s:%d connected" % (addr[0], addr[1])
thread.start_new_thread(shell_to_sock, (conn, ))
while True:
try:
buf = conn.recv(1024)
if not buf:
break
print >>tty, "[%s]" % buf.strip()
os.write(shell_input_writer, buf)
except:
break
conn.close()
import socket
import os
import thread
import pty
tty = open("/dev/tty", "w")
shell_input_reader, shell_input_writer = os.pipe()
shell_output_reader, shell_output_writer = os.pipe()
def sheller(arg):
global shell, shell_input_reader, shell_output_writer
os.dup2(shell_input_reader, 0)
os.dup2(shell_output_writer, 1)
os.dup2(shell_output_writer, 2)
while True:
pty.spawn('/bin/bash')
def shell_to_sock(conn):
global shell_output_reader
while True:
try:
conn.send(os.read(shell_output_reader, 1024))
except:
break
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
sock.bind(('127.0.0.1', 4698)) #如果希望这个服务对其他机器开放的话,那就把这个ip改成0.0.0.0或者外网的ip
sock.listen(5)
thread.start_new_thread(sheller, (1,))
while True:
conn, addr = sock.accept()
print >>tty, "%s:%d connected" % (addr[0], addr[1])
thread.start_new_thread(shell_to_sock, (conn, ))
while True:
try:
buf = conn.recv(1024)
if not buf:
break
print >>tty, "[%s]" % buf.strip()
os.write(shell_input_writer, buf)
except:
break
conn.close()
Oct
28
ppt中保存的默认是原始照片;可以把照片另存,但是保存的图片实际上是压缩过后的图片,而且EXIF信息也丢失了;另存为pptx再改成zip,发现效果相同。为了找回最原始的照片,可以将其另存为xml格式,然后再写程序将其中的图片信息提取出来。
xml格式中图片的信息大致是这样存储的:
写了个简单的python脚本来完成:
xml格式中图片的信息大致是这样存储的:
引用
<pkg:part pkg:name="/ppt/media/image5.jpeg" pkg:contentType="image/jpeg" pkg:compression="store"><pkg:binaryData> [[base64 encoded data]] </pkg:binaryData></pkg:part>
写了个简单的python脚本来完成:
import re
import base64
import os
x = open("1.xml", "r")
str = x.read()
r = re.compile(r'<pkg:part pkg:name="[^"]*\/([^"]*)".*?>\s*<pkg:binaryData>((.|\n)*?)<\/pkg:binaryData>', re.S)
m = re.findall(r, str)
os.system("mkdir files")
for i in m:
print "write %s" % i[0]
f = open("./files/" + i[0], "wb");
f.write(base64.b64decode(i[1]))
import base64
import os
x = open("1.xml", "r")
str = x.read()
r = re.compile(r'<pkg:part pkg:name="[^"]*\/([^"]*)".*?>\s*<pkg:binaryData>((.|\n)*?)<\/pkg:binaryData>', re.S)
m = re.findall(r, str)
os.system("mkdir files")
for i in m:
print "write %s" % i[0]
f = open("./files/" + i[0], "wb");
f.write(base64.b64decode(i[1]))
Oct
27
每天备份一次数据库;删除5天之前的备份;每逢周一将备份好的数据库发送到邮箱。
p.s. uuencode是sharutils这个软件包里面的。yum或者apt-get都可以直接安装。
#!/bin/bash
dbhost=127.0.0.1
dbuser=user
dbpass=pass
dbname=dbname
dir=~/backupdir/
fname=$dir/db_`date +%Y-%m-%d`.sql
fname1=$dir/db_`date +%Y-%m-%d -d "5 days ago"`.sql.bz2
mysqldump -h $dbhost -u $dbuser -p$dbpass --databases $dbname > $fname
bzip2 $fname
rm -rf $fname1
day=`date +%A`
fname=$fname.bz2
if [ $day == "Monday" ]; then
uuencode $fname `basename $fname` | mail -t some@gmail.com -s "[`date +%Y-%m-%d`] Database Backup"
fi
dbhost=127.0.0.1
dbuser=user
dbpass=pass
dbname=dbname
dir=~/backupdir/
fname=$dir/db_`date +%Y-%m-%d`.sql
fname1=$dir/db_`date +%Y-%m-%d -d "5 days ago"`.sql.bz2
mysqldump -h $dbhost -u $dbuser -p$dbpass --databases $dbname > $fname
bzip2 $fname
rm -rf $fname1
day=`date +%A`
fname=$fname.bz2
if [ $day == "Monday" ]; then
uuencode $fname `basename $fname` | mail -t some@gmail.com -s "[`date +%Y-%m-%d`] Database Backup"
fi
p.s. uuencode是sharutils这个软件包里面的。yum或者apt-get都可以直接安装。
Oct
23
选项->设置->压缩->创建默认配置
[常规]
~压缩文件格式:
zip (方便分享,windows默认支持)
~压缩方式:
较好
[文件]
~ 要排除的文件:
*\Thumbs.db
~ 不压缩直接存储的文件
*.jpg *.jpeg *.png *.avi *.wmv *.rmvb *.rm *.gif *.mp4 *.mkv *.zip *.rar *.gz *.bz2 *.mp3 *.wma
[常规]
~压缩文件格式:
zip (方便分享,windows默认支持)
~压缩方式:
较好
[文件]
~ 要排除的文件:
*\Thumbs.db
~ 不压缩直接存储的文件
*.jpg *.jpeg *.png *.avi *.wmv *.rmvb *.rm *.gif *.mp4 *.mkv *.zip *.rar *.gz *.bz2 *.mp3 *.wma