Nov
3
首先声明,换的是电脑,不是大脑,跟RPT那货是不一样的。换脑的想法是这么来的。
在7月份某个阳光明媚草长莺飞的早晨,和sandy同学一起坐在开往某厂的636上面。注意,是坐,那天公交车居然很空。sandy同学用一种略带兴奋的语气说,京东上有一个Acer的本,i3 370,才只要2699(现在京东还是这价,AS4739-372G32Mikk),很适合买来写码啊。于是开始讨论,发现自己太久没有关注硬件了,连i3集成显卡都不知道,而且这卡还不算太差。B公司给Boluor同学发的那个X201i,用的就是i3的CPU,玩一般的游戏也是没有压力的。
于是开始考虑,是不是可以把我手头用了一年半的Acer本本卖掉(起码可以破除买->丢->买的恶性循环?),然后添点钱换个i3的本本。毕竟那是AMD当时新平台最低端的CPU,M320 2.1G,跑Win7还是略有压力。XP倒是很顺畅,只是用久了Win7,XP用起来实在是不习惯。接下来的一段时间,经常在某东上闲逛,发现本本都便宜到这个地步了,2k4买能有T4500 + 2G DDR3,性能不见得比我这个本子差。于是关注了下,发现3000以下的i3本也有好几个了,蛋疼得心动啊。
然后又是某个阳光明媚草长莺飞的早晨(7月底),和sandy同学一起站在开往某厂的636上面(这回是站着了)。魔都的公交车上都配有一个小显示屏,放些广告什么的,当时放的是,免费、快速、卖得掉,也就是某姓网的广告。到了某厂,跟sandy同学讨论说(sandy同学曾经把他用1w+买的BenQ S41以大约1850元的价格卖个了ZGC的JS),我这本扔上去卖个1K5怎么样,他说,很不错啊这个价格,我的本比你的好才卖了1850,还是一年前啊。于是就上百姓去看了看,我这一看啊,我勒个去,满眼小白,又老又旧的本本还开价1K5或者更高。顿时信心暴涨啊,把心理价位给定在了1K7,如果再低的话,不如过年回去扔给家里。
于是根据Sandy同学当年在zol卖本的帖子发了个帖子出去,开价2K。然后下午就有人给电话了,只是价格谈不拢。后来想了想,在Sandy同学的建议下(1999),把价格改成了1949。接下来的一段时间里面各种折腾,N个电话,最低有开1K5的,也有好几个1K7的,但不想卖,毕竟现在自己用着,被买走要折腾好久,麻烦。甚至有个开价1K8的到家里来看了本,但是觉得不送包鼠不太满意,跑了。。。。期间受到Sandy同学的各种毒害,觉得买个台式机也挺好的,好CPU、大容量、高转速硬盘、大显示器……唯一的一点"小"缺陷就是不太便携……
过了几天,在8月14号那个阳光明媚草长莺飞的周日早晨,和sandy同学一起到某厂加班。玩了一会儿,还没开始干活,扣扣上有个人加好友。谈了7句话,连价格都没还,还是我自己SB地说,1900包邮怎样,买家说,“嗯 可以”。我勒个去啊,这个买家要不要这么实诚搞得我都不好意思了……于是下午奔回家把数据备份了,然后写了个程序把硬盘全部写了过去。晚上打包好,周一早上叫了宅急送(顺丰不接受保价……)送了过去,40+邮费。。
然后当天在易迅和京东上下单,买了接近3K的硬件,周二陆续送到公司,和sandy同学当场组装。由于电源用的是sandy同学升级电源换下来的TT XP420,所以扛回家才把电源装上,然后居然木有点亮!坑爹啊!难道就这么杯具了吗!后来仔细看了下主板的说明书,发现好像是RESET/POWER的正负极接反了……坑爹的没有防呆化设计的针脚,哎……再桶了一下,终于把我攒的第一台电脑给点亮了……
另外由于某厂某活动送的某在线商城购物券实在没什么好买的,于是就买了个Edifier M17,反正我对音质没啥要求,这种能够插SD卡/U盘播MP3而且还带锂电池的音箱我一直挺想弄一个来着……
于是就比较舒畅地用了两个多月,直到泰国洪水发飙,发现硬盘的价格一路飙升……当初350买的硬盘,现在在淘宝商城已经涨到了690…………于是蛋疼地搜了一下各个配件现在的价格,发现现在配同样的机器要¥3441,比当初贵了¥330啊!于是蛋疼地开始考虑。。。为了结束实习回武汉以及再工作时的各种折腾,是不是把这台机器以不亏本的价格出掉,换一台笔记本………………
在7月份某个阳光明媚草长莺飞的早晨,和sandy同学一起坐在开往某厂的636上面。注意,是坐,那天公交车居然很空。sandy同学用一种略带兴奋的语气说,京东上有一个Acer的本,i3 370,才只要2699(现在京东还是这价,AS4739-372G32Mikk),很适合买来写码啊。于是开始讨论,发现自己太久没有关注硬件了,连i3集成显卡都不知道,而且这卡还不算太差。B公司给Boluor同学发的那个X201i,用的就是i3的CPU,玩一般的游戏也是没有压力的。
于是开始考虑,是不是可以把我手头用了一年半的Acer本本卖掉(起码可以破除买->丢->买的恶性循环?),然后添点钱换个i3的本本。毕竟那是AMD当时新平台最低端的CPU,M320 2.1G,跑Win7还是略有压力。XP倒是很顺畅,只是用久了Win7,XP用起来实在是不习惯。接下来的一段时间,经常在某东上闲逛,发现本本都便宜到这个地步了,2k4买能有T4500 + 2G DDR3,性能不见得比我这个本子差。于是关注了下,发现3000以下的i3本也有好几个了,蛋疼得心动啊。
然后又是某个阳光明媚草长莺飞的早晨(7月底),和sandy同学一起站在开往某厂的636上面(这回是站着了)。魔都的公交车上都配有一个小显示屏,放些广告什么的,当时放的是,免费、快速、卖得掉,也就是某姓网的广告。到了某厂,跟sandy同学讨论说(sandy同学曾经把他用1w+买的BenQ S41以大约1850元的价格卖个了ZGC的JS),我这本扔上去卖个1K5怎么样,他说,很不错啊这个价格,我的本比你的好才卖了1850,还是一年前啊。于是就上百姓去看了看,我这一看啊,我勒个去,满眼小白,又老又旧的本本还开价1K5或者更高。顿时信心暴涨啊,把心理价位给定在了1K7,如果再低的话,不如过年回去扔给家里。
于是根据Sandy同学当年在zol卖本的帖子发了个帖子出去,开价2K。然后下午就有人给电话了,只是价格谈不拢。后来想了想,在Sandy同学的建议下(1999),把价格改成了1949。接下来的一段时间里面各种折腾,N个电话,最低有开1K5的,也有好几个1K7的,但不想卖,毕竟现在自己用着,被买走要折腾好久,麻烦。甚至有个开价1K8的到家里来看了本,但是觉得不送包鼠不太满意,跑了。。。。期间受到Sandy同学的各种毒害,觉得买个台式机也挺好的,好CPU、大容量、高转速硬盘、大显示器……唯一的一点"小"缺陷就是不太便携……
过了几天,在8月14号那个阳光明媚草长莺飞的周日早晨,和sandy同学一起到某厂加班。玩了一会儿,还没开始干活,扣扣上有个人加好友。谈了7句话,连价格都没还,还是我自己SB地说,1900包邮怎样,买家说,“嗯 可以”。我勒个去啊,这个买家要不要这么实诚搞得我都不好意思了……于是下午奔回家把数据备份了,然后写了个程序把硬盘全部写了过去。晚上打包好,周一早上叫了宅急送(顺丰不接受保价……)送了过去,40+邮费。。
然后当天在易迅和京东上下单,买了接近3K的硬件,周二陆续送到公司,和sandy同学当场组装。由于电源用的是sandy同学升级电源换下来的TT XP420,所以扛回家才把电源装上,然后居然木有点亮!坑爹啊!难道就这么杯具了吗!后来仔细看了下主板的说明书,发现好像是RESET/POWER的正负极接反了……坑爹的没有防呆化设计的针脚,哎……再桶了一下,终于把我攒的第一台电脑给点亮了……
另外由于某厂某活动送的某在线商城购物券实在没什么好买的,于是就买了个Edifier M17,反正我对音质没啥要求,这种能够插SD卡/U盘播MP3而且还带锂电池的音箱我一直挺想弄一个来着……
于是就比较舒畅地用了两个多月,直到泰国洪水发飙,发现硬盘的价格一路飙升……当初350买的硬盘,现在在淘宝商城已经涨到了690…………于是蛋疼地搜了一下各个配件现在的价格,发现现在配同样的机器要¥3441,比当初贵了¥330啊!于是蛋疼地开始考虑。。。为了结束实习回武汉以及再工作时的各种折腾,是不是把这台机器以不亏本的价格出掉,换一台笔记本………………
购买日期:2011-08-15
硬件 现价 现价出处 购买价 购买处
AMD X3 450(3.2G,可开四核) 529 易迅 509 易迅
海盗船XMS3 DDR3-1600 4GB 180 淘宝商城 229 京东(缺货)
技嘉GA-880GM-USB3 588 易迅 599 京东(-50优惠?)
日立7k1000.d 1TB 单碟500G 690 淘宝商城 349 易迅(缺货)
TT XP420 350w电源 210 淘宝商城 --- sandy
酷冷至尊RC-K100 ESATA 229 京东 229 京东
飞利浦19寸193E1SB(LED,DVI) 699 京东 729 京东
TP-Link WN781N无线网卡 88 易迅 89 易迅
微软IE3.0鼠标 168 易迅 169 易迅
戴尔8115键盘 40 淘宝 --- sandy
天敏V801摄像头(带麦克风) 18.8 易迅 19 易迅
硬件 现价 现价出处 购买价 购买处
AMD X3 450(3.2G,可开四核) 529 易迅 509 易迅
海盗船XMS3 DDR3-1600 4GB 180 淘宝商城 229 京东(缺货)
技嘉GA-880GM-USB3 588 易迅 599 京东(-50优惠?)
日立7k1000.d 1TB 单碟500G 690 淘宝商城 349 易迅(缺货)
TT XP420 350w电源 210 淘宝商城 --- sandy
酷冷至尊RC-K100 ESATA 229 京东 229 京东
飞利浦19寸193E1SB(LED,DVI) 699 京东 729 京东
TP-Link WN781N无线网卡 88 易迅 89 易迅
微软IE3.0鼠标 168 易迅 169 易迅
戴尔8115键盘 40 淘宝 --- sandy
天敏V801摄像头(带麦克风) 18.8 易迅 19 易迅
Nov
3
Nov
3
这里委屈MySQL一下,只是想测试,如果二者用于比较纯粹的key/value存储,性能如何。
机器配置:RHEL5.6
AMD Opteron(tm) 6128HE 2GHz, 32G RAM,
HDD(应该不是SSD,7200还是10000rpm不知道)
连续读54.5 MB/s (dd if=/dev/zero of=test bs=1048576 count=512)
====
MySQL: 使用源码附带的的 my-medium.cnf 配置
CREATE TABLE nn (k INTEGER PRIMARY KEY, v INTEGER); #默认MyISAM引擎
100,000条数据
INSERT: 4k QPS, 24.45s #类似于 INSERT INTO nn VALUES (42, 42)
UPDATE: 2.7k QPS, 36.00s #类似于 UPDATE nn SET v=43 WHERE k=42
SELECT(key随机): 3.3k QPS, 31.22s #类似于 SELECT * FROM nn WHERE k=42
空间占用:1.9M 其中数据879K,索引1004K
5,000,000 条数据 (不测试INSERT和UPDATE了……)
LOAD: 32.8万条/s, 15.25s # LOAD DATA INFILE '/tmp/data' INTO TABLE nn (k, v)
SELECT(10w次, key随机): 4k QPS, 25.49s
空间占用:92M 其中数据43M,索引49M
以上测试除了MySQL Load之外完全使用C代码调用MySQL的官方C API
====
Berkeley DB(BTree, 没测hash):
100w条插入:15.9s, 62.9k QPS
100w条查询(key随机):8.69s, 115k QPS
空间占用:100w=>25M, 1000w=>259M, 2亿=>5.4G
p.s. 如果把cache_size设置为512MB的话,插入基本都在内存中完成,100w跳只需要大约2.64s,378.6k QPS,和MySQL在同一个级别。
以上测试使用c编码完成,使用默认参数,没有设置内存占用大小。
Python使用bsddb模块效率约是c的50%。
机器配置:RHEL5.6
AMD Opteron(tm) 6128HE 2GHz, 32G RAM,
HDD(应该不是SSD,7200还是10000rpm不知道)
连续读54.5 MB/s (dd if=/dev/zero of=test bs=1048576 count=512)
====
MySQL: 使用源码附带的的 my-medium.cnf 配置
CREATE TABLE nn (k INTEGER PRIMARY KEY, v INTEGER); #默认MyISAM引擎
100,000条数据
INSERT: 4k QPS, 24.45s #类似于 INSERT INTO nn VALUES (42, 42)
UPDATE: 2.7k QPS, 36.00s #类似于 UPDATE nn SET v=43 WHERE k=42
SELECT(key随机): 3.3k QPS, 31.22s #类似于 SELECT * FROM nn WHERE k=42
空间占用:1.9M 其中数据879K,索引1004K
5,000,000 条数据 (不测试INSERT和UPDATE了……)
LOAD: 32.8万条/s, 15.25s # LOAD DATA INFILE '/tmp/data' INTO TABLE nn (k, v)
SELECT(10w次, key随机): 4k QPS, 25.49s
空间占用:92M 其中数据43M,索引49M
以上测试除了MySQL Load之外完全使用C代码调用MySQL的官方C API
====
Berkeley DB(BTree, 没测hash):
100w条插入:15.9s, 62.9k QPS
100w条查询(key随机):8.69s, 115k QPS
空间占用:100w=>25M, 1000w=>259M, 2亿=>5.4G
p.s. 如果把cache_size设置为512MB的话,插入基本都在内存中完成,100w跳只需要大约2.64s,378.6k QPS,和MySQL在同一个级别。
以上测试使用c编码完成,使用默认参数,没有设置内存占用大小。
Python使用bsddb模块效率约是c的50%。
Nov
2
#!/bin/bash
#check twice a day
#0 2,10 * * * cd /home/felix021/code/tbbt && ./check.sh
now=`cat now`
now=`expr $now + 1`
url="http://yyets.com/showresource-juji-1005.html"
wget $url -O output.html &> /dev/null
pattern=S05E$now
if [ $now -lt 10 ]; then
pattern=S05E0${now}
fi
if grep "output.html" -e $pattern &> /dev/null; then
echo $now > now
echo "please check $url" | mail -t "felix021@扣扣.com" -s "TBBT05 update: $now"
fi
rm -f output.html
#check twice a day
#0 2,10 * * * cd /home/felix021/code/tbbt && ./check.sh
now=`cat now`
now=`expr $now + 1`
url="http://yyets.com/showresource-juji-1005.html"
wget $url -O output.html &> /dev/null
pattern=S05E$now
if [ $now -lt 10 ]; then
pattern=S05E0${now}
fi
if grep "output.html" -e $pattern &> /dev/null; then
echo $now > now
echo "please check $url" | mail -t "felix021@扣扣.com" -s "TBBT05 update: $now"
fi
rm -f output.html
Nov
2
$ tar zxf mysql-5.1.30.tar.gz
$ cd mysql-5.1.30
$ mkdir -p /home/fengmin/mysql
$ ./configure --prefix=/home/fengmin/mysql --with-plugins=all --with-pthread --with-charset=utf8 --with-extra-charsets=all
$ make -j4 &> make.log
$ make install
$ cd /home/fengmin/mysql
$ mkdir data
$ ./bin/mysql_install_db --datadir=/home/fengmin/mysql/data/
$ cp ./share/mysql/my-small.cnf my.cnf
$ vi my.cnf #修改各种配置
$ ./bin/mysqld_safe --defaults-file=/home/fengmin/mysql/my.cnf & #启动server
$ ./bin/mysqladmin -u root password 'newpassword' -h 127.0.0.1 -P 3306 #修改root密码
$ ./bin/mysql -h127.0.0.1 -P 3306 -u root -pnewpassword #连接mysql
$ ./bin/mysqladmin -h 127.0.0.1 -P 3306 -u root -pnewpassword shutdown #关闭server
$ cd mysql-5.1.30
$ mkdir -p /home/fengmin/mysql
$ ./configure --prefix=/home/fengmin/mysql --with-plugins=all --with-pthread --with-charset=utf8 --with-extra-charsets=all
$ make -j4 &> make.log
$ make install
$ cd /home/fengmin/mysql
$ mkdir data
$ ./bin/mysql_install_db --datadir=/home/fengmin/mysql/data/
$ cp ./share/mysql/my-small.cnf my.cnf
$ vi my.cnf #修改各种配置
$ ./bin/mysqld_safe --defaults-file=/home/fengmin/mysql/my.cnf & #启动server
$ ./bin/mysqladmin -u root password 'newpassword' -h 127.0.0.1 -P 3306 #修改root密码
$ ./bin/mysql -h127.0.0.1 -P 3306 -u root -pnewpassword #连接mysql
$ ./bin/mysqladmin -h 127.0.0.1 -P 3306 -u root -pnewpassword shutdown #关闭server
Oct
31
一个蛋疼的服务:向某个端口提供shell服务。
基本流程是这样的:python虚拟一个终端,载入了一个bash;然后呢,监听某个端口,连上该端口的客户端的输入当作bash的输入,将bash的输出返回给该客户端。当客户端断开的时候,bash继续运行,等待下一个客户端。
之所以倒腾出这么个东西,主要是突然想写个php在一个session里面完成一系列任务(甚至su成另外一个用户),但是system之类的函数就很难搞。基本上就是没用的东西。
基本流程是这样的:python虚拟一个终端,载入了一个bash;然后呢,监听某个端口,连上该端口的客户端的输入当作bash的输入,将bash的输出返回给该客户端。当客户端断开的时候,bash继续运行,等待下一个客户端。
之所以倒腾出这么个东西,主要是突然想写个php在一个session里面完成一系列任务(甚至su成另外一个用户),但是system之类的函数就很难搞。基本上就是没用的东西。
#!/usr/bin/python
import socket
import os
import thread
import pty
tty = open("/dev/tty", "w")
shell_input_reader, shell_input_writer = os.pipe()
shell_output_reader, shell_output_writer = os.pipe()
def sheller(arg):
global shell, shell_input_reader, shell_output_writer
os.dup2(shell_input_reader, 0)
os.dup2(shell_output_writer, 1)
os.dup2(shell_output_writer, 2)
while True:
pty.spawn('/bin/bash')
def shell_to_sock(conn):
global shell_output_reader
while True:
try:
conn.send(os.read(shell_output_reader, 1024))
except:
break
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
sock.bind(('127.0.0.1', 4698)) #如果希望这个服务对其他机器开放的话,那就把这个ip改成0.0.0.0或者外网的ip
sock.listen(5)
thread.start_new_thread(sheller, (1,))
while True:
conn, addr = sock.accept()
print >>tty, "%s:%d connected" % (addr[0], addr[1])
thread.start_new_thread(shell_to_sock, (conn, ))
while True:
try:
buf = conn.recv(1024)
if not buf:
break
print >>tty, "[%s]" % buf.strip()
os.write(shell_input_writer, buf)
except:
break
conn.close()
import socket
import os
import thread
import pty
tty = open("/dev/tty", "w")
shell_input_reader, shell_input_writer = os.pipe()
shell_output_reader, shell_output_writer = os.pipe()
def sheller(arg):
global shell, shell_input_reader, shell_output_writer
os.dup2(shell_input_reader, 0)
os.dup2(shell_output_writer, 1)
os.dup2(shell_output_writer, 2)
while True:
pty.spawn('/bin/bash')
def shell_to_sock(conn):
global shell_output_reader
while True:
try:
conn.send(os.read(shell_output_reader, 1024))
except:
break
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
sock.bind(('127.0.0.1', 4698)) #如果希望这个服务对其他机器开放的话,那就把这个ip改成0.0.0.0或者外网的ip
sock.listen(5)
thread.start_new_thread(sheller, (1,))
while True:
conn, addr = sock.accept()
print >>tty, "%s:%d connected" % (addr[0], addr[1])
thread.start_new_thread(shell_to_sock, (conn, ))
while True:
try:
buf = conn.recv(1024)
if not buf:
break
print >>tty, "[%s]" % buf.strip()
os.write(shell_input_writer, buf)
except:
break
conn.close()
Oct
28
ppt中保存的默认是原始照片;可以把照片另存,但是保存的图片实际上是压缩过后的图片,而且EXIF信息也丢失了;另存为pptx再改成zip,发现效果相同。为了找回最原始的照片,可以将其另存为xml格式,然后再写程序将其中的图片信息提取出来。
xml格式中图片的信息大致是这样存储的:
写了个简单的python脚本来完成:
xml格式中图片的信息大致是这样存储的:
引用
<pkg:part pkg:name="/ppt/media/image5.jpeg" pkg:contentType="image/jpeg" pkg:compression="store"><pkg:binaryData> [[base64 encoded data]] </pkg:binaryData></pkg:part>
写了个简单的python脚本来完成:
import re
import base64
import os
x = open("1.xml", "r")
str = x.read()
r = re.compile(r'<pkg:part pkg:name="[^"]*\/([^"]*)".*?>\s*<pkg:binaryData>((.|\n)*?)<\/pkg:binaryData>', re.S)
m = re.findall(r, str)
os.system("mkdir files")
for i in m:
print "write %s" % i[0]
f = open("./files/" + i[0], "wb");
f.write(base64.b64decode(i[1]))
import base64
import os
x = open("1.xml", "r")
str = x.read()
r = re.compile(r'<pkg:part pkg:name="[^"]*\/([^"]*)".*?>\s*<pkg:binaryData>((.|\n)*?)<\/pkg:binaryData>', re.S)
m = re.findall(r, str)
os.system("mkdir files")
for i in m:
print "write %s" % i[0]
f = open("./files/" + i[0], "wb");
f.write(base64.b64decode(i[1]))
Oct
27
每天备份一次数据库;删除5天之前的备份;每逢周一将备份好的数据库发送到邮箱。
p.s. uuencode是sharutils这个软件包里面的。yum或者apt-get都可以直接安装。
#!/bin/bash
dbhost=127.0.0.1
dbuser=user
dbpass=pass
dbname=dbname
dir=~/backupdir/
fname=$dir/db_`date +%Y-%m-%d`.sql
fname1=$dir/db_`date +%Y-%m-%d -d "5 days ago"`.sql.bz2
mysqldump -h $dbhost -u $dbuser -p$dbpass --databases $dbname > $fname
bzip2 $fname
rm -rf $fname1
day=`date +%A`
fname=$fname.bz2
if [ $day == "Monday" ]; then
uuencode $fname `basename $fname` | mail -t some@gmail.com -s "[`date +%Y-%m-%d`] Database Backup"
fi
dbhost=127.0.0.1
dbuser=user
dbpass=pass
dbname=dbname
dir=~/backupdir/
fname=$dir/db_`date +%Y-%m-%d`.sql
fname1=$dir/db_`date +%Y-%m-%d -d "5 days ago"`.sql.bz2
mysqldump -h $dbhost -u $dbuser -p$dbpass --databases $dbname > $fname
bzip2 $fname
rm -rf $fname1
day=`date +%A`
fname=$fname.bz2
if [ $day == "Monday" ]; then
uuencode $fname `basename $fname` | mail -t some@gmail.com -s "[`date +%Y-%m-%d`] Database Backup"
fi
p.s. uuencode是sharutils这个软件包里面的。yum或者apt-get都可以直接安装。