登录 |

MySQL内存占用公式

2013年07月30日 上午 50:28 | 作者:

# Per-thread memory
$per_thread_buffers =  thread_stack + read_buffer_size + read_rnd_buffer_size + sort_buffer_size + join_buffer_size;
$total_per_thread_buffers = $per_thread_buffers * max_connections;

# Server-wide memory
$server_buffers = key_buffer_size + query_cache_size + MAX(tmp_table_size, max_heap_table_size)
                + innodb_buffer_pool_size + innodb_additional_mem_pool_size + innodb_log_buffer_size;

# Global memory
$total_possible_used_memory = $server_buffers + $total_per_thread_buffers;

Reference:mysqltuner.pl

  • max_connections
    允许的并行客户端连接数目。增大该值则增加mysqld 需要的文件描述符的数量。
  • read_buffer_size
    每个线程连续扫描时为扫描的每个表分配的缓冲区的大小(字节)。如果进行多次连续扫描,可能需要增加该值, 默认值为131072。
  • read_rnd_buffer_size
    当排序后按排序后的顺序读取行时,则通过该缓冲区读取行,避免搜索硬盘。将该变量设置为较大的值可以大大改进ORDER BY的性能。但是,这是为每个客户端分配的缓冲区,因此你不应将全局变量设置为较大的值。相反,只为需要运行大查询的客户端更改会话变量。
  • sort_buffer_size
    每个排序线程分配的缓冲区的大小。增加该值可以加快ORDER BY或GROUP BY操作。
  • thread_stack
    每个线程的堆栈大小。用crash-me测试检测出的许多限制取决于该值。 默认值足够大,可以满足普通操作。
  • join_buffer_size
    用于完全联接的缓冲区的大小(当不使用索引的时候使用联接操作)。一般情况获得快速联接的最好方法是添加索引。当增加索引时不可能通过增加join_buffer_size值来获得快速完全联接。将为两个表之间的每个完全联接分配联接缓冲区。对于多个表之间不使用索引的复杂联接,需要多联接缓冲区。
  • query_cache_size
    为缓存查询结果分配的内存的数量。默认值是0,即禁用查询缓存。请注意即使query_cache_type设置为0也将分配此数量的内存。
  • tmp_table_size
    如果内存内的临时表超过该值,MySQL自动将它转换为硬盘上的MyISAM表。如果你执行许多高级GROUP BY查询并且有大量内存,则可以增加tmp_table_size的值。
  • max_heap_table_size
    该变量设置MEMORY (HEAP)表可以增长到的最大空间大小。该变量用来计算MEMORY表的MAX_ROWS值。在已有的MEMORY表上设置该变量没有效果,除非用CREATE TABLE或TRUNCATE TABLE等语句重新创建表。
  • key_buffer_size
    MyISAM表的索引块分配了缓冲区,由所有线程共享。key_buffer_size是索引块缓冲区的大小。
  • innodb_buffer_pool_size
    InnoDB用来缓存它的数据和索引的内存缓冲区的大小。你把这个值设得越高,访问表中数据需要得磁盘I/O越少。在一个专用的数据库服务器上,你可以设置这个参数达机器物理内存大小的80%。尽管如此,还是不要把它设置得太大,因为对物理内存的竞争可能在操作系统上导致内存调度。
  • innodb_additional_mem_pool_size
    InnoDB用来存储数据目录信息&其它内部数据结构的内存池的大小。你应用程序里的表越多,你需要在这里分配越多的内存。如果InnoDB用光了这个池内的内存,InnoDB开始从操作系统分配内存,并且往MySQL错误日志写警告信息。默认值是1MB。
  • innodb_log_buffer_size
    InnoDB用来往磁盘上的日志文件写操作的缓冲区的大小。明智的值是从1MB到8MB。默认的是1MB。一个大的日志缓冲允许大型事务运行而不需要在事务提交之前往磁盘写日志。因此,如果你有大型事务,使日志缓冲区更大以节约磁盘I/O。

PVE更改虚拟机VMID

2013年06月25日 下午 38:27 | 作者:

usage:
chvmid.sh old_id new_id

#!/bin/bash

let old=$1
let new=$2

mv /var/lib/vz/images/$old/vm-$old-disk-1.raw /var/lib/vz/images/$old/vm-$new-disk-1.raw
mv /var/lib/vz/images/$old /var/lib/vz/images/$new

sed -i "s/$old\/vm\-$old/$new\/vm\-$new/g" /etc/pve/nodes/$HOSTNAME/qemu-server/$old.conf
mv /etc/pve/nodes/$HOSTNAME/qemu-server/$old.conf /etc/pve/nodes/$HOSTNAME/qemu-server/$new.conf

http://www.rgiapratama.net/2013/03/26/change-vmid-kvm-in-proxmox-2-3/

Dotdeb科大镜像,再也不用悲催的去国外下了

2013年06月18日 下午 23:31 | 作者:

Dotdeb镜像使用帮助
使用说明

1. 添加下面两行到/etc/apt/sources.list

deb http://packages.dotdeb.org squeeze all
deb-src http://packages.dotdeb.org squeeze all

2. (可选) 如果你想在Debian Squeeze上安装PHP5.4的话,再添加下面这两行:

deb http://mirrors.ustc.edu.cn/dotdeb/packages.dotdeb.org squeeze-php54 all
deb-src http://mirrors.ustc.edu.cn/dotdeb/packages.dotdeb.org squeeze-php54 all

3. 然后导入合适的GnuPG key

wget http://www.dotdeb.org/dotdeb.gpg
cat dotdeb.gpg | sudo apt-key add –

4. 运行
apt-get update

OpenKM安装

2013年05月29日 下午 06:01 | 作者:

# install software
apt-get install ttf-wqy-microhei
apt-get install libreoffice-core
apt-get install imagemagick

#download
http://sourceforge.net/projects/openkm/files/
#install to /opt/openkm-6.2.3-community/
./openkm-6.2.3-community-linux-x64-installer.run
# login
user = okmAdmin
pass = admin

# administration - Config
system.swftools.pdf2swf  = /opt/openkm-6.2.3-community/tomcat/bin/pdf2swf -T 9 -f ${fileIn} -o ${fileOut}
system.openoffice.path     = /usr/lib/libreoffice
system.imagemagick.convert = /usr/bin/convert

# start on boot
vi /etc/rc.local
/opt/openkm-6.2.3-community/tomcat/bin/startup.sh

# shutdown
/opt/openkm-6.2.3-community/tomcat/bin/shutdown.sh

#log
/opt/openkm-6.2.3-community/tomcat/logs/catalina.log

PHP实现crontab

2013年05月6日 下午 34:39 | 作者:

1. 准备一个标准crontab文件 ./crontab

# m h dom mon dow command
* * * * * date > /tmp/cron.date.run

2. crontab -e 将此cron.php脚本加入系统cron

* * * * * /usr/bin/php cron.php

3. cron.php 源码

// 从./crontab读取cron项,也可以从其他持久存储(mysql、redis)读取
$crontab = file('./crontab');
$now = $_SERVER['REQUEST_TIME'];

foreach ( $crontab as $cron ) {
	$slices = preg_split("/[\s]+/", $cron, 6);
	if( count($slices) !== 6 ) continue;
	
	$cmd       = array_pop($slices);
	$cron_time = implode(' ', $slices);
	$next_time = Crontab::parse($cron_time, $now);
	if ( $next_time !== $now ) continue;	

	$pid = pcntl_fork();
	if ($pid == -1) {
		die('could not fork');
	} else if ($pid) {
		// we are the parent
		pcntl_wait($status, WNOHANG); //Protect against Zombie children
	} else {
	     // we are the child
		`$cmd`;
		exit;
	}
}

/* https://github.com/jkonieczny/PHP-Crontab */
class Crontab {
   /**
	* Finds next execution time(stamp) parsin crontab syntax,
	* after given starting timestamp (or current time if ommited)
	*
	* @param string $_cron_string:
	*
	* 0 1 2 3 4
	* * * * * *
	* - - - - -
	* | | | | |
	* | | | | +----- day of week (0 - 6) (Sunday=0)
	* | | | +------- month (1 - 12)
	* | | +--------- day of month (1 - 31)
	* | +----------- hour (0 - 23)
	* +------------- min (0 - 59)
	* @param int $_after_timestamp timestamp [default=current timestamp]
	* @return int unix timestamp - next execution time will be greater
	* than given timestamp (defaults to the current timestamp)
	* @throws InvalidArgumentException
	*/
    public static function parse($_cron_string,$_after_timestamp=null)
    {
        if(!preg_match('/^((\*(\/[0-9]+)?)|[0-9\-\,\/]+)\s+((\*(\/[0-9]+)?)|[0-9\-\,\/]+)\s+((\*(\/[0-9]+)?)|[0-9\-\,\/]+)\s+((\*(\/[0-9]+)?)|[0-9\-\,\/]+)\s+((\*(\/[0-9]+)?)|[0-9\-\,\/]+)$/i',trim($_cron_string))){
            throw new InvalidArgumentException("Invalid cron string: ".$_cron_string);
        }
        if($_after_timestamp && !is_numeric($_after_timestamp)){
            throw new InvalidArgumentException("\$_after_timestamp must be a valid unix timestamp ($_after_timestamp given)");
        }
        $cron = preg_split("/[\s]+/i",trim($_cron_string));
        $start = empty($_after_timestamp)?time():$_after_timestamp;

        $date = array( 'minutes' =>self::_parseCronNumbers($cron[0],0,59),
                            'hours' =>self::_parseCronNumbers($cron[1],0,23),
                            'dom' =>self::_parseCronNumbers($cron[2],1,31),
                            'month' =>self::_parseCronNumbers($cron[3],1,12),
                            'dow' =>self::_parseCronNumbers($cron[4],0,6),
                        );
        // limited to time()+366 - no need to check more than 1year ahead
        for($i=0;$i<=60*60*24*366;$i+=60){
            if( in_array(intval(date('j',$start+$i)),$date['dom']) &&
                in_array(intval(date('n',$start+$i)),$date['month']) &&
                in_array(intval(date('w',$start+$i)),$date['dow']) &&
                in_array(intval(date('G',$start+$i)),$date['hours']) &&
                in_array(intval(date('i',$start+$i)),$date['minutes'])

                ){
                    return $start+$i;
            }
        }
        return null;
    }
	
    /**
	* get a single cron style notation and parse it into numeric value
	*
	* @param string $s cron string element
	* @param int $min minimum possible value
	* @param int $max maximum possible value
	* @return int parsed number
	*/
    protected static function _parseCronNumbers($s,$min,$max)
    {
        $result = array();

        $v = explode(',',$s);
        foreach($v as $vv){
            $vvv = explode('/',$vv);
            $step = empty($vvv[1])?1:$vvv[1];
            $vvvv = explode('-',$vvv[0]);
            $_min = count($vvvv)==2?$vvvv[0]:($vvv[0]=='*'?$min:$vvv[0]);
            $_max = count($vvvv)==2?$vvvv[1]:($vvv[0]=='*'?$max:$vvv[0]);

            for($i=$_min;$i<=$_max;$i+=$step){
                $result[$i]=intval($i);
            }
        }
        ksort($result);
        return $result;
    }
}

Go练习(A Tour of Go)答案

2013年05月3日 上午 36:33 | 作者:

Sqrt
用牛顿法实现开方函数。

package main

import (
    "fmt"
    "math"
)

func Sqrt(x float64) float64 {
    z := 1.0
    z_last := 1.0
    z_limit := 0.0000001
    for {
        z = (z+x/z)/2
        if math.Abs(z_last - z) < z_limit {
            break
        }
        z_last = z
    }
    return z
}

func main() {
    fmt.Println(Sqrt(5)==math.Sqrt(5))
}

Map
实现 `WordCount`。它应当返回一个含有 s 中每个 “词” 个数的 map。函数 wc.Test 针对这个函数执行一个测试用例,并打印成功或者失败。

package main

import (
    "code.google.com/p/go-tour/wc"
    "strings"
)

func WordCount(s string) map[string]int {
    m := make(map[string]int)
    words := strings.Fields(s)
    var word string
    
    for _,word = range(words) {
        m[word]++
    }
    
    return m
}

func main() {
    wc.Test(WordCount)
}

Fibonacci
实现一个 fibonacci 函数,返回一个函数(一个闭包)可以返回连续的斐波纳契数。

package main

import "fmt"

// 使用数组
func fibonacci() func() int {
    n := 0
    last := []int{1,1}
    return func () int {
        n++
        i := n%2
        if n > 2 {
            last[i] = last[0]+last[1]
        }
        
        return last[i]
    }
}
// 使用a/b两个变量
func fibonacci2() func() int {
    a, b := 0, 1
    return func () int {
        a = a+b
        b = a-b
        return a
    }
}

func main() {
    f := fibonacci()
    for i := 0; i < 10; i++ {
        fmt.Println(f())
    }
}

错误
从之前的练习中复制 Sqrt 函数,并修改使其返回 error 值。

package main

import (
    "fmt"
    "math"
)

type ErrNegativeSqrt float64

func (e ErrNegativeSqrt) Error() string {
	return fmt.Sprintf("cantnot Sqrt negative number: %v", float64(e))
}

func Sqrt(x float64) (float64, error) {
    if x < 0 {
        err := ErrNegativeSqrt(x)
        return 0, err
    }
    
    return math.Sqrt(x), nil
}

func main() {
    fmt.Println(Sqrt(2))
    fmt.Println(Sqrt(-2))
}

HTTP 处理
实现下面的类型,并在其上定义 ServeHTTP 方法。在 web 服务器中注册它们来处理指定的路径。

package main

import (
    "fmt"
    "net/http"
)

type Hello struct{}

type String string

type Struct struct {
    Greeting string
    Punct    string
    Who      string
}

func (s String) ServeHTTP(
    w http.ResponseWriter,
    r *http.Request) {
	response := fmt.Sprintf("%v", s)
    fmt.Fprint(w, response)
}

func (s Struct) ServeHTTP(
    w http.ResponseWriter,
    r *http.Request) {
	response := fmt.Sprintf("%v%v%v", s.Greeting,s.Punct,s.Who)
    fmt.Fprint(w, response)
}



func main() {
    http.Handle("/string", String("I'm a frayed knot."))
    http.Handle("/struct", &Struct{"Hello", ":", "Gophers!"})
    http.ListenAndServe("localhost:4000", nil)
}

SSH端口转发

2013年04月17日 下午 33:25 | 作者:

ssh-client和sshd-server之间支持双向数据转发

[*:*]<——redirect——[ssh-client]——–[sshd-server]——redirect——>[*:*]

  1. 本地转发 Local forwarded

    [src-host:port]—–>>—–[ssh-client:local-port]—–>>—–[sshd-server]—–>>—–[dst-host:port]

    在client打开一个监听端口,访问这个端口,经由sshd-server代理到指定地址(dst-host:port)

    ssh -L [bind_address:]local-port:dst-host:port [user@]hostname

  2. 远程转发 Remote forwarded

    [dst-host:port]—–<<—–[ssh-client]—–<<—–[sshd-server:remote-port]—–<<—–[src-host:port]

    在server打开一个监听端口,访问这个端口,经由ssh-client代理到指定地址(dst-host:port)

    ssh -R [bind_address:]remote-port:dst-host:port [user@]hostname

  3. 动态端口转发(本地)

    [src-host:port]——(socks4/5)—–>[ssh-client:local-port]—–>>—–[sshd-server]—–>>—–[dst-host*:port*]

    client作为socks代理服务器,打开一个监听端口,(使用SOCKS4/5协议)访问这个端口,经由server代理到任意地址(*:*)

    ssh -D [bind_address:]local-port [user@]hostname

默认只能监听本地环回地址(127.0.0.1),通过修改ssh_config/sshd_config,指定GatewayPorts = yes,可以监听所有地址(0.0.0.0)。

Loadrunner Generator for Linux

2012年12月25日 下午 58:47 | 作者:

Ubuntu 12.04 安装步骤

#添加loadrunner帐号
useradd -s /bin/bash -m loadrunner
passwd loadrunner
su loaddrunner

#设置环境变量
vim ~/.bashrc
#Mercury LoadRunner8.1
export M_LROOT=/opt/Mercury
export LD_LIBRARY_PATH=${M_LROOT}/bin
export PATH=${M_LROOT}/bin:$PATH
export DISPLAY=localhost:0.0

#上传安装包,解压
unzip LoadRunner8.1.zip
cd LoadRunner8.1
#安装脚本赋予可执行权限
chmod a+x install.sh
#执行安装
sudo ./install.sh -console

#如果执行rsh,需要创建一个可信host文件
touch .rhosts
#验证安装
verify_generator

#放开文件描述符限制
ulimit -n 10240
#启动load-generator
m_daemon_setup start

mysql_connect localhost和127.0.0.1的区别?

2012年12月12日 下午 52:38 | 作者:

connects.php

mysql_connect('127.0.0.1','root','zzzizzz1');
mysql_connect('localhost','root','zzzizzz1');

使用strace获取系统调用:

strace php connects.php 2>&1 | grep connect

#127.0.0.1 -> internet socket
connect(3, {sa_family=AF_INET, sin_port=htons(3306), sin_addr=inet_addr("127.0.0.1")}, 16) = -1 EINPROGRESS (Operation now in progress)
#localhost -> unix domain socket
connect(7, {sa_family=AF_FILE, path="/var/run/mysqld/mysqld.sock"}, 110) = 0

Socket原本是为网络通讯设计的,但后来在Socket的框架上发展出一种IPC机制,就是UNIX Domain Socket。
虽然网络socket也可用于同一台主机的进程间通讯(通过loopback地址127.0.0.1),但是UNIX Domain Socket用于IPC更有效率:
不需要经过网络协议栈,不需要打包拆包、计算校验和、维护序号和应答等,只是将应用层数据从一个进程拷贝到另一个进程。
这是因为,IPC机制本质上是可靠的通讯,而网络协议是为不可靠的通讯设计的。
UNIX Domain Socket也提供面向流和面向数据包两种API接口,类似于TCP和UDP,但是面向消息(UDP)的UNIX Domain Socket也是可靠的,消息既不会丢失也不会顺序错乱。

参考:
http://lists.freebsd.org/pipermail/freebsd-performance/2005-February/001143.html

nginx limit_req限速设置

2012年11月26日 上午 13:17 | 作者:

WIKI:

http://wiki.nginx.org/HttpLimitReqModule

漏桶原理(leaky bucket):

http://en.wikipedia.org/wiki/Leaky_bucket

实例:

#以用户二进制IP地址,定义三个漏桶,滴落速率1-3req/sec,桶空间1m,1M能保持大约16000个(IP)状态
limit_req_zone  $binary_remote_addr  zone=qps1:1m   rate=1r/s;
limit_req_zone  $binary_remote_addr  zone=qps2:1m   rate=2r/s;
limit_req_zone  $binary_remote_addr  zone=qps3:1m   rate=3r/s;

server {

#速率qps=1,峰值burst=5,延迟请求
#严格按照漏桶速率qps=1处理每秒请求
#在峰值burst=5以内的并发请求,会被挂起,延迟处理
#超出请求数限制则直接返回503
#客户端只要控制并发在峰值[burst]内,就不会触发limit_req_error_log
# 例1:发起一个并发请求=6,拒绝1个,处理1个,进入延迟队列4个:
#time    request    refuse    sucess    delay
#00:01        6        1        1            4
#00:02        0        0        1            3
#00:03        0        0        1            2
#00:04        0        0        1            1
#00:05        0        0        1            0
location /delay {
    limit_req   zone=qps1  burst=5;
}

#速率qps=1,峰值burst=5,不延迟请求
#加了nodelay之后,漏桶控制一段时长内的平均qps = 漏桶速率,允许瞬时的峰值qps > 漏桶qps
#所以峰值时的最高qps=(brust+qps-1)=5
#请求不会被delay,要么处理,要么直接返回503
#客户端需要控制qps每秒请求数,才不会触发limit_req_error_log
# 例2:每隔5秒发起一次达到峰值的并发请求,由于时间段内平均qps=1 所以仍然符合漏桶速率:
#time    request     refuse    sucess
#00:01         5         0          5
#00:05         5         0          5
#00:10         5         0          5
# 例3:连续每秒发起并发请求=5,由于时间段内平均qps>>1,超出的请求被拒绝:
#time    request     refuse     sucess
#00:01         5         0           5
#00:02         5         4           1
#00:03         5         4           1

location /nodelay {
    limit_req   zone=qps1  burst=5 nodelay;
}

}