ops

records of learning.

Python数据库连接池实例--PooledDB

不用连接池的MySQL连接方法 import MySQLdb conn= MySQLdb.connect(host='127.0.0.1',user='root',passwd='password',db='DB_test',port=3306) cur=conn.cursor() SQL="select * from table_test" cur.execute(SQL) r=cur.fetchall() cur.close() conn.close() 用连接池后的连接方法 import MySQLdb from DBUtils.PooledDB import PooledDB pool = PooledDB(MySQLdb,5,host='127.0.0.1',user='root',passwd='password',db='DB_test',port=3306) #5为连接池里的最少连接数 conn = pool.connection() #以后每次需要数据库连接就是用connection()函数获取连接就好了 cur=conn.cursor() SQL="select * from table_test" cur.execute(SQL) r=cur.fetchall() cur.close() conn.close() PooledDB的参数 mincached: 最少的空闲连接数,如果空闲连接数小于这个数,pool会创建一个新的连接 maxcached: 最大的空闲连接数,如果空闲连接数大于这个数,pool会关闭空闲连接 maxconnections: 最大的连接数, blocking: 当连接数达到最大的连接数时,在请求连接的时候,如果这个值是True,请求连接的程序会一直等待,直到当前连接数小于最大连接数,如果这个值是False,会报错, maxshared: 当连接数达到这个数,新请求的连接会分享已经分配出去的连接 连接池对性能的提升表现在 在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度 关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接 避免mysql连接数耗尽 DBUtils下载地址:https://pypi.python.org/pypi/DBUtils/

使用curl请求https时指定IP

一般使用curl请求自定义IP地址并且指定HOST的话可以这样。 curl -H 'Host: ops.m114.org' http://127.0.0.1 但是如果你需要请求的地址是HTTPS就不行了 $ curl -H 'Host: ops.m114.org' https://127.0.0.1/ curl: (51) Unable to communicate securely with peer: requested domain name does not match the server's certificate. 因为IP绝大多数情况下无法通过域名证书验证,还好curl中有--resolv参数可以让我们方便的指定域名的解析 # --resolv参数形式 --resolv host:port:address # 示例 curl --resolv ops.m114.org:443:127.0.0.1 https://ops.m114.org Ps: 小编经常使用的CentOS6的自带curl就不支持此参数,幸运的是CentOS7已经支持。

go如何编译出更小的执行文件?

前言 本地默认编译出的文件总与官方提供的二进制文件大很多,Google之后得知通过编译参数控制还能编译出更小的可执行文件。 加-ldflags参数 在程序编译的时候可以加上-ldflags "-s -w" 参数来优化编译程序, 其实通过去除部分连接和调试等信息来使得编译之后的执行程序更小,具体参数如下: -a 强制编译所有依赖包 -s 去掉符号表信息, panic时候的stack trace就没有任何文件名/行号信息了 -w 去掉DWARF调试信息,得到的程序就不能用gdb调试了 测试代码如下 package main import "fmt" func main() { fmt.Println("Hello, 世界") } 编译方式及文件大小对比结果如下 编译参数 大小 go build(默认) 1.6M go build -ldflags -s 1.6M go build -ldflags “-s -w” 1.1M go build -ldflags -w 1.1M 测试环境: go 1.

Golang之command line flag笔记

示例代码,仅供参考 package main import ( "fmt" "flag" ) func main() { // golang的flag包的一些基本使用方法 // 待使用的变量 var id int var name string var male bool // 是否已经解析 fmt.Println("parsed? = ", flag.Parsed()) // 设置flag参数 (变量指针,参数名,默认值,帮助信息) // 也可以用以下带返回值的方法代替,不过他们返回的是指针,比较麻烦点 // Int(name string, value int, usage string) *int // String(name string, value string, usage string) *string // Bool(name string, value bool, usage string) *bool flag.IntVar(&id, "id", 123, "help msg for id") flag.StringVar(&name, "name", "default name", "help msg for name") flag.

analysing java core dump

In this post, I will show you how you can debug a Java core file to see what caused your JVM to crash. I will be using a core file I generated in my previous post: Generating a Java Core Dump. There are different ways you can diagnose a JVM crash, listed below: The hs_err_pid log file When a fatal error occurs in the JVM, it produces an error log file called hs_err_pidXXXX.

Error: 500 OOPS: priv_sock_get_cmd [SOLVED]

Troubleshooting seccomp filter sanboxing with vsftpd 3.0.x The following error may occur on ftp clients with vsftpd 3.0.x: 500 OOPS: priv_sock_get_cmd This is caused by seccomp filter sanboxing, which is enabled by default on amd64. To workaround this issue, disable seccomp filter sanboxing: echo 'seccomp_sandbox=NO' >> vsftpd.conf service vsftpd restart For further information, refer to Red Hat bug #845980.

Python版本号比较

第一种比较方法(StrictVersion) StrictVersion是由.将一串带有预发布标签的数字分隔为两个或三个部分的格式,预发布标签的字母只能是a或者b加数字版本号,而且只能在最末尾。预发布a版本低于b版本,并且预发布版本永远小于正式发布版本。 合法格式: 0.4 0.4.0 (相同版本) 0.4.1 0.5a1 (预发布版本a1,小于0.5,即0.5版本更新) 0.5b3 0.5 0.9.6 1.0 1.0.4a3 1.0.4b1 1.0.4 非法格式: 1 没有.分隔,需要分隔为2-3部分 2.7.2.2 被分隔成了4个部分 1.3.a4 预发布版本号应该在数字后面 1.3pl1 预发布版本号字母标签只能是a或者b 1.3B1 预发布版本号字母标签只能是a或者b 1.3c 预发布版本号字母标签后必须加数字版本号 版本比较 In [1]: from distutils.version import StrictVersion In [2]: StrictVersion('1.2a3') < StrictVersion('1.2b1') Out[2]: True In [3]: StrictVersion('1.2b1') < StrictVersion('1.2') Out[3]: True In [4]: StrictVersion('1.2') < StrictVersion('1.2.1') Out[4]: True In [5]: StrictVersion('1.2') == StrictVersion('1.2.0') Out[5]: True In [6]: StrictVersion('1.2.11') < StrictVersion('1.

golang sync.WaitGroup解决goroutine同步

go提供了sync包和channel来解决协程同步和通讯。新手对channel通道操作起来更容易产生死锁,如果时缓冲的channel还要考虑channel放入和取出数据的速率问题。 从字面就可以理解,sync.WaitGroup是等待一组协程结束。它实现了一个类似任务队列的结构,你可以向队列中加入任务,任务完成后就把任务从队列中移除,如果队列中的任务没有全部完成,队列就会触发阻塞以阻止程序继续运行。 sync.WaitGroup只有3个方法,Add(),Done(),Wait()。 其中Done()是Add(-1)的别名。简单的来说,使用Add()添加计数,Done()减掉一个计数,计数不为0, 阻塞Wait()的运行。 简单示例如下: package main import ( "fmt" "sync" ) var waitgroup sync.WaitGroup func test(shownum int) { fmt.Println(shownum) waitgroup.Done() //任务完成,将任务队列中的任务数量-1,其实.Done就是.Add(-1) } func main() { for i := 0; i < 10; i++ { waitgroup.Add(1) //每创建一个goroutine,就把任务队列中任务的数量+1 go test(i) } waitgroup.Wait() //.Wait()这里会发生阻塞,直到队列中所有的任务结束就会解除阻塞 fmt.Println("done!") } Ps: 此文为学习记录,如有错误还请多指教。

Tomcat 7.0.76 Invalid character found in the request target

故障现象 升级tomcat至7.0.76后,GET请求的参数中含有中文时tomcat返回400错误,tomcat错误日志如下 java.lang.IllegalArgumentException: Invalid character found in the request target. The valid characters are defined in RFC 7230 and RFC 3986 at org.apache.coyote.http11.InternalNioInputBuffer.parseRequestLine(InternalNioInputBuffer.java:317) at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1000) at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:637) at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1756) at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.run(NioEndpoint.java:1715) at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908) at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61) at java.lang.Thread.run(Thread.java:662) 原因 查询Changelog得知,tomcat 7.0.73版本添加了Add additional checks for valid characters to the HTTP request line parsing so invalid request lines are rejected sooner导致。 解决方法 请求前自行转义 更换tomcat为较低版本(不过tomcat的这次更改是依据RFC7230 and RFC 3986,在往后的版本,不会移除该特性)

不重启解决Too Many Connections

当发生Too many connections时,即使是DBA也无法登录到数据库,一般的做法是修改配置文件的max_connections参数,然后重启数据库,这样业务就有几秒钟的中断,对于线上不能中断的数据库就只能采用另外一种极客的方法了,用gdb直接修改mysqld内存中max_connections的值,具体做法如下: gdb -p $(cat /data/mysql/mysql-server.pid) -ex "set max_connections=3000" -batch 改进方法如下 通常有两个参数控制控制最大连接数: max_connections:该实例允许最大的连接数 max_user_connections:该实例允许每个用户的最大连接数 每个人要根据自己业务量,设置合适的值,不要盲目设置过大,但也不可设置过小,因为MySQL在连接数上升的情况下性能下降非常厉害,如果需要大量连接,这时可以引入thread_pool,所以我们需要保持一个原则:系统创建的用户(给应用使用用户)数 * max_user_connections < max_connections。