innodb优化后,29小时入库1300万条数据
做广告弹窗推广,记录来源ip,url。推广征战四方游戏时,我是没有记录弹窗数的,当时预计是36时1000万IP,机子是8000多块的组装机,我怕mysql撑不起来。这次决定记录一下试试,如果mysql真的撑不起来的话,就用脚本切换成静态的。
一,网络监控图
从上图可以看出,数据大部分都是在白天录入的。
二,数据库数据列表
数据库从推广开始到结束,一直在运行当中,一次没有down机。
mysql> select count(*) as at from at; +---------+ | at | +---------+ | 1129964 | +---------+ 1 row in set (0.67 sec) mysql> select count(*) as gb from gb; +---------+ | gb | +---------+ | 1629177 | +---------+ 1 row in set (0.32 sec) mysql> select count(*) as jr from jr; +---------+ | jr | +---------+ | 1820653 | +---------+ 1 row in set (1.01 sec) mysql> select count(*) as lg from lg; +--------+ | lg | +--------+ | 592303 | +--------+ 1 row in set (0.32 sec) mysql> select count(*) as qd from qd; +---------+ | qd | +---------+ | 1249279 | +---------+ 1 row in set (0.69 sec) mysql> select count(*) as xt from xt; +---------+ | xt | +---------+ | 2229205 | +---------+ 1 row in set (1.23 sec) mysql> select count(*) as zs from zs; +---------+ | zs | +---------+ | 3992709 | +---------+ 1 row in set (2.39 sec) //这里是数据表对应的文件, [root@localhost tg]# du -ah 9.1M ./sd.ibd 85M ./qd.ibd 4.0K ./db.opt 12K ./bd.frm 12K ./zs.frm 12K ./jr.frm 365M ./zs.ibd 45M ./lg.ibd 129M ./jr.ibd 145M ./xt.ibd 81M ./at.ibd 113M ./gb.ibd 12K ./sd.frm 12K ./xt.frm 12K ./gb.frm 12K ./at.frm 12K ./qd.frm 96K ./bd.ibd 12K ./lg.frm 966M .
三,innodb的主要优化
init_connect='SET autocommit=0' //关闭自动提交,这个对于innodb来说,很重要 innodb-file-per-table=1 //使用独立表空间 innodb-open-file=500 //打开最大文件数据是500,默认是300 innodb_log_file_size=512M //log文件大小 innodb_log_buffer_size=8M //缓冲日志数据的缓冲区的大小 innodb_flush_log_at_trx_commit=0 //提交数据等级0是最快,但是有可能会丢数据 innodb_buffer_pool_size=5G //缓冲池大小,我把它设置内在的65% innodb_log_files_in_group=3 //日志文件总数 innodb_file_io_threads=8 //根cpu核数是一样,读写文件进程数 event_scheduler=1 //开启动mysql event //添加一个mysql event CREATE EVENT `commit_event` ON SCHEDULE EVERY 5 MINUTE STARTS '2012-01-04 19:06:26' ON COMPLETION NOT PRESERVE ENABLE DO COMMit
1,自动提交对innodb的影响非常大的,这个我做过测试,请参考,mysql autocommit对myisam,innodb的性能影响.
2,innodb_flush_log_at_trx_commit我把它设置成0,我只要求速度最快,最是统计推广的弹窗,这些数据只是为了我们后期统计和分析用的,没有太大的价值。如果数据很重要就不要设置成0了。
0代表日志只大约每秒写入日志文件并且日志文件刷新到磁盘.
1InnoDB会在每次提交后刷新(fsync)事务日志到磁盘上
2代表日志写入日志文件在每次提交后,但是日志文件只有大约每秒才会刷新到磁盘上.
3,还有一点就是我用了mysql event功能,根linux的crontab差不多,以前没在生产环境中用过mysql event,这次试了一下,还是挺给力的。关于mysql event请参考,mysql event 是什么,有什么用.