InnoDB row_id边界溢出验证

背景          跟同学聊到row_id一个边界问题,这里详细说明下。          InnoDB表若没有定义主键,会使用系统的一个默认递增row_id (dict_sys->row_id)...

MySQL5.5加主键锁读问题

背景      有同学讨论到MySQL 5.5下给大表加主键时会锁住读的问题,怀疑与fast index creation有关,这里简单说明下。 对照现象          为了说明这个问题的原因,有兴趣的同学可...

MySQL事务隔离级别详解

SQL标准定义了4类隔离级别,包括了一些具体规则,用来限定事务内外的哪些改变是可见的,哪些是不可见的。低级别的隔离级一般支持更高的并发处理,并拥有更低的系统开销。 Read Uncommitted(读取未提交内容)        在该隔...

innodb_flush_method理解

innodb_flush_method这个参数控制着innodb数据文件及redo log的打开、刷写模式,对于这个参数,文档上是这样描述的: 有三个值:fdatasync(默认),O_DSYNC,O_DIRECT 默认是fdatasync,调用fsync()去刷数据文件与redo log的buffer 为O_DSYNC时,innodb会使...

mysql slow sql date_format tunning

今天中午,突然某台数据库报警,经过排除,发现了有SQL堵塞现象。其中有一条类似如下SQL查询时间很长: SELECT count(id) as count FROM ycm_msg_success_log where source_code=’200004′ and channel_code=’100001′ and dat...

Mysql中文字符与数值distinct查询效率测试

早想测试中文字符和数值在distinct情况下的时间效率,今天刚好有个机会,做个测试玩玩。。。 1,report_kpid_pos_fct_filter_1323_index与report_kpid_pos_fct_filter_1323_noindex数据完全相同; 2,category3_name,category3_skid一对一关系 3,report_kp...

MySQL Dump Archive  bug

今天在在用mysqldump迁移一个archive引擎表的时候报一个错误ERROR 1022,提示表里主键冲突。 但是这个表是Drop掉后新建的表,表里没有任何数据。原因是mysqldump出来的时候建表语句里面有AUTO_INCREMENT=26553927的信息。 这个是mysql archive的一个bug,当...

MySQL InnoDB的幻读

(以下参考MySQL 5.0) MySQL InnoDB事务的隔离级别有四级,默认是“可重复读”(REPEATABLE READ)。 1)未提交读(READ UNCOMMITTED)。另一个事务修改了数据,但尚未提交,而本事务中的SELECT会读到这些未被提交的数据(脏读)。 2)提交读(READ COMMITTED...

MySQL优化器使用索引合并bug一例

今天公司开发人员反应,评论库里面有张表查询的时候需要在END_USER_ID字段加trim函数才能出结果,否则查不出记录,刚开始怀疑和END_USER_ID字段类型有关。但是测试后发现是Mysql内部优化器的问题,这个表里END_USER_ID和SO_ID字段上分别有独立索引,mysql...

MYSQL查看存储过程的权限问题

朋友问我他给一个数据库加了所有权限,但是他还是看不到其他用户在这个库里的存储过程。后面看了官方手册,里面讲到MySQL的存储过程和函数的定义是存放在mysql.proc表里面,如果没有mysql.proc的查询权限,那么是看不到别人创建的存储过程和函数。  ...

xtrabackup备份方式搭建一个mysql slave

以前mysql搭建新备库都是在现在业务较小的备库上停止同步或停止数据库,然后拷贝数据库到新备库,配置好新备库后,再开启同步或数据库。然而,这次没有空闲备库用来搭新备库。需要从一个业务繁忙的数据库中搭建一个新备库,对系统延时要求比较高,所以同...

弱人脉:也许因为你还不够强,因为你的世界还不够大

很多人都知道人脉管理的重要性,所以花很多时间在人脉管理上,热衷于参加各种活动,认识各种人,扩大自己的圈子,但是,不一定有好的收效。 人脉管理,在知识管理中,属于know-who,人际的知识。 用在人脉管理上,这首先包括两层含义:1、你是谁。2、当你...

MyAdmin MySQL管理小工具

GitHub:https://github.com/ruzuojun/myadmin 开源中国:http://www.oschina.net/p/myadmin 备注:MyAdmin管理小工具会不定期更新,请大家留意本站信息,及时下载最新文件更新。 (脚本编写日期2013年10月12日; 最新更新日期(2014年4月10日) myadmin是什么...

Percona Toolkit 安装使用

percona-toolkit是percona开发的一套监控和管理mysql的高级工具包,是开源软件。里面包含一系列脚本,主要包括查看和收集服务器,数据库信息,分析慢查询日志,检测mysql同步状态,检测mysql死锁,查询mysql授权,检测mysql同步数据是否一致等等。下面整理...

Mongodb Replica Sets HA and sharding

  下图为架构图,点击可看大图 配置部署流程: 服务器信息,一共四台服务器,Linux 64位服务器: 10.0.3.2   10.0.3.3   10.0.3.4  10.0.2.68 服务器应用和端口分配: ——————————...

MySQL NFS自动备份脚本

该脚本实现了MySQL的在线备份,一般是部署在业务最少或者没有业务的从库上面,备份的思路是将从库同步停止后直接将MySQL整个目录拷贝到NFS存储上面。适合数据库容量较大的备份,比如1T以上数据,小容量的数据直接用mysqldump就搞定了。 该备份脚本的简单流...

Hive DDL & DML Operations

DDL Operations Creating Hive Tables hive> CREATE TABLE pokes (foo INT, bar STRING); creates a table called pokes with two columns, the first being an integer and the other a string. hive> CREATE TABLE invites (foo INT, bar STRING)...

Hive理论基础和安装配置

HIVE体系结构简介: hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开...

Linux下安装配置hadoop集群

上次我们搭建了单节点的hadoop(参见 http://www.niceru.com/topic/529.html)这次我们搭建一个由3台服务器(Centos 64位)组成的hadoop小集群。 在安装Hadoop之前,先介绍一下Hadoop对各节点的角色定义,Hadoop从三个角度将主机划分为两种角色。 第...

MongoDB Connector for Hadoop

The MongoDB engineering team has recently made a series of significant updates to the MongoDB Connector for Hadoop. This makes it easier for Hadoop users to integrate real-time data from MongoDB – the most popular database for big d...

Top