avatar
文章
106
标签
101
分类
5
首页
归档
是我
友链
Logo星空
搜索
首页
归档
是我
友链

星空

MYSQL千万级数据量的优化方法积累
发表于2018-10-14|技术手册
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id from t where num=0 3.应尽量避免在 where 子句中使用!=或<>操作符,否则引擎将放弃使用索引而进行全表扫描。 4.应尽量避免在 where 子句中使用or 来连接条件,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num=10 or num=20可以这样查询:select id from t where num=10 union all select id from t where num=20 5.in 和 not in 也要慎用,否则会导致全表扫描,如:...
mysql中间件-Mycat
发表于2018-10-14|技术手册
前言 因业务需要,给mysql做了主备,然后准备使用数据库中间件来进行读写分离和分片。 学习过程学习过程中使用了三台服务器,一主两备,此处只用一主一备参与中间件的试用。 集群组成如下: 角色 主机名 主机IP master liunian1 192.168.1.1 slave liunian2 192.168.1.2 slave liunian3 192.168.1.3 先配置mycat配置文件schema.xml 123456789101112131415161718<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schema xmlns:mycat="http://io.mycat/"> <...
Mybatis中SQL的语句总结
发表于2018-10-14|JAVA
建表 查询 简单查询 注意:如果这里不指定parameterType,则默认会识别处理;如果指定了类型,则传入的值就需要和当前指定的类型保持一致,不然就会出现数据类型转换异常。 简单分页查询 left join app_info表和app_verion表分别存储的是应用信息和应用版本信息。现在要根据appId和versionId查出一个应用的具体信息【包括信息信息和版本信息】 批量查询 更新 简单更新 批量更新 有这样一个需求,把 app_info表中id 为1,2,3的app的app_name改为appName1,appName2,appName3;使用 case ..when ..then 这样的语法结构来完成: case 是当前的条件,when表示条件值,then后面是当前目前更新字段的值; 1下面的说明:当前id=#{item.appId}时,app_name=#{item.appName} 还有这样的需要: 根据应用类型的不同,更新不同的运行环境配置; trim属性说...
mysql中间件-Atlas初步试用
发表于2018-10-12|技术手册
前言 Atlas是360开源的mysql数据库中间件,主要致力于读写分离,分片等操作,降低数据库与后端耦合性。 踩坑过程下载地址 https://github.com/Qihoo360/Atlas/releases 下载rpm 版本 直接 rpm -i 文件.rpm进行安装即可 安装好之后文件在/usr/local/mysql-proxy文件夹中 配置conf/test.cnf 如下所示: 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667[mysql-proxy]#带#号的为非必需的配置项目#模块名称plugins = admin, proxy#管理接口的用户名admin-username = root#管理接口的密码admin-password = password#实现管理接口的Lua脚本所在路径admin-lua-script = ...
centos7安装MYSQL及主从同步设置
发表于2018-10-12|技术手册
1. 下载mysql wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz 2. 解压mysqltar -zxvf mysql mysql-5.7.23-linux-glibc2.12-i686.tar.gz 3. 将mysql安装文件移动到系统目录文件夹cp -r mysql/* /usr/local/mysql 4. 安装mysql`bin/mysqld –initialize –user=mysql –basedir=/usr/local/mysql –datadir=/usr/local/mysql/data –lc_messages_dir=/usr/local/mysql/share –lc_messages=en_US`` - 遇到问题bi...
nginx负载均衡策略
发表于2018-10-12|技术手册
简介nginx负载均衡策略相对来说比较方便配置。 策略有以下几种: 1)、轮询(默认)   每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。 12345678910111213141516upstream test { server 10.0.1.31:8080; server 10.0.1.32:8080;} server{ listen 80; server_name www.xxxx.com; location / { proxy_pass http://test; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; ...
mysql-slave踩坑日记
发表于2018-10-12|技术手册
晚上闲来无事,想找点事做 于是手动删除了一些无用的数据库,手贱的是在从库里面删除了 然后,在主库里面也进行该数据库删除,发现未手动删除的从库正常执行了binlog日志中的sql语句 一段时间后,问题出现了自己手动在主库里插入一条语句,发现两个备库只有一个备库更新了最新的数据,手动删除数据库的那个从库并未更新语句 接下来,查询从库mysql日志 发现 122018-08-19T19:27:04.704407+08:00 6 [ERROR] Slave SQL for channel '': Error 'Can't drop database 'jeewx-h5'; database doesn't exist' on query. Default database: 'jeewx-h5'. Query: 'DROP DATABASE `jeewx-h5`', Error_code: 10082018-08-19T19:27:04.704429+08:00 6 ...
kafka使用规范
发表于2018-10-12|研发规范
客户端: 根据具体消息业务需要,调整配置以下参数: 1.是否启用压缩方式compressionCodec 2.消息确认方式:request.required.acks 3.消息发送类型,同步异步:producer.type 4.异步模式下缓冲的最大消息数(queue.buffering.max.messages) 5.异步模式下,每次发送的消息数(batch.num.messages) 6.消费者socket接收缓存空间大小(socket.receive.buffer.bytes) 7.消费者从每个分区fetch的消息大小(fetch.message.max.bytes) 8.消费者配置rebalance.max.retries * rebalance.backoff.ms > zookeeper.session.timeout.ms 9.消费者消费起始位置配置:auto.offset.reset 10.消费者group.id 服务端:1.调整服务器最大打开文件数限制:ulimit 2.Kafka建议开启JMX监控端口 3.broker配置: kafka server.p...
RabbitMQ使用规范
发表于2018-10-12|研发规范
命名规范 #命名规范:容器名称.[队列特点or路由特点].使用的平台名称.作用 #@容器名称:queue、exchange #@队列特点:非持久化标记(undurable)、延时队列(delay)、优先级队列(priority) #@路由特点:direct、topic、fanout、headers #@使用的平台名称:xiangshang、xiangqian…… #@作用:干什么的 #eg:消息队列(queue.xiangshang.message)、延时消息队列(queue.delay.xiangshang.message)、普通路由(exchange.direct.xiangshang.common)、通用路由(exchange.direct.xiangshang.common)
MongoDB研发规范
发表于2018-10-12|研发规范
库设计l mongodb数据库命名规范:db_xxxx禁止使用任何 “ _ “(下划线)外的特殊字符 l 库名全部小写,禁止使用任何_以外的特殊字符,禁止使用数字打头的库名,如:123_abc l 库以文件夹的形式存在,使用特殊字符或其它不规范的命名方式会导致命名混乱数据库名最多为64字符 l 在创建新的库前应尽量评估该库的体积、QPS等 l 不能为空字符串(” “) l 不能以$开头 l 不能包含.(点号)和空字符串 l 数据库名区分大小写(建议数据库名全部使用小写) l 数据库名最长为64个字节 l 不要与系统保留的数据库名相同,这写数据库包括:admin,local,config等 集合设计l mongodb集合命名规范:t_xxxx l 集合名全部小写,禁止使用任何_以外的特殊字符,禁止使用数字打头的集合名,如:123_abc,禁止system打头 l system是系统集合前缀集合名称最多为64字符为了避免库级锁带来的问题,应尽量对写入较大的集合使用“单库单集合”的结构,所以对于新增业务应尽量创建新库,而不是在现有库中创建新集合 l 一个库中写入较大的集合会影响其它...
1…91011
avatar
Jack
星空
文章
106
标签
101
分类
5
公告
冬天来了,春天还会远吗!
最新文章
OAuth 2.0:我帮你开门,但不给你钥匙2026-06-09
我有五台服务器,运维体系是怎么搭起来的2026-05-20
登录方式的演进(二):JWT,带着身份证去办事2026-03-20
session与cookie这对好兄弟2026-01-15
跨年小记:博客未停,2026 再续征程2025-12-31
分类
  • JAVA19
  • 技术手册79
    • 技术手册1
  • 日常生活2
  • 研发规范6
标签
redis 微服务 pg_dump Docker vim mongodb GITHUB-ACTION ftp 12306 linux GIT SHELL session atlas tencent pages CENTOS 云服务器 safeline prometheus mysqldump elasticsearch GITHUB github-action ssl clash scp DOCKER kafka clickHouse AI tencent-cdn standard-notes 星火大模型 抢占式实例 MYSQL Golang kubesphere CODEUP markdown grafana
网站信息
文章数目 :
106
运行时间 :
本站访客数 :
本站总浏览量 :
最后更新时间 :
© 2017 - 2026 By Jack
皖ICP备-17017700号京公网安备11011202001448号 
搜索
数据加载中