(二)日志规约
1.【强制】应用中不可直接使用日志系统(Log4j、Logback)中的API,而应依赖使用日志框架
SLF4J中的API,使用门面模式的日志框架,有利于维护和各个类的日志处理方式统一。
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
private static final Logger logger = LoggerFactory.getLogger(Abc.class);
2.【强制】日志文件推荐至少保存15天,因为有些异常具备以“周”为频次发生的特点。
3.【强制】应用中的扩展日志(如打点、临时监控、访问日志等)命名方式:
appName_logType_logName.log。logType:日志类型,推荐分类有
stats/desc/monitor/visit等;logName:日志描述。这种命名的好处:通过文件名就可知
道日志文件属于什么应用,什么类型,什么目的,也有利于归类查找。
正例:mppserver应用中单独监控时区转换异常,如:
mppserver_monitor_timeZoneConvert.log
说明:推荐对日志进行分类,错误日志和业务日志尽量分开存放,便于开发人员查看,也便于
通过日志对系统进行及时监控。
阿里巴巴Java开发手册
——禁止用于商业用途,违者必究——21/34
4.【强制】对trace/debug/info级别的日志输出,必须使用条件输出形式或者使用占位符的方
式。
说明:logger.debug("Processing trade with id: " +id+ "symbol: " +symbol);
如果日志级别是warn,上述日志不会打印,但是会执行字符串拼接操作,如果symbol是对象,
会执行toString()方法,浪费了系统资源,执行了上述操作,最终日志却没有打印。
正例:(条件)
if (logger.isDebugEnabled()) {
logger.debug("Processing trade with id: " + id + " symbol: " + symbol);
}
正例:(占位符)
logger.debug("Processing trade with id: {} symbol : {} ", id, symbol);
5.【强制】避免重复打印日志,浪费磁盘空间,务必在log4j.xml中设置additivity=false。
正例:
6.【强制】异常信息应该包括两类信息:案发现场信息和异常堆栈信息。如果不处理,那么往上
抛。
正例:logger.error(各类参数或者对象toString + "_" + e.getMessage(), e);
7.【推荐】可以使用warn日志级别来记录用户输入参数错误的情况,避免用户投诉时,无所适
从。注意日志输出的级别,error级别只记录系统逻辑出错、异常等重要的错误信息。如非必
要,请不要在此场景打出error级别。
8.【推荐】谨慎地记录日志。生产环境禁止输出debug日志;有选择地输出info日志;如果使
用warn来记录刚上线时的业务行为信息,一定要注意日志输出量的问题,避免把服务器磁盘
撑爆,并记得及时删除这些观察日志。
说明:大量地输出无效日志,不利于系统性能提升,也不利于快速定位错误点。 记录日志时请
思考:这些日志真的有人看吗?看到这条日志你能做什么?能不能给问题排查带来好处?
阿里巴巴Java开发手册
——禁止用于商业用途,违者必究——22/34
三、MySQL规约
(一)建表规约
1.【强制】表达是与否概念的字段,必须使用is_xxx的方式命名,数据类型是unsigned tinyint
(1表示是,0表示否),此规则同样适用于odps建表。
说明:任何字段如果为非负数,必须是unsigned。
2.【强制】表名、字段名必须使用小写字母或数字;禁止出现数字开头,禁止两个下划线中间只
出现数字。数据库字段名的修改代价很大,因为无法进行预发布,所以字段名称需要慎重考虑。
正例:getter_admin,task_config,level3_name
反例:GetterAdmin,taskConfig,level_3_name
3.【强制】表名不使用复数名词。
说明:表名应该仅仅表示表里面的实体内容,不应该表示实体数量,对应于DO类名也是单数
形式,符合表达习惯。
4.【强制】禁用保留字,如desc、range、match、delayed等, 请参考MySQL官方保留字。
5.【强制】唯一索引名为uk_字段名;普通索引名则为idx_字段名。
说明:uk_即unique key;idx_即index的简称。
6.【强制】小数类型为decimal,禁止使用float和double。
说明:float和double在存储的时候,存在精度损失的问题,很可能在值的比较时,得到不
正确的结果。如果存储的数据范围超过decimal的范围,建议将数据拆成整数和小数分开存储。
7.【强制】如果存储的字符串长度几乎相等,使用char定长字符串类型。
8.【强制】varchar是可变长字符串,不预先分配存储空间,长度不要超过5000,如果存储长
度大于此值,定义字段类型为text,独立出来一张表,用主键来对应,避免影响其它字段索
引效率。
9.【强制】表必备三字段:id,gmt_create,gmt_modified。
说明:其中id必为主键,类型为unsigned bigint、单表时自增、步长为1。gmt_create,
gmt_modified的类型均为date_time类型。
10.【推荐】表的命名最好是加上“业务名称_表的作用”。
正例:tiger_task/tiger_reader/mpp_config
11.【推荐】库名与应用名称尽量一致。
12.【推荐】如果修改字段含义或对字段表示的状态追加时,需要及时更新字段注释。
阿里巴巴Java开发手册
——禁止用于商业用途,违者必究——23/34
13.【推荐】字段允许适当冗余,以提高性能,但是必须考虑数据同步的情况。冗余字段应遵循:
1)不是频繁修改的字段。
2)不是varchar超长字段,更不能是text字段。
正例:商品类目名称使用频率高, 字段长度短,名称基本一成不变, 可在相关联的表中冗余存
储类目名称,避免关联查询。
14.【推荐】单表行数超过500万行或者单表容量超过2GB,才推荐进行分库分表。
说明:如果预计三年后的数据量根本达不到这个级别,请不要在创建表时就分库分表。
15.【参考】合适的字符存储长度,不但节约数据库表空间、节约索引存储,更重要的是提升检
索速度。
正例:人的年龄用unsigned tinyint(表示范围0-255,人的寿命不会超过255岁);海龟
就必须是smallint,但如果是太阳的年龄,就必须是int;如果是所有恒星的年龄都加起来,
那么就必须使用bigint。
(二)索引规约
1.【强制】业务上具有唯一特性的字段,即使是组合字段,也必须建成唯一索引。
说明:不要以为唯一索引影响了insert速度,这个速度损耗可以忽略,但提高查找速度是明
显的;另外,即使在应用层做了非常完善的校验和控制,只要没有唯一索引,根据墨菲定律,
必然有脏数据产生。
2.【强制】 超过三个表禁止join。需要join的字段,数据类型保持绝对一致;多表关联查询
时,保证被关联的字段需要有索引。
说明:即使双表join也要注意表索引、SQL性能。
3.【强制】在varchar字段上建立索引时,必须指定索引长度,没必要对全字段建立索引,根据
实际文本区分度决定索引长度。
说明:索引的长度与区分度是一对矛盾体,一般对字符串类型数据,长度为20的索引,区分
度会高达90%以上,可以使用count(distinct left(列名,索引长度))/count(*)的区分度
来确定。
4.【强制】页面搜索严禁左模糊或者全模糊,如果需要请走搜索引擎来解决。
说明:索引文件具有B-Tree的最左前缀匹配特性,如果左边的值未确定,那么无法使用此索
引。
5.【 推荐】如果有order by的场景,请注意利用索引的有序性。order by最后的字段是组合
索引的一部分,并且放在索引组合顺序的最后,避免出现file_sort的情况,影响查询性能。
正例:where a=?and b=?order by c;索引:a_b_c
反例:索引中有范围查找,那么索引有序性无法利用,如:WHERE a>10ORDER BY b;索引
a_b无法排序。
阿里巴巴Java开发手册
——禁止用于商业用途,违者必究——24/34
6.【推荐】利用覆盖索引来进行查询操作,来避免回表操作。
说明:如果一本书需要知道第11章是什么标题,会翻开第11章对应的那一页吗?目录浏览
一下就好,这个目录就是起到覆盖索引的作用。
正例:能够建立索引的种类:主键索引、唯一索引、普通索引,而覆盖索引是一种查询的一种
效果,用explain的结果,extra列会出现:using index。
7.【推荐】利用延迟关联或者子查询优化超多分页场景。
说明:MySQL并不是跳过offset行,而是取offset+N行,然后返回放弃前offset行,返回
N行,那当offset特别大的时候,效率就非常的低下,要么控制返回的总页数,要么对超过
特定阈值的页数进行SQL改写。
正例:先快速定位需要获取的id段,然后再关联:
SELECT a.* FROM表1 a, (select id from表1 where条件LIMIT 100000,20 ) b where a.id=b.id
8.【推荐】SQL性能优化的目标:至少要达到range级别, 要求是ref级别, 如果可以是consts
最好。
说明:
1)consts单表中最多只有一个匹配行(主键或者唯一索引),在优化阶段即可读取到数据。
2)ref指的是使用普通的索引(normal index)。
3)range对索引进行范围检索。
反例:explain表的结果,type=index,索引物理文件全扫描,速度非常慢,这个index级
别比较range还低,与全表扫描是小巫见大巫。
9.【推荐】建组合索引的时候,区分度最高的在最左边。
正例:如果where a=?and b=?,a列的几乎接近于唯一值,那么只需要单建idx_a索引即
可。
说明:存在非等号和等号混合判断条件时,在建索引时,请把等号条件的列前置。如:where a>?
and b=?那么即使a的区分度更高,也必须把b放在索引的最前列。
10.【参考】创建索引时避免有如下极端误解:
1)误认为一个查询就需要建一个索引。
2)误认为索引会消耗空间、严重拖慢更新和新增速度。
3)误认为唯一索引一律需要在应用层通过“先查后插”方式解决。
阿里巴巴Java开发手册
——禁止用于商业用途,违者必究——25/34
(三)SQL规约
1.【强制】不要使用count(列名)或count(常量)来替代count(*),count(*)就是SQL92定义
的标准统计行数的语法,跟数据库无关,跟NULL和非NULL无关。
说明:count(*)会统计值为NULL的行,而count(列名)不会统计此列为NULL值的行。
2.【强制】count(distinct col)计算该列除NULL之外的不重复数量。注意count(distinct
col1,col2)如果其中一列全为NULL,那么即使另一列有不同的值,也返回为0。
3.【强制】当某一列的值全是NULL时,count(col)的返回结果为0,但sum(col)的返回结果为
NULL,因此使用sum()时需注意NPE问题。
正例:可以使用如下方式来避免sum的NPE问题:SELECT IF(ISNULL(SUM(g)),0,SUM(g))
FROM table;
4.【强制】使用ISNULL()来判断是否为NULL值。注意:NULL与任何值的直接比较都为NULL。
说明:
1)NULL<>NULL的返回结果是NULL, 而不是false。
2)NULL=NULL的返回结果是NULL, 而不是true。
3)NULL<>1的返回结果是NULL,而不是true。
5.【强制】 在代码中写分页查询逻辑时,若count为0应直接返回,避免执行后面的分页语句。
6.【强制】不得使用外键与级联,一切外键概念必须在应用层解决。
说明:(概念解释)学生表中的student_id是主键,那么成绩表中的student_id则为外键。
如果更新学生表中的student_id,同时触发成绩表中的student_id更新,则为级联更新。
外键与级联更新适用于单机低并发,不适合分布式、高并发集群;级联更新是强阻塞,存在数
据库更新风暴的风险;外键影响数据库的插入速度。
7.【强制】禁止使用存储过程,存储过程难以调试和扩展,更没有移植性。
8.【强制】数据订正时,删除和修改记录时,要先select,避免出现误删除,确认无误才能执
行更新语句。
9.【推荐】in操作能避免则避免,若实在避免不了,需要仔细评估in后边的集合元素数量,控
制在1000个之内。
10.【参考】 如果有全球化需要,所有的字符存储与表示,均以utf-8编码,那么字符计数方法
注意:
说明:
SELECT LENGTH("轻松工作");返回为12
SELECT CHARACTER_LENGTH("轻松工作");返回为4
如果要使用表情,那么使用utfmb4来进行存储,注意它与utf-8编码的区别。
阿里巴巴Java开发手册
——禁止用于商业用途,违者必究——26/34
11.【参考】TRUNCATE TABLE比DELETE速度快,且使用的系统和事务日志资源少,但TRUNCATE
无事务且不触发trigger,有可能造成事故,故不建议在开发代码中使用此语句。
说明:TRUNCATE TABLE在功能上与不带WHERE子句的DELETE语句相同。
(四)ORM规约
1.【强制】在表查询中,一律不要使用*作为查询的字段列表,需要哪些字段必须明确写明。
说明:1)增加查询分析器解析成本。2)增减字段容易与resultMap配置不一致。
2.【强制】POJO类的boolean属性不能加is,而数据库字段必须加is_,要求在resultMap中
进行字段与属性之间的映射。
说明:参见定义POJO类以及数据库字段定义规定,在sql.xml增加映射,是必须的。
3.【强制】不要用resultClass当返回参数,即使所有类属性名与数据库字段一一对应,也需
要定义;反过来,每一个表也必然有一个与之对应。
说明:配置映射关系,使字段与DO类解耦,方便维护。
4.【强制】xml配置中参数注意使用:#{},#param#不要使用${}此种方式容易出现SQL注
入。
5.【强制】iBATIS自带的queryForList(String statementName,int start,int size)不推
荐使用。
说明:其实现方式是在数据库取到statementName对应的SQL语句的所有记录,再通过subList
取start,size的子集合,线上因为这个原因曾经出现过OOM。
正例:在sqlmap.xml中引入#start#, #size#
Map map = new HashMap();
map.put("start", start);
map.put("size", size);
6.【强制】不允许直接拿HashMap与Hashtable作为查询结果集的输出。
7.【强制】更新数据表记录时,必须同时更新记录对应的gmt_modified字段值为当前时间。
8.【推荐】不要写一个大而全的数据更新接口,传入为POJO类,不管是不是自己的目标更新字
段,都进行update table set c1=value1,c2=value2,c3=value3;这是不对的。执行SQL
时,尽量不要更新无改动的字段,一是易出错;二是效率低;三是binlog增加存储。
9.【参考】 @Transactional事务不要滥用。事务会影响数据库的QPS,另外使用事务的地方需
要考虑各方面的回滚方案,包括缓存回滚、搜索引擎回滚、消息补偿、统计修正等。
10.【参考】中的compareValue是与属性值对比的常量,一般是数字,表示相等时带
上此条件;表示不为空且不为null时执行;表示不为null值时
执行。
阿里巴巴Java开发手册
——禁止用于商业用途,违者必究——27/34
四、工程规约
(一)应用分层
1.【推荐】图中默认上层依赖于下层,箭头关系表示可直接依赖,如:开放接口层可以依赖于
Web层,也可以直接依赖于Service层,依此类推:
开放接口层:可直接封装Service接口暴露成RPC接口;通过Web封装成http接口;网关控
制层等。
终端显示层:各个端的模板渲染并执行显示层。 当前主要是velocity渲染,JS渲染,JSP渲
染,移动端展示层等。
Web层:主要是对访问控制进行转发,各类基本参数校验,或者不复用的业务简单处理等。
Service层:相对具体的业务逻辑服务层。
Manager层:通用业务处理层,它有如下特征:
1)对第三方平台封装的层,预处理返回结果及转化异常信息;
2)对Service层通用能力的下沉,如缓存方案、 中间件通用处理;
3)与DAO层交互,对DAO的业务通用能力的封装。
DAO层:数据访问层,与底层MySQL、Oracle、Hbase进行数据交互。
外部接口或第三方平台:包括其它部门RPC开放接口,基础平台,其它公司的HTTP接口。
2.【参考】(分层异常处理规约)在DAO层,产生的异常类型有很多,无法用细粒度异常进行
catch,使用catch(Exception e)方式,并throw new DAOException(e),不需要打印日志,
因为日志在Manager/Service层一定需要捕获并打到日志文件中去,如果同台服务器再打日
志,浪费性能和存储。在Service层出现异常时,必须记录日志信息到磁盘,尽可能带上参数
信息,相当于保护案发现场。如果Manager层与Service同机部署,日志方式与DAO层处理
一致,如果是单独部署,则采用与Service一致的处理方式。Web层绝不应该继续往上抛异常,
阿里巴巴Java开发手册
——禁止用于商业用途,违者必究——28/34
因为已经处于顶层,无继续处理异常的方式,如果意识到这个异常将导致页面无法正常渲染,
那么就应该直接跳转到友好错误页面,尽量加上友好的错误提示信息。开放接口层要将异常处
理成错误码和错误信息方式返回。
3.【参考】分层领域模型规约:
DO(Data Object):与数据库表结构一一对应,通过DAO层向上传输数据源对象。
DTO(Data Transfer Object):数据传输对象,Service和Manager向外传输的对象。
BO(Business Object):业务对象。 可以由Service层输出的封装业务逻辑的对象。
QUERY:数据查询对象,各层接收上层的查询请求。 注:超过2个参数的查询封装,禁止
使用Map类来传输。
VO(View Object):显示层对象,通常是Web向模板渲染引擎层传输的对象。
(二)二方库规约
1.【强制】定义GAV遵从以下规则:
1)GroupID格式:com.{公司/BU}.业务线.[子业务线],最多4级。
说明:{公司/BU}例如:alibaba/taobao/tmall/aliexpress等BU一级;子业务线可选。
正例:com.taobao.jstorm或com.alibaba.dubbo.register
2)ArtifactID格式:产品线名-模块名。语义不重复不遗漏,先到仓库中心去查证一下。
正例:dubbo-client/fastjson-api/jstorm-tool
3)Version:详细规定参考下方。
2.【强制】二方库版本号命名方式:主版本号.次版本号.修订号
1)主版本号:当做了不兼容的API修改,或者增加了能改变产品方向的新功能。
2)次版本号:当做了向下兼容的功能性新增(新增类、接口等)。
3)修订号:修复bug,没有修改方法签名的功能加强,保持API兼容性。
说明:起始版本号必须为:1.0.0,而不是0.0.1
3.【强制】线上应用不要依赖SNAPSHOT版本(安全包除外);正式发布的类库必须使用RELEASE
版本号升级+1的方式,且版本号不允许覆盖升级,必须去中央仓库进行查证。
说明:不依赖SNAPSHOT版本是保证应用发布的幂等性。另外,也可以加快编译时的打包构建。
4.【强制】二方库的新增或升级,保持除功能点之外的其它jar包仲裁结果不变。如果有改变,
必须明确评估和验证, 建议进行dependency:resolve前后信息比对,如果仲裁结果完全不一
致,那么通过dependency:tree命令,找出差异点,进行排除jar包。
5.【强制】二方库里可以定义枚举类型,参数可以使用枚举类型,但是接口返回值不允许使用枚
举类型或者包含枚举类型的POJO对象。
阿里巴巴Java开发手册
——禁止用于商业用途,违者必究——29/34
6.【强制】依赖于一个二方库群时,必须定义一个统一版本变量, 避免版本号不一致。
说明:依赖springframework-core,-context,-beans,它们都是同一个版本,可以定义一
个变量来保存版本:${spring.version},定义依赖的时候,引用该版本。
7.【强制】禁止在子项目的pom依赖中出现相同的GroupId,相同的ArtifactId,但是不同的
Version。
说明:在本地调试时会使用各子项目指定的版本号,但是合并成一个war,只能有一个版本号
出现在最后的lib目录中。曾经出现过线下调试是正确的,发布到线上出故障的先例。
8.【推荐】所有pom文件中的依赖声明放在语句块中,所有版本仲裁放在
语句块中。
说明:里只是声明版本,并不实现引入,因此子项目需要显式的声
明依赖,version和scope都读取自父pom。而所有声明在主pom的
里的依赖都会自动引入,并默认被所有的子项目继承。
9.【推荐】二方库尽量不要有配置项,最低限度不要再增加配置项。
10.【参考】为避免应用二方库的依赖冲突问题,二方库发布者应当遵循以下原则:
1)精简可控原则。移除一切不必要的API和依赖,只包含Service API、必要的领域模型对
象、Utils类、常量、枚举等。如果依赖其它二方库,尽量是provided引入,让二方库使用
者去依赖具体版本号;无log具体实现,只依赖日志框架。
2)稳定可追溯原则。每个版本的变化应该被记录,二方库由谁维护,源码在哪里,都需要能
方便查到。除非用户主动升级版本,否则公共二方库的行为不应该发生变化。
阿里巴巴Java开发手册
——禁止用于商业用途,违者必究——30/34
(三)服务器规约
1.【 推荐】 高并发服务器建议调小TCP协议的time_wait超时时间。
说明:操作系统默认240秒后,才会关闭处于time_wait状态的连接,在高并发访问下,服
务器端会因为处于time_wait的连接数太多,可能无法建立新的连接,所以需要在服务器上
调小此等待值。
正例:在linux服务器上请通过变更/etc/sysctl.conf文件去修改该缺省值(秒):
net.ipv4.tcp_fin_timeout= 30
2.【 推荐】 调大服务器所支持的最大文件句柄数(File Descriptor,简写为fd)。
说明:主流操作系统的设计是将TCP/UDP连接采用与文件一样的方式去管理,即一个连接对
应于一个fd。 主流的linux服务器默认所支持最大fd数量为1024,当并发连接数很大时很
容易因为fd不足而出现“open too many files”错误,导致新的连接无法建立。 建议将linux
服务器所支持的最大句柄数调高数倍(与服务器的内存数量相关)。
3.【推荐】给JVM设置-XX:+HeapDumpOnOutOfMemoryError参数,让JVM碰到OOM场景时输出
dump信息。
说明:OOM的发生是有概率的,甚至有规律地相隔数月才出现一例,出现时的现场信息对查错
非常有价值。
4.【参考】服务器内部重定向使用forward;外部重定向地址使用URL拼装工具类来生成, 否则
会带来URL维护不一致的问题和潜在的安全风险。
阿里巴巴Java开发手册
——禁止用于商业用途,违者必究——31/34
五、安全规约
1.【强制】 隶属于用户个人的页面或者功能必须进行权限控制校验。
说明:防止没有做水平权限校验就可随意访问、操作别人的数据,比如查看、修改别人的订单。
2.【强制】用户敏感数据禁止直接展示,必须对展示数据脱敏。
说明:查看个人手机号码会显示成:158****9119,隐藏中间4位,防止隐私泄露。
3.【强制】用户输入的SQL参数严格使用参数绑定或者METADATA字段值限定,防止SQL注入,
禁止字符串拼接SQL访问数据库。
4.【强制】用户请求传入的任何参数必须做有效性验证。
说明:忽略参数校验可能导致:
page size过大导致内存溢出
恶意order by导致数据库慢查询
任意重定向
SQL注入
反序列化注入
正则输入源串拒绝服务ReDoS
说明:Java代码用正则来验证客户端的输入,有些正则写法验证普通用户输入没有问题,
但是如果攻击人员使用的是特殊构造的字符串来验证,有可能导致死循环的效果。
5.【强制】禁止向HTML页面输出未经安全过滤或未正确转义的用户数据。
6.【强制】表单、AJAX提交必须执行CSRF安全过滤。
说明:CSRF(Cross-site request forgery)跨站请求伪造是一类常见编程漏洞。对于存在
CSRF漏洞的应用/网站,攻击者可以事先构造好URL,只要受害者用户一访问,后台便在用户
不知情情况下对数据库中用户参数进行相应修改。
7.【强制】在使用平台资源,譬如短信、邮件、电话、下单、支付,必须实现正确的防重放限制,
如数量限制、疲劳度控制、验证码校验,避免被滥刷、资损。
说明:如注册时发送验证码到手机,如果没有限制次数和频率,那么可以利用此功能骚扰到其
它用户,并造成短信平台资源浪费。
8.【推荐】发贴、评论、发送即时消息等用户生成内容的场景必须实现防刷、文本内容违禁词过
滤等风控策略。
网友评论