单元测试(2) | 单元测试进阶——寻求优秀

作者: 厲铆兄 | 来源:发表于2018-01-21 00:38 被阅读39次

    2. 单元测试进阶——寻求优秀

    2.1 使用测试替身

    在现代开发者测试的上下文中,除了允许在某些依赖缺失的情况下编译执行代码以外,崇尚测试的程序员还创建了一套“仅供测试”的工具,用于隔离被测试的代码、加速执行测试、使得随机行为变得确定、模拟特殊情况以及能够使测试访问隐藏信息等。满足这些目的的各种对象具有相似之处,但又有所区别,我们统称为测试替身(test double)。

    这一节我们先探讨开发者采用测试替身的理由,理解了测试替身潜在的好处以后,我们再解析来看看各种可供选择的测试替身的类型。

    • 测试替身的威力

      引入测试替身的最根本的原因是——将被测试代码与周围隔离开。为了时不时的验证一段代码的行为是否符合期望值,我们最好的选择就是替换其周围的代码,使得获取对环境的完整控制,从而在其中测试目标代码。

      通过以下的几个部分,我们来讨论测试替身的好处。

      • 隔离被测试的代码

        代码的世界,一般包括了两种:被测试代码和与被测试代码进行交互的代码。

        接下来我们用一个简单的例子,展示如何隔离代码。示例代码如下:

        public class Car {
            private Engine engine;
        
            public Car(Engine engine) {
                this.engine = engine;
            }
        
            public void start() {
                this.engine.startUp();
            }
        
            public void stop() {
                this.engine.shutDown();
            }
        
            public void drive(Route route) {
                for (Directions directions : route.directions()) {
                    directions.follow();
                }
            }
        }
        

        这个例子中,包括了两个协作类:EngineRoute,还有一个间接使用者:Directions

        我们站在 Car 的视角,用测试替身替换 EngineRoute , 用伪实现替换Route,那么我们就完全控制了向 Car 提供的各种 Directions

        类之间的关系如下:

        car.png
      • 加速执行测试

        由于Car 需要调用 Directions,而后者的产生依赖于 Route,假设在 Route 层面需要的时间比较多,测试来不及等这么久的情况下,可以通过使用对 Route 放置测试替身,实现快速的不用等待的测试执行。

        放置一个测试替身,令它总是返回预先计算好的路径,这样会避免不必要的等待,而且测试运行的更快了,

      • 使执行变得确定

        任何的测试代码,都可能包含了不确定的随机性。为了验证代码和测试具有确定的结果,我们需要能够针对同样的代码进行重复的运行测试,并总能够得到相同的结果。

        事实上,这个情况非常理想状态。很多时候,生产的代码有随机因素。或许不确定的行为,最典型的情形就是依赖于时间的行为。回到我们的 Car 的这个例子,不同的时间,得到的路线(RouteDirections)可能是不同的。在高峰时间和非高峰时间,得到的路径导航,可能是不相同的。我们通过对 Route进行测试替身,使得之前不确定的测试变得确定起来。

      • 暴露隐藏的信息

        Car 这个例子里面,可以用测试替身完成最后一个需要它的理由。我们能看到,当 Car 进行启动的时候,需要调用了engine的 start()的方法。engine目前是私有型,我们在测试中无法获得的engine的项目类型。那么我们需要用一个测试替身,来通过给它增加状态的方式,验证单元测试对乱码的讨厌。

        被测试的代码:

        public class TestEngine extends Engine {
            public boolean isRunning() {
                return isRunning;
            }
        
            private boolean isRunning;
        
            public void start() {
                this.isRunning = true;
            }
        }
        

    • 测试替身的类型

      主要的测试替身有 桩 (Stub)、伪造对象(Fake)、测试间谍(Spy)以及模拟对象(Mock)四种。

      1. Stub(桩):一般什么都不做,实现空的方法调用或者简单的硬编码返回即可。
      2. Fake(伪造对象):真实事物的简答版本,优化的伪造真实事物的行为,但是没有副作用或者使用真实事物的其它后果。比如替换数据库的对象,而得到虚假的伪造对象。
      3. Spy(测试间谍):需要得到对象内部的状态的时候,而该对象对外又是封闭的,那么需要做一个测试间谍,事先学会反馈消息,然后潜入对象内部去获取对象的状态。测试间谍是一种测试替身,它用于记录过去发生的情况,这样测试在事后就能知道所发生的一切。
      4. Mock(模拟对象):模拟对象是一个特殊的测试间谍。是一个在特定的情况下可以配置行为的对象,规定了在什么情况下,返回什么样的值的一种测试替身。Mock已经有了非常成熟的对象库,包括JMock、Mockito和EasyMock等。

    2.2 [探讨]优秀单元测试的支柱

    • 分析:独立的测试易于单独运行

      什么样的单元测试是独立的测试?

    • 分析:可维护的测试才是有意义的

      什么样的措施可以使得单元测试是可维护的?

    • 可读的代码才是可维护的

      如何从测试用例的要素中匹配单元测试代码的可读性?

    • 可靠的测试才是可靠的

      从哪些角度的思考与设计可以让单元测试代码变得可信赖和可靠?

    2.3 识别单元测试中的坏味道

    • 过度断言

      过度断言是如此谨慎的敲定每个待检查行为的细节,以致它变得脆弱,并且掩盖了整体广度很深度之下的意图。当遇到过度断言,很难说清楚它要检查什么,并且当你退后一步观察,会看到测试打断的频率可能远超平均水平。它如此挑剔,以致无论任何变化都会造成输出与期望不同。

      我们看下面的例子来具体讨论。被测试的类叫做LogFileTransformer,是一个用来转换日志格式的类。

      public class LogFileTransformerTest {
          private String expectedOutput;
          private String logFile;
          @Before
          public void setUpBuildLogFile(){
              StringBuilder lines = new StringBuilder();
              lines.append("[2015-05-23 21:20:33] LAUNCHED");
              lines.append("[2015-05-23 21:20:33] session-di###SID");
              lines.append("[2015-05-23 21:20:33] user-id###UID");
              lines.append("[2015-05-23 21:20:33] presentation-id###PID");
              lines.append("[2015-05-23 21:20:33] screen1");
              lines.append("[2015-05-23 21:20:33] screen2");
              //TODO: lines.append(...)
              logFile = lines.toString();
          }
          @Before
          public void setUpBuildTransformedFile(){
              StringBuilder lines = new StringBuilder();
              lines.append("LAUNCHED");
              lines.append("session-di###SID");
              lines.append("user-id###UID");
              lines.append("presentation-id###PID");
              lines.append("screen1");
              lines.append("screen2");
              //TODO: lines.append(...)
              expectedOutput = lines.toString();
          }
          @Test
          public void testTransformationGeneratesRgiht(){
              TransfermationGenerator generator = new TransfermationGenerator();
              File outputFile = generator.transformLog(logFile);
              Assert.assertTrue("目标文件转换后不存在!", outputFile.exists());
              Assert.assertEquals("目标文件转换后不匹配!", expectedOutput, getFileContent(outputFile));
          }
      }
      

      看到过度断言了么?这里有两个断言,但是哪个是罪魁祸首,什么造成断言被滥用了呢?

      第一个断言检查目标文件是否创建,第二个断言检查目标文件的内容是否符合期望。现在,第一个断言的价值值得商榷,而且很可能需要被删除。但是我们主要关注第二个断言——过度断言:

      Assert.assertEquals("目标文件转换后不匹配!", expectedOutput, getFileContent(outputFile));
      

      看上去,它精确的验证了测试名称所暗示的内容,这是个重要的断言。问题是这个测试太宽泛了,导致断言对整个日志文件进行大规模的比较。这是一张厚厚的安全网,毫无疑问,即使是输出中最微小的变化,也会是断言失败。这也正是存在的问题。

      上述例子太容易失败而变得脆弱,断言并无本质的错误,但是问题在于测试违反了构成优秀测试的基本指导原则。

      一个测试应该只有一个失败原因

      那么我们如何改进这个测试?

      我们需要避免全文测试,就算需要要求,也需要分部分内容去测试。

      @Test
      public void testTransformationGeneratesRgiht2(){
          TransfermationGenerator generator = new TransfermationGenerator();
          File outputFile = generator.transformLog(logFile);
          Assert.assertTrue("目标文件转换后不匹配!", getFileContent(outputFile).contains("screen1###0"));
          Assert.assertTrue("目标文件转换后不匹配!", getFileContent(outputFile).contains("screen1###51"));
      }
      @Test
      public void testTransformationGeneratesRgiht3(){
          TransfermationGenerator generator = new TransfermationGenerator();
          File outputFile = generator.transformLog(logFile);
          Assert.assertTrue("目标文件转换后不匹配!", getFileContent(outputFile).contains("session-di###SID#0"));
      }
      

      修改后,分部对指定的部分进行测试。

    • 人格分裂

      改进测试的一个最简单的方法,就是找出人格分裂的情况。当测试出现了人格分裂的时候,我们认为它本身体现了多个测试,那是不对的。一个测试应当仅检查一件事并妥善执行。

      我们看下面的例子。测试类针对一些命令行接口,用不同的命令行参数来测试Configuration类对象的行为。

      public class ConfigurationTest {
          @Test
          public void testParingCommandLineArguments() {
              String[] args = {"-f", "hello.txt", "-v", "--version"};
              Configuration c = new Configuration();
              c.processArguments(args);
              Assert.assertEquals("hello.txt", c.getFileName());
              Assert.assertFalse(c.isDebuggingEnabled());
              Assert.assertFalse(c.isWarningsEnabled());
              Assert.assertTrue(c.isVerbose());
              Assert.assertTrue(c.shouldShowVersion());
              
              c = new Configuration();
              try{
                  c.processArguments(new String[] {"-f"});
                  Assert.fail("should 测试失败" );
              }catch (InvalidArgumentException expected){
                  // 没有问题
              }
          }
      }
      

      这个测试的多重人格体现在它涉及了文件名、调试、警告、信息开关、版本号显示,还处理了空的命令行参数列表。这里没有遵循准备 --> 执行 --> 断言的结构。很明显这里断言了许多东西,虽然它们全部与解析命令行参数有关,但是还是可以彼此隔离的。

      这个测试的主要问题是胃口太大,同时还存在一些重复,我们先排除这些干扰,这样就可以看清主要问题了。

      首先,在测试里用了多次对Configuration类的构造器实例化的操作,我们可以将此类的操作抽取出来,并用@Before方法中实例化。这样也去掉了测试中的一部分重复。

      代码如下:

      protected Configuration c;
      @Before
      public void instantiateDefaultConfiguration() {
          c = new Configuration();
      }
      

      去掉重复的实例化以后,我们剩下来对 processArguments()的两次不同调用和6个不同的断言(包括了 try-catch-fail模式)。这样意味着我们至少要用两个不同的场景——也就是两个不同的测试。

      结合上面的 @Before,代码如下:

      @Test
      public void validArgumentsProvided(){
            String[] args = {"-f", "hello.txt", "-v", "--version"};
          c.processArguments(args);
          Assert.assertEquals("hello.txt", c.getFileName());
          Assert.assertFalse(c.isDebuggingEnabled());
          Assert.assertFalse(c.isWarningsEnabled());
          Assert.assertTrue(c.isVerbose());
          Assert.assertTrue(c.shouldShowVersion());
      }
      @Test
      public void missingArgument(){
          try{
                c.processArguments(new String[] {"-f"});
                Assert.fail("should 测试失败" );
          }catch (InvalidArgumentException expected){
                // 没有问题
          }
      }
      

      但是其实我们还在半路上,一些检查条件是命令行参数的显然结果,另一些是隐含的默认值。从这个角度改进,我们将测试分解成多个测试类。如下图所示:

      人格分裂方案.png

      这次重构意味着有一个测试关注于验证正确的默认值,另一个测试类验证显示设置的命令行值能正确工作,第三个指出应当如何处理错误的配置项。代码如下:

      • AbstractConfigTestCase

        public abstract class AbstractConfigTestCase {
            protected Configuration c;
        
            @Before
            public void instantiateDefaultConfiguration() {
                c = new Configuration();
                c.processArguments(args());
            }
        
            protected String[] args() {
                return new String[] {};
            }
        }
        

      • TestDefaultConfigValues

        public class TestDefaultConfigValues extends AbstractConfigTestCase {
            @Test
            public void defaultOptionsAreSetCorrectly() {
                assertFalse(c.isDebuggingEnabled());
                assertFalse(c.isWarningsEnabled());
                assertFalse(c.isVerbose());
                assertFalse(c.shouldShowVersion());
            }
        }
        

      • TestExplicitlySetConfigValues

        public class TestExplicitlySetConfigValues extends AbstractConfigTestCase {
            @Override
            protected String[] args() {
                return new String[] { "-f", "hello.txt", "-v", "-d", "-w", "--version" };
            }
        
            @Test
            public void explicitOptionsAreSetCorrectly() {
                assertEquals("hello.txt", c.getFileName());
                assertTrue(c.isDebuggingEnabled());
                assertTrue(c.isWarningsEnabled());
                assertTrue(c.isVerbose());
                assertTrue(c.shouldShowVersion());
            }
        }
        

      • TestConfigurationErrors

        public class TestConfigurationErrors extends AbstractConfigTestCase {
            @Override
            protected String[] args() {
                return new String[] { "-f" };
            }
        
            @Test(expected = InvalidArgumentException.class)
            public void missingArgumentRaisesAnError() {
            }
        }
        

    • 过分保护

      运行 Java 代码的时候,常见的Bug之一就是突然出现NullPointerExceptionInndexOutOfBoundsException,这是由于方法意外的收到空指针或者空串参数造成的。当然这些可以由程序员对其进行单元测试,从而增强守卫,保护好自己。

      但是,程序员往往不是保护测试免于以NullPointerException而失败,而是让测试优雅的以华丽措辞的断言而失败。这是一种典型的坏味道。

      代码示例:用了两个断言来验证正确的计算:一个验证返回的Data对象不为空,另一个验证实际的计数是正确的。

      public class TestCount {
          @Test
          public void count(){
              Data data = project.getData();
              Assert.assertNotNull(data);
              Assert.assertEquals(8, data.count());
          }
      }
      

      这是过度保护的测试,以为assertNotNull(data)是多余的。在调用方法之前,第一个断言检查data不为空,如果为空,测试就失败,这样的测试受到了过度的保护。这是因为当data为空的时候,就算没有第一个断言,测试仍然会时报。第二个断言试图调用data上的count()时,测试会不幸的以NullPointerException而失败。

      需要做的事情,是删除冗余的断言,它基本上是不能提供附加价值的断言和测试语句。

      删除第5行。Assert.assertNotNull(data);

    • 重复测试

      程序员在写代码的时候,往往关注和追求整洁的代码(clean code)。而重复就是导致代码失去整洁的罪魁祸首之一。那么什么是重复呢?简单来说,重复是存在多份拷贝或对单一概念的多次表达——这都是不必要的重复。

      重复是不好的,它增加了代码的不透明性,使得散落在各处的概念和逻辑很难理解。此外,对于修改代码的程序员来说,每一处重复都是额外的开销。如果忘记或者遗漏了某处的改动,那么又增加了出现Bug的机会。

      代码示例:这个代码展示了几种形式的重复。

      public class TestTemplate {
        @Test
        public void emptyTemplate() throws Exception {
            assertEquals("", new Template("").evaluate());
        }
      
        @Test
        public void plainTextTemplate() throws Exception {
            assertEquals("plaintext", new Template("plaintext").evaluate());
        }
      }
      

      代码中出现了最常见的文本字符串重复,在两个断言中,空字符串和plaintext字符都出现了两次。我们叫这种重复为文字重复。我们可以通过定义局部变量来移除它们。同时在上述测试类中,还存在另一种重复,也许比显而易见的字符串重复有趣的多。当我们提取那些局部变量的时候,这种重复会变得更加清晰。

      首先,我们抽取重复的字符串,清理这些坏的味道。

      public class TestTemplate {
        @Test
        public void emptyTemplate() throws Exception {
            String template = "";
            assertEquals(template, new Template(template).evaluate());
        }
      
        @Test
        public void plainTextTemplate() throws Exception {
            String template = "plaintext";
            assertEquals(template, new Template(template).evaluate());
        }
      }
      

      其次,确实还有一些比较严重的重复,我们看这两个测试,只有字符串是不同的。当我们抽取的字符串之后,剩下的断言是一模一样的,这种操作不同数据的重复逻辑,我们叫做结构重复。以上的两个代码块用一致的结构操作了不同的数据。

      我们去掉这种重复,提炼重复后,产生一个自定义的断言方式。

      public class TestTemplate {
        @Test
        public void emptyTemplate() throws Exception {
            assertTemplateRendersAsItself("");
        }
      
        @Test
        public void plainTextTemplate() throws Exception {
            assertTemplateRendersAsItself("plaintext");
        }
      
        private void assertTemplateRendersAsItself(String template) {
            assertEquals(template, new Template(template).evaluate());
        }
      }
      

    • 条件逻辑

      在测试中,一旦存在条件逻辑的时候,一般都不是一件好事儿。这里的条件逻辑,是一种坏味道。假设我们正在重构代码,并运行之前的单元测试来保证代码一切正常。可是此时发现某个测试失败了。看上去很出乎意料,没想到这点小的变更却会影响测试,但是它的确发生了。我们查看代码,却突然发现自己无法知道,测试失败的时候,代码当时在干什么。

      代码示例:测试创建了DictionaryDemo(字典)对象,用数据填充它,并验证请求到的Iterator(迭代器)的内容是正确的。

      public class DictionaryTest {
          @Test
          public void returnsAnIteratorForContents(){
              DictionaryDemo dictionary = new DictionaryDemo() ;
              dictionary.add("key1", new Long(3));
              dictionary.add("key2", "45678");
              for (Iterable e = dictionary.iterator(); e.hasNext();){
                  Map.Entry entry = (Map.Entry) e.next();
                  if( "key1".equals(entry.getKey())){
                      Assert.assertEquals(3L, entry.getValue());
                  }
                  if( "key2".equals(entry.getKey())){
                      Assert.assertEquals("45678", entry.getValue());
                  }
              }
          }
      }
      

      我们可以看到,这个测试针对的只是 DictionaryDemo的内部行为,但是仍然非常难理解和解释。通过遍历条目,我们得到返回的Iterator,并根据键值对的关系,通过 Key,找到该条目的 Value。但是实际上,如果这两个 Key 没有被添加进去的时候,这个测试不会报错。这里存在了坏的味道。通过使用自定义断言,得到修改。

      代码如下:

      public class DictionaryTest {
      
          @Test
          public void returnsAnIteratorForContents2(){
              DictionaryDemo dictionary = new DictionaryDemo() ;
              dictionary.add("key1", new Long(3));
              dictionary.add("key2", "45678");
              assertContains(dictionary.iterator(), "key1", 3L);
              assertContains(dictionary.iterator(), "key2", "45678");
      
          }
      
          private void assertContains(Iterator i, Object key, Object value){
              while (i.hasNext()){
                  Map.Entry entry =  (Map.Entry) i.next();
                  if( key.equals(entry.getKey())){
                      Assert.assertEquals(value, entry.getValue());
                      return;
                  }
              }
              Assert.fail();
          }
      }
      

      最后强调一下,Assert.fail()很容易被遗漏掉。接下来我们就要再一次修改这样的坏味道了。

    • 永不失败的测试

      永不失败的测试,如果是真的能够做到百战百胜,那么是再好不过了。但是往往事与愿违,永不失败的测试往往比没有测试还糟糕。因为它给了虚假的安全感,这样的测试没有价值,出了事情它绝不警告你。

      检查代码是否抛出期望的异常,或许这是一个最常见的在永不失败的测试的场景。

      示例代码:

      public class HelloWorldTests {
          @Test
          public void includeForMissingResourceFails(){
              try {
                  new Environment().include("somethingthatdoesnotexist");
              }catch (IOException e){
                  Assert.assertThat(e.getMessage(),
                          contains("somethingthatdoesnotexist"));
              }
          }
      }
      

      这个代码清单中测试的结果是这样的:

      1. 如果代码如期工作并抛出异常,那么这个异常就被catch代码块捕获,于是测试通过。
      2. 如果代码没有如期工作,也就是没有抛出异常,那么方法返回,测试通过,我们并未意识到代码有任何问题。

      但是,这是一个抛异常的测试,在没有抛出异常的时候,测试其实是失败的,需要调用fail()来表示失败。

      public class HelloWorldTests {
          @Test
          public void includeForMissingResourceFails(){
              try {
                  new Environment().include("somethingthatdoesnotexist");
                    Assert.fail();
              }catch (IOException e){
                  Assert.assertThat(e.getMessage(),
                          contains("somethingthatdoesnotexist"));
              }
          }
      }
      

      简单的增加对 JUnit 中 fail() 方法的调用,是得测试起作用。现在除非抛出期望的异常,否则测试失败。

      另外 JUnit 4 引入的一个新特性是 @Test 注解的 expected 属性。

      public class HelloWorldTests {
          @Test(expected = IOException.class)
          public void includeForMissingResourceFails(){
              new Environment().include("somethingthatdoesnotexist");
          }
      }
      

      这样的特性,更短、更容易解析、更不易出错和遗漏。当然这种方法的缺点也很明显:我们不能访问所抛出的实际异常对象,无法进一步对异常进行断言。总之,要防止偶然的写一个用不失败的的测试,最好的方法是养成运行测试的习惯,或许是临时修改被测试的代码来故意触发一次失败,从而看到所犯的错误以及坏味道。

    2.4 [探讨]在项目中进行单元测试

    • 分析:项目中单元测试策略

      在一个项目中,单元测试的策略的制定与执行需要考虑哪些因素?

    • 分析:如何组织单元测试的数据

      在一个项目中,单元测试的数据是否应该以硬编码的形式写入代码中?如果不是的话,需要如何组织这些测试用的数据呢?

    • 分析:谁该为项目的质量负责

      请思考一个问题,一个典型的项目组(包含项目经理、测试、开发和需求分析师)中谁应该为项目的质量负责?

    相关文章

      网友评论

        本文标题:单元测试(2) | 单元测试进阶——寻求优秀

        本文链接:https://www.haomeiwen.com/subject/hsbmuttx.html