为什么Beta测试事项

我最近与我们的客户有一个讨论了一个测试版释放的样子。我在许多组织中见过的术语“beta”，是一个误解的术语或在一些罕见的情况下，几乎是禁忌的术语。我发现，在开发团队的利益相关者没有接触到敏捷或共同软件实践的组织中，这尤其如此。Commonly, what you end up seeing in those organizations, is the beta is boiled down to an appeasement to stakeholders because of a deadline — i.e: we can’t release everything because we don’t have time/money/capacity, so we’ll release this small subset and call it a “beta.”

对于我们来说，我们认为Beta释放是一个长期控制的实验，在那里，作为开发团队，您正试图了解您试图发布到市场的哪些解决方案将成功，并为您提供正确的行为用户。该实验是一个受控环境（例如，您的代码的Beta分支和测试环境）以及您使用的Beta用户是您的普通用户群体的样本。如果您有严格/科学的测试标准，您将添加分析以测试/衡量用户的特定行为。Or, in a world where you don’t have analytics, you may use qualitative feedback (we have questions we need answers to, for example) as the method for being able to understand if the solutions you build will be successful for the general population of users.

使用适用的示例 - 我在2000年代初期的视频游戏上工作。这是市场上第一家萨斯产品之一 - 我们是一个在线大型多人游戏，有很多玩家在同一台服务器上玩。每6-9个月，我们的团队将释放一个扩展包，玩家会购买更多内容为基础游戏添加更多内容。对于我们的开发周期的最后4-6周，我们将进入功能冻结，然后将我们的所有工作从我们的Dev环境推广到测试版环境和服务器。然后，我们的团队将向我们认为，我们认为我们的目标是销售扩张的良好代表，并将这些玩家作为我们的测试受试者，以发现我们的扩展包是否会发现的考试成功的。我们的测试计划包括在我们要测试的时候，与世卫组织以及我们试图在我们的测试中更好地了解（即：未知数所需的内容）。

我们公司扩建的成功最终会降至我们销售的扩张盒（这是一个滞后的指标）。与任何其他娱乐媒介一样，如电影或文学，目标是调用让用户与您的产品接合的情感响应。对于视频游戏，这归结为一个简单而又非常复杂的问题，“游戏是有趣的吗？”因此，当我们将控制组带入我们的受控环境来测试我们创建的内容时，我们正试图回答这个问题，“这对我们的球员来说是这种扩展的乐趣吗？”我们4-6周的所有测试都试图回答多个非可量化的感觉的方面是情感“乐趣”。所以我们在隔离中查看我们的每一块内容，我们将我们的所有内容互相看，看看内容是否有奖励，足够有挑战性，提供有趣的故事，有权起搏，调用正确的情绪在正确的时刻，例如在击败大老板后的成就感，或者恐惧的感觉更深入地进入一个艰难的地牢。然后我们使用这种受控的玩家重复测试这些概念，直到我们有一个相当自信的答案，“是的，这很有趣。”

所以当你计划一个测试版发布时，当你稍后做一个beta测试时，花费严格的想法，你想在你的用户内衡量什么类型的行为，或者只是你试图从未解决的答案中获得什么类型的答案您想要发布给您的普通用户群体的解决方案问题。然后你的测试版周期应该是一个增加你试图发布的解决方案的置信水平，一旦发布就会成功。您可以用来使用良好的Litmus测试来确定您的团队是否正确规划Beta发布并正确运行的测试版测试是观察在Beta阶段期间的团队正在做的事情。该团队是否花了大部分时间和努力支持测试版测试 - 试图回答需要回答的问题，这样您就可以启动成功的产品 - 或者他们试图在所有人上播放“追赶”of the features that didn’t get into the beta test? If they are doing the latter, then they really aren’t beta testing.