Perguntas frequentes sobre teste de carga baseado em nuvem

Estas seções cobrem as perguntas frequentes sobre teste de carga baseado em nuvem para ajudar a solucionar problemas ou responder perguntas que você possa ter.

Configuração do aplicativo

R: Qualquer aplicativo que esteja disponível na internet pode passar por teste de carga usando o Visual Studio Team Services. Introdução aqui.

Se o seu aplicativo estiver protegido por firewall por ser interno ou porque ainda não foi lançado, você ainda pode usar o teste de carga baseado em nuvem. Para saber mais, veja Load testing applications behind a firewall using Trusted IP (Teste de carga de aplicativos protegidos por firewall usando IP confiável).

Geral

R: Pode levar entre 5 segundos e 3 horas para obter as permissões para executar o teste de carga na nuvem. Se a conta do Visual Studio Team Services já havia sido criada, você pode executar o teste de carga imediatamente .
R: Não. Atualmente, não há suporte para execução da testes de carga com mstest.
R: Por padrão, são armazenados no banco de dados SQL Express local. O SQL Express serve para armazenar os resultados de testes de uma execução de experiência. Quando baixar mais resultados de testes de carga, use o SQL Server para melhor desempenho. Para usar o SQL Server, siga estas instruções.
R: A partir do Visual Studio 2013 Update 5 e do Visual Studio 2015, você pode selecionar o local do agente de teste quando configura a execução de teste de carga. Escolha um local de qualquer datacenter do Azure com suporte em todo o mundo. E se eu estiver usando uma versão anterior do Visual Studio?

After your run finishes, your results are stored in the same location as your Visual Studio Team Services account.

If you’re using an earlier version of Visual Studio, the agent location is based on the location that you chose when you created your Visual Studio Team Services account.

Região da conta do Visual Studio Team Services
Centro Sul dos EUA
Europa Ocidental

Agente de teste do datacenter do Azure
Leste dos EUA 2
Europa Ocidental

Se o aplicativo estiver protegido por firewall, você ainda poderá fazer o teste de carga nele se configurar o firewall com um IP confiável. Para solicitar IPs confiáveis e aprender a usá-los ao fazer testes de carga de aplicativos internos, consulte Teste de carga de aplicativos protegidos por firewall usando IP confiável.

R: Não. Apenas uma execução de teste de carga é hospedada no conjunto de máquinas virtuais em que os agentes estão hospedados para a execução.
R: O número máximo de núcleos para os agentes de teste de carga para cada execução é de 100 núcleos. Se suas execuções de teste precisarem de mais núcleos, você pode executar 10 testes de carga ao mesmo tempo.

O número mínimo de usuários virtuais por núcleo de agente é 1. Se o seu teste de carga precisar de mais núcleos de agentes OU menos usuários virtuais por núcleo de agente, entre em contato com vsoloadtest@microsoft.com.

R: Se sua execução de teste usa no mínimo 25 usuários virtuais por núcleo, então VUMs = (carga de usuário máxima para sua execução de teste) x (duração da execução de teste em minutos).

Se sua execução de teste usa menos de 25 usuários virtuais por núcleo, então VUMs = (número de núcleos) x (25 usuários virtuais por núcleo) X (duração da execução de teste em minutos).

Os valores mínimos usados para calcular VUMs são 25 usuários virtuais e 1 minuto. Se os valores de sua execução de teste forem menores que os valores mínimos, esses valores serão arredondados para cima para atingir os mínimos. Por exemplo, se a execução de teste especificar 20 usuários virtuais por 30 segundos, o teste será executado com 25 usuários virtuais por 1 minuto = 25 VUMs, em vez de 15 VUMs.

Além disso, a duração do teste é em minutos. Logo, se sua execução de teste for de 5 minutos e 15 segundos, a duração será arredondada para 6 minutos.

Um mínimo de 250 VUMs, incluindo o período de preparação do teste, é deduzido de sua conta para:

  • Execuções concluídas, com base na duração total da execução
  • Execuções abortadas, com base no tempo decorrido da execução

Não há dedução de VUMs de sua conta em casso de execuções que terminam com estado de erro.

Para verificar quantos minutos de usuário virtual a sua conta do Visual Studio Team Services já usou ou ainda pode usar, vá até a página inicial da sua conta (https://{suaconta}.visualstudio.com).

R: Os limites de recursos se aplicam a todas as contas do Visual Studio Team Services. Para cada conta, você recebe 20 mil minutos de usuário virtual gratuitos por mês. Se você precisar de mais minutos de usuário virtual para o teste de carga, solicite que o proprietário da conta obtenha recursos adicionais para sua conta do Visual Studio Team Services.

If your free resource limits run out and you have not purchased additional resources, you will get a status message like this:

This run exceeds the maximum allowed usage for this month.

O uso atual para sua conta neste mês (incluindo execuções em progresso) é de 8000 e o uso máximo permitido é de 20000. Para saber mais sobre limites de uso e como modificá-los, consulte https://go.microsoft.com/fwlink/?LinkId=303976.

Configurar testes

R: Use um arquivo .csv ou uma planilha de Excel para fornecer valores diferentes para teste de carga baseado em nuvem. Não há suporte para uso do SQL Server no momento. Para saber como fornecer esses valores para seu teste, acesse aqui.
R: O número de agentes usados na execução é baseado em seus testes. Se obtiver erros ao executar o teste, você pode ter que aumentar o número de núcleos de agentes. Ao fazer um teste de carga no Visual Studio Team Services usando o IDE do Visual Studio, você pode alterar o número de núcleos de agentes.

IC666801

Agent Count (Total Cores)

O que os valores significam?

  • 0: (Padrão) O número de núcleos é baseado no número de usuários virtuais especificados para o teste.
  • 1: A execução de teste usará 1 agente com 1 núcleo.
  • 2 ou mais: Cada agente vai sempre usar 2 núcleos. Por exemplo, se o valor é 4, você tem 2 agentes com 2 núcleos cada. Se o valor for 3, você ainda terá 2 agentes com 2 núcleos cada. Você não terá 1 agente com 2 núcleos nem 1 agente com 1 só núcleo.

A quantidade de agentes também depende da combinação de testes (teste de desempenho Web ou teste de unidade). Se você só tiver testes de desempenho Web, sugerimos o uso de 250 a 1000 usuários virtuais para cada 2 núcleos. Se você tiver testes de unidade, a contagem de agentes depende do que os testes de unidade vão fazer. Isso significa que você terá que testar se tem agentes suficientes por meio de uma execução de teste de carga de duração mais curta ou usar testes de carga baseados em metas.

R: Você pode usar as opções de implantação e um Script de Instalação nas configurações do teste.

You can add the .exe or other files to the Deployment window which you want to deploy on the Agent and using the Setup script you can install them on agents.

Todos os itens implantados nos agentes são copiados para um diretório no agente. O local do diretório pode ser acessado usando %DeploymentDirectory% nos scripts de instalação e limpeza. Por exemplo, se quiser instalar o WebDeploy no computador do agente, é preciso adicionar WebDeploy_x64_en-US.msi na janela Implantação. Setup.cmd terá a seguinte aparência: %DeploymentDirectory%WebDeploy_x64_en-US.msi /passive

Executar e monitorar testes de carga

R: Você pode ver o status do serviço no portal de suporte do Visual Studio Team Services (na parte superior da página) e em nosso blog de serviço. Você também pode assinar alertas de status de serviço ao seguindo esta postagem em nosso fórum de suporte.
R: Os estados de execução de teste de carga ao executar com o Visual Studio Team Services são:

  • Em andamento: A execução de teste está sendo executada na nuvem no momento.
  • Concluída: A execução de teste foi concluída com êxito.
  • Abortada: A execução de teste foi interrompida pelo usuário ao clicar no botão parar. Este estado também pode ocorrer se houver problemas relacionados ao teste de carga. Por exemplo, a interrupção pode ocorrer se houver problemas nos scripts do teste.
  • Erro: A execução de teste foi interrompida devido a um erro do próprio serviço. Por exemplo, pode haver um problema de infraestrutura no serviço e ele não consegue continuar a execução do teste. Este não é um problema causado pelo teste de carga ou pelos scripts do teste.
R: Devido a um problema conhecido, você deve usar a seguinte solução alternativa no momento:

  1. Execute o Notepad com privilégios de administrador
  2. Abra o arquivo devenv.exe.config (esse arquivo geralmente está localizado em: “C:Program Files (x86)Microsoft Visual Studio 12.0Common7IDE”)
  3. Altere o valor de bindingRedirect para “8.0.0.0-14.0.0.0”
    <dependentAssembly>
        <assemblyIdentity name="Microsoft.VisualStudio.QualityTools.LoadTest" publicKeyToken="b03f5f7f11d50a3a" culture="neutral" />
        <bindingRedirect oldVersion="8.0.0.0-14.0.0.0" newVersion="12.0.0.0"/>
    </dependentAssembly>

Solução de Problemas

R: Se o gravador de teste da Web não estiver habilitado quando você tentar gravar seu teste da Web com o Internet Explorer 11, acesse aqui para resolver o problema.
R: Mensagens de status e erros de teste são relatadas enquanto o seu teste de carga é executado. As mensagens de status fornecem detalhes sobre a execução do teste de carga propriamente dito, tais como quando uma conexão ao banco de dados de resultados é perdida. Erros de teste estão relacionados ao teste. Exiba ambos os tipos de mensagens na guia Detalhes dos gráficos de andamento.

IC696061

R: Se o erro informar que o estado atual da conexão é fechado, você pode definir quanto tempo uma conexão vai aguardar antes de atingir o tempo limite. Defina as palavras-chave ConnectTimeout ou Connection Timeout na cadeia de conexão. Não defina um valor de 0 como tempo limite em uma ConnectionString porque a conexão vai continuar tentando se conectar indefinidamente.
R: Se isso acontecer, você precisa pegar a chave de produto do Visual Studio Ultimate de sua assinatura MSDN e usar a opção “Alterar minha Licença de Produto” na página de Informações do Produto. Você precisa fazer isso em todos os computadores em que deseja executar testes de carga usando o Visual Studio Team Services. Visite este site para obter a chave de produto.
R: Desde 26 de novembro de 2014, é preciso adicionar as informações de versão às chamadas à API REST. Se a chamada falhar com uma exceção VssVersionNotSpecifiedException, será preciso incluir ?api-version=1.0-preview.1 às chamadas à API REST. Siga as instruções aqui para fazer isso.
R: Nomes de teste em testes de carga são convertidos para minúsculas quando o teste é executado com o Visual Studio Team Services. Qualquer correspondência de cadeia feita em um nome de teste pelo código do usuário deve ignorar maiúsculas e minúsculas ou converter os nomes de teste para minúsculas.
R: Use um editor de texto para editar devenv.exe.config. Esse arquivo geralmente está localizado em “C:Program Files (x86)Microsoft Visual Studio 12.0Common7IDE”.

    1. Adicione a seguinte linha dentro da seção :
      <add key="ElsClientLogLevel" value="XXX"/>

      XXX pode ser qualquer um dos seguintes:

      • all – registra para todas as mensagens
      • off – interrompe o registro de mensagens
      • critical – registra apenas mensagens críticas
      • error – registra apenas mensagens de erro e críticas
      • warning – registra mensagens de erro, críticas e de aviso (padrão)
      • information – registra mensagens de erro, críticas, de aviso e de informação
      • verbose – registra mensagens de erro, críticas, de aviso, de informação e detalhadas

 

  1. Adiciona a seguinte seção à parte inferior do arquivo devenv.exe.config, logo acima da marca de fechamento. Você pode especificar o caminho para o arquivo de log alterando o valor initializeData.
        <code class="csharp"><system.diagnostics>
     <trace autoflush="true" indentsize="4">
     <listeners>
     <add name="myListener" type="System.Diagnostics.TextWriterTraceListener" initializeData="d:VSTestHost.log"/>
     </listeners>
     </trace>
    
     <switches>
     <!-- You must use integral values for "value": 0 = off, 1 = error, 2 = warn, 3 = info, 4 = verbose.-->
     <add name="EqtTraceLevel" value="4" />
     </switches>
     </system.diagnostics></code>
    

  2. Reinicie o Visual Studio 2013 e reproduza o problema. Você pode então revisar o arquivo de log ou compartilhar com o suporte. O arquivo de log está localizado aqui: %Temp%ELSClient.
R: Para o Visual Studio 2013 Update 4 e versões posteriores, o valor padrão para a propriedade TimingDetailsStorage foi mudado de AllIndividualDetails para None. Se quiser coletar os tempos individuais, você precisa definir especificamente a propriedade TimingDetailsStorage para AllIndividualDetails. Para mais detalhes, acesse aqui.

Erros

R: Se receber um destes erros:

  • VS1550064
  • VS1550072
  • VS1550078
  • VS1550081
  • VS1550082
  • VS1550083

Contacte o suporte do Visual Studio Team Services. Você vai precisar informar a id da execução de teste.

R: Se você editar manualmente o arquivo xml .loadtest, isso pode resultar no seguinte erro:

  • VS1550084

Abra o arquivo e reverta as alterações que tiver feito. Execute novamente o teste de carga e a execução deverá ser concluída com êxito.

R: Se você editar manualmente o arquivo xml .loadtest, isso pode resultar nos seguintes erros:

  • VS1550026
  • VS1550027

Abra o arquivo e reverta as alterações que tiver feito. Execute novamente o teste de carga e a execução deverá ser concluída com êxito.

R: Se você fechar o assistente de teste de carga antes da conclusão, isso pode causar o seguinte erro:

  • VS1550030

Para corrigir o problema, crie outro teste de carga e exclua o que não foi executado.

R: Esses erros geralmente de devem a problemas com o serviço de teste de carga baseado em nuvem. Basta tentar executar o teste de carga novamente. Se o erro persistir, contacte o suporte do Visual Studio Team Services. Você vai precisar informar a id da execução de teste.
R: Acesse aqui para encontrar informações sobre outros erros e suas soluções, quando aplicável.

Usar o serviço de nuvem

Comece a usar gratuitamente

Hospede você mesmo

Baixe a avaliação