Вопросы и ответы по облачному нагрузочному тестированию

В этих разделах рассматриваются часто задаваемые вопросы по облачному нагрузочному тестированию. Эти материалы помогут вам устранить возникшие неполадки или получить необходимые ответы.

Конфигурация приложения

Odp. Нагрузочное тестирование с помощью Visual Studio Team Services можно выполнить для любого сайта, доступного в Интернете. Начать работу можно здесь.

Если ваше приложение находится за брандмауэром, так как является внутренним, или еще не было выпущено, для него также можно выполнить облачное нагрузочное тестирование. Дополнительные сведения см. в разделе Load testing applications behind a firewall using Trusted IP (Нагрузочное тестирование приложений за брандмауэром с использованием надежного IP-адреса).

Общие

Odp. Для получения разрешений на выполнение нагрузочного теста в облаке может потребоваться от пяти секунд до трех часов. Если учетная запись Visual Studio Team Services уже была создана ранее, возможно, вы сможете выполнить нагрузочный тест сразу же.
Odp. Нет. Сейчас выполнение нагрузочных тестов с помощью mstest не поддерживается.
Odp. По умолчанию они сохраняются в локальной базе данных SQL Express. SQL Express подходит для хранения результатов тестов из пробного запуска. В случае скачивания большего числа результатов тестов используйте вместо него SQL Server для повышения производительности. Чтобы использовать SQL Server, следуйте этим указаниям.

Odp. Начиная с Visual Studio 2013 с обновлением 5 и Visual Studio 2015, вы можете выбрать расположение агентов тестирования при настройке запуска нагрузочного теста. Выберите в качестве расположения любой из поддерживаемых центров обработки данных Azure по всему миру. Что происходит при использовании более ранней версии Visual Studio?

После завершения запуска результаты сохраняются в том же расположении, где находится ваша учетная запись Visual Studio Team Services.

Если вы используете более раннюю версию Visual Studio, расположение агентов определяется расположением, указанным при создании учетной записи Visual Studio Team Services.

Регион учетной записи Visual Studio Team Services
Юго-центральный регион США
Западная Европа

Центр обработки данных Azure для агентов тестирования
Восточная часть США 2
Западная Европа

Если приложение находится за брандмауэром, вы все равно можете выполнить для него нагрузочный тест, настроив в брандмауэре надежный IP-адрес. Сведения о запросе надежных IP-адресов и их использовании при нагрузочном тестировании см. в разделе
Load testing applications behind a firewall using Trusted IP (Нагрузочное тестирование приложений за брандмауэром с использованием надежного IP-адреса)
.

Odp. Нет. На наборе виртуальных машин, где находятся агенты для запуска, размещается всего один запуск нагрузочных тестов.
Odp. Максимальное число ядер для агентов тестирования нагрузки на каждый запуск равно 100. Если тестовым запускам требуется больше ядер, можно одновременно запустить 10 нагрузочных тестов.

Минимальное число виртуальных пользователей на ядро агента равно 1. Если нагрузочному тесту требуется больше ядер агента ИЛИ меньше виртуальных пользователей на ядро агента, обратитесь по адресу vsoloadtest@microsoft.com.

Odp. Если ваш тестовый запуск использует 25 или больше виртуальных пользователей на ядро, то VUM = (максимальная пользовательская нагрузка для вашего тестового запуска) * (длительность тестового запуска в минутах).

Если ваш тестовый запуск использует меньше 25 виртуальных пользователей на ядро, то VUM = (число ядер) * (25 виртуальных пользователей на ядро) * (длительность тестового запуска в минутах).

Минимальные значения, используемые для расчета VUM, составляют 25 виртуальных пользователей и 1 минута. Если значения тестового запуска меньше минимальных, они округляются до них. Например, если тестовый запуск указывает 20 виртуальных пользователей на 30 секунд, то тест будет выполнен с 25 виртуальными пользователями на 1 минуту, что составляет 25 VUM, а не 15.

Кроме того, длительность теста задается кратно минутам. Поэтому если длительность тестового запуска составляет 5 минут и 15 секунд, она округляется до 6 минут.

С вашей учетной записи списывается минимум в размере 250 VUM, включая период прогрева теста, за следующие операции:

  • Выполненные запуски, в зависимости от их полной длительности
  • Отмененные запуски, в зависимости от истекшего времени их выполнения

За запуски, завершившиеся в состоянии ошибки, VUM не списываются.

Чтобы узнать, сколько минут виртуального пользователя использовано или осталось на вашей учетной записи Visual Studio Team Services, перейдите на домашнюю страницу учетной записи Visual Studio Team Services (https://{ваша_учетная_запись}.visualstudio.com).

Odp. Пределы по ресурсам применяются к каждой учетной записи Visual Studio Team Services. Для каждой учетной записи вы получаете 20 000 минут виртуальных пользователей в месяц. Если для нагрузочного теста вам требуется больше минут виртуальных пользователей, попросите владельца вашей учетной записи получить дополнительные ресурсы для вашей учетной записи Visual Studio Team Services.

Если пределы по бесплатным ресурсам исчерпаны и вы не приобрели дополнительные ресурсы, отображается следующее сообщение:

This run exceeds the maximum allowed usage for this month. The current usage for your account for this month (including runs in progress) is 8000 and the maximum allowed usage is 20 000. To learn more about usage limits and how to modify them, refer to https://go.microsoft.com/fwlink/?LinkId=303976. (Этот запуск превышает максимально допустимый уровень использования в этом месяце. Текущее использование для вашей учетной записи на этот месяц (включая выполняемые запуски) составляет 8000, а максимально допустимый уровень использования равен 20 000. Дополнительные сведения о пределах использования и их изменении см. по адресу https://go.microsoft.com/fwlink/?LinkId=303976.)

Настройка тестов

Odp. Чтобы указать разные значения для облачного нагрузочного тестирования, используйте CSV-файл или таблицу Excel. Использование SQL Server сейчас не поддерживается. Сведения о задании этих значений для теста см. здесь.

Odp. Число агентов, используемых в запуске, зависит от тестов. Если при запуске теста выдается ошибка, возможно, следует увеличить число ядер агентов. При выполнении нагрузочного теста в Visual Studio Team Services с использованием Visual Studio IDE число ядер агентов можно изменить.

IC666801

Число агентов (всего ядер)

Что это означает?

  • 0: (по умолчанию) число ядер зависит от числа виртуальных пользователей, указанных для теста.
  • 1: ваш тестовый запуск будет использовать 1 агент с 1 ядром.
  • 2 или больше: каждый агент всегда будет использовать 2 ядра. Например, если значение равно 4, выделяется 2 агента, каждый из которых использует по 2 ядра. Если значение равно 3, все равно выделяется 2 агента, каждый из которых использует по 2 ядра. Вы не получите 1 агент с 2 ядрами или 1 агент всего с 1 ядром.

Число агентов также зависит от тестового набора (веб-тест производительности или модульный тест). Если у вас имеются только веб-тесты производительности, рекомендуется использовать от 250 до 1000 виртуальных пользователей на каждые 2 ядра. Если у вас имеются модульные тесты, число агентов зависит от операций, выполняемых этими тестами. Это означает, что вам потребуется проверить, достаточно ли у вас агентов, запустив сокращенный нагрузочный тест, либо воспользоваться нагрузочным тестированием на базе целей.

Odp. Вы можете использовать варианты развертывания и скрипт настройки в параметрах тестирования. Вы можете добавить в окно развертывания файлы EXE или другие файлы, которые хотите развернуть на агенте, а с помощью скрипта настройки эти файлы можно установить на агентах.

Все элементы, развертываемые на агентах, копируются в каталог соответствующего агента. Обратиться к расположению этого каталога можно с помощью %DeploymentDirectory% в скрипте настройки и очистки. Например, если требуется установить WebDeploy на компьютере агента, следует добавить WebDeploy_x64_en-US.msi в окно развертывания. Setup.cmd будет выглядеть как %DeploymentDirectory%WebDeploy_x64_en-US.msi /passive.

Запуск и мониторинг нагрузочных тестов

Odp. Вы можете просмотреть состояние службы на портале поддержки Visual Studio Team Services (в верхней части страницы), а также в нашем блоге по службе. Вы также можете подписаться на оповещения о состоянии службы, выполнив указания из этой публикации на нашем форуме поддержки.

Odp. Запуск нагрузочного теста с использованием Visual Studio Team Services может иметь следующие состояния:

  • В процессе выполнения: тест выполняется в облаке.
  • Завершено: тестовый запуск выполнен успешно.
  • Прервано: тестовый запуск был прерван пользователем, нажавшим кнопку останова. Это состояние также возникает при наличии неполадок, связанных с нагрузочным тестом. Например, прерванное состояние может возникнуть при наличии проблем со скриптами теста.
  • Ошибка: тестовый запуск был остановлен из-за ошибки в самой службе. Например, в службе могла возникнуть проблема с инфраструктурой, из-за чего продолжение теста невозможно. Эта проблема вызвана не нагрузочным тестом или скриптами теста.
Ответ: так как это известная проблема, вам следует использовать следующий обходной путь:

  1. Запустите Блокнот с правами администратора
  2. .

  3. Откройте файл devenv.exe.config (обычно он находится в: «C:Program Files (x86)Microsoft Visual Studio 12.0Common7IDE»)
  4. .

  5. Измените значение bindingRedirect на: «8.0.0.0-14.0.0.0»
        
        
    

Устранение неполадок

Odp. Если средство записи веб-тестов не включено, когда вы пытаетесь записать веб-тест с помощью Internet Explorer 11, для устранения проблемы перейдите сюда.

Odp. Во время выполнения нагрузочного теста выводятся сообщения о состоянии и ошибки теста. Сообщения о состоянии содержат сведения о самом запуске нагрузочного теста, например о потере соединения с базой данных результатов. Ошибки теста связаны с тестом. Просмотрите оба этих сообщения на вкладке «Сведения» графа хода выполнения.

IC696061

Odp. Если в ошибке указано о том, что сейчас подключение закрыто, можно задать период времени, который подключение ожидает до закрытия. Задайте ключевые слова ConnectTimeout или Connection Timeout в строке подключения. Не задавайте 0 в качестве времени ожидания в ConnectionString, так как подключение будет бесконечно пытаться установить связь.
Odp. Если это происходит, вам следует взять ключ продукта Visual Studio Ultimate из своей подписки MSDN и использовать параметр «Изменить мою лицензию на продукт» на странице с информацией о продукте. Это следует сделать на каждом компьютере, где требуется запустить нагрузочные тесты с помощью Visual Studio Team Services. Для получения ключа продукта посетите этот сайт.

Odp. Начиная с 26 ноября 2014 года вам следует добавлять в вызовы REST API информацию о версии. Если вызов завершается с сбоем и исключением VssVersionNotSpecifiedException, следует включить в вызовы REST API строку ?api-version=1.0-preview.1. Для этого следуйте приведенным здесь инструкциям.

Odp. Имена тестов в нагрузочных тестах преобразуются в нижний регистр при выполнении теста с помощью Visual Studio Team Services. Любое сравнение строк, выполняемое пользовательским кодом для имени теста, должно не учитывать регистр либо преобразовывать имена тестов в нижний регистр.
Ответ: воспользуйтесь текстовым редактором, чтобы изменить файл devenv.exe.config. Обычно она находится в «C:Program Files (x86)Microsoft Visual Studio 12.0Common7IDE».

    1. Добавьте следующую строчку в раздел :
      
      

      Здесь XXX может принимать одно из следующих значений:

      • all — регистрация всех сообщений
      • off — остановка регистрации всех сообщений
      • critical — регистрация только критических сообщений
      • error — регистрация только ошибок и критических сообщений
      • warning — регистрация ошибок, критических сообщений и предупреждений (по умолчанию)
      • information — регистрация ошибок, критических сообщений, предупреждений и информационных сообщений
      • verbose — регистрация ошибок, критических сообщений, предупреждений, информационных и подробных сообщений

 

  1. Добавьте следующий раздел в конец файла devenv.exe.config, прямо перед закрывающим тегом. Вы можете указать путь к файлу журнала, изменив значение initializeData.
        
     
     
     
     
     
    
     
     
     
     
     
    
  2. Перезапустите Visual Studio 2013 и воспроизведите неполадку. После этого вы можете просмотреть файл журнала или передать его в службу поддержки. Файл журнала находится в %Temp%ELSClient.
Odp. Для Visual Studio 2013 с обновлением 4 и более поздних версий значение по умолчанию для свойства TimingDetailsStorage было изменено с AllIndividualDetails на None. Если вы хотите собирать отдельные значения времени, следует задать для свойства TimingDetailsStorage значение AllIndividualDetails. Щелкните здесь для получения дополнительных сведений.

Ошибки

Odp. При возникновении одной из следующих ошибок:

  • VS1550064
  • VS1550072
  • VS1550078
  • VS1550081
  • VS1550082
  • VS1550083

обратитесь в службу поддержки Visual Studio Team Services. При этом вам потребуется сообщить идентификатор тестового запуска.

Odp. Если вы вручную вносили изменения в XML-файл LOADTEST, может возникать следующая ошибка:

  • VS1550084

Откройте файл и отмените добавленные изменения. Перезапустите нагрузочный тест. Он должен быть выполнен успешно.

Odp. Если вы вручную вносили изменения в XML-файл LOADTEST, могут возникать следующие ошибки:

  • VS1550026
  • VS1550027

Откройте файл и отмените добавленные изменения. Перезапустите нагрузочный тест. Он должен быть выполнен успешно.

Odp. Если закрыть мастер нагрузочных тестов без завершения его работы, может возникнуть следующая ошибка:

  • VS1550030

Чтобы устранить неполадку, создайте другой нагрузочный тест и удалите тот, который не удалось выполнить.

Odp. Обычно эти ошибки вызваны проблемами со службой облачного нагрузочного тестирования. Просто попробуйте запустить нагрузочный тест еще раз. Если проблема не устранена, обратитесь в службу поддержки Visual Studio Team Services. При этом вам потребуется сообщить идентификатор тестового запуска.
Odp. Перейдите сюда, чтобы получить сведения о других ошибках и их возможном устранении.

Использование облачной службы

Начните работу бесплатно

Самостоятельное размещение

Загрузите пробную версию