클라우드 기반 부하 테스트 FAQ

이 섹션에서는 클라우드 기반 부하 테스트와 관련하여 문제를 해결하거나 질문에 답변하는 데 도움이 되는 FAQ를 제공합니다.

앱 구성

답변: 인터넷에서 사용할 수 있는 모든 앱은 Visual Studio Team Services를 사용하여 부하 테스트할 수 있습니다. 여기에서 시작하세요.

앱이 내부 앱이거나 아직 릴리스되지 않아 방화벽으로 보호된 경우에도 클라우드 기반 부하 테스트를 사용할 수 있습니다. 자세한 내용은 Load testing applications behind a firewall using Trusted IP(신뢰할 수 있는 IP를 사용하여 방화벽으로 보호된 응용 프로그램 부하 테스트)를 참조하세요.

일반

답변: 클라우드에서 부하 테스트를 실행할 수 있는 권한을 얻으려면 지역에 관계없이 5초에서 3시간까지 걸릴 수 있습니다. 이전에 Visual Studio Team Services 계정을 만든 경우에는 바로 부하 테스트를 실행할 수 있습니다.
답변: 모릅니다. 현재 mstest를 사용한 부하 테스트 실행은 지원되지 않습니다.
답변: 기본적으로 로컬 SQL Express 데이터베이스에 저장됩니다. SQL Express는 평가판 실행의 테스트 결과를 저장하는 데 사용됩니다. 더 많은 부하 테스트 결과를 다운로드할 때는 성능 향상을 위해 SQL Server를 대신 사용하세요. SQL Server를 사용하려면 이러한 지침을 따르세요.

답변: Visual Studio 2013 업데이트 5 및 Visual Studio 2015부터는 부하 테스트 실행을 구성할 때 테스트 에이전트 위치를 선택할 수 있습니다. 전 세계의 지원되는 Azure 데이터 센터에서 위치를 선택하세요. 이전 버전의 Visual Studio를 사용하고 있는 경우 어떻게 되나요?

실행이 완료되면 결과가 Visual Studio Team Services 계정과 동일한 위치에 저장됩니다.

이전 버전의 Visual Studio를 사용하고 있는 경우 에이전트 위치는 Visual Studio Team Services 계정을 만들 때 선택한 위치를 기반으로 합니다.

Visual Studio Team Services 계정 영역
미국 중남부
유럽 서부

테스트 에이전트 Azure 데이터 센터
미국 동부 2
유럽 서부

앱이 방화벽으로 보호된 경우 신뢰할 수 있는 IP로 방화벽을 구성하여 앱을 부하 테스트할 수 있습니다. 신뢰할 수 있는 IP를 요청하고 내부 앱을 부하 테스트할 때 이 IP를 사용하는 방법을 알아보려면
Load testing applications behind a firewall using Trusted IP(신뢰할 수 있는 IP를 사용하여 방화벽으로 보호된 응용 프로그램 부하 테스트)를 참조하세요.
.

답변: 모릅니다. 에이전트가 해당 실행에 대해 호스트되는 가상 컴퓨터 집합에서는 하나의 부하 테스트 실행만 호스트됩니다.
답변: 각 실행에 대한 부하 테스트 에이전트의 최대 코어 수는 100개 코어입니다. 테스트 실행에 더 많은 코어가 필요한 경우 동시에 10개의 부하 테스트를 실행할 수 있습니다.

에이전트 코어당 최소 가상 사용자 수는 1입니다. 부하 테스트에 더 많은 에이전트 코어 또는 에이전트 코어당 더 적은 가상 사용자가 필요한 경우 vsoloadtest@microsoft.com에 문의하세요.

답변: 테스트 실행에서 코어당 25명 이상의 가상 사용자를 사용하는 경우 VUM = (테스트 실행의 최대 사용자 부하) * (테스트 실행 지속 시간(분))입니다.

테스트 실행에서 코어당 25명 이하의 가상 사용자를 사용하는 경우 VUM = (코어 수) * (코어당 가상 사용자 수 25) * (테스트 실행 지속 시간(분))입니다.

VUM을 계산하는 데 사용되는 최소값은 25명의 가상 사용자와 1분입니다. 테스트 실행 값이 최소값보다 작은 경우 해당 값은 최소값을 충족하도록 올림됩니다. 예를 들어 테스트 실행에서 30초 동안 20명의 가상 사용자를 지정하는 경우 실제로 테스트는 1분 동안 25명의 가상 사용자로 실행되어 15 VUM이 아니라 25 VUM이 됩니다.

또한 테스트 실행 지속 시간은 분 단위입니다. 따라서 테스트 실행 지속 시간이 5분 15초이면 해당 지속 시간은 6분으로 올림됩니다.

다음과 같은 경우 테스트 준비 기간을 포함하여 최소 250 VUM이 계정에서 공제됩니다.

  • 실행의 전체 기간을 기반으로 하는 완료된 실행
  • 경과된 실행 지속 시간을 기반으로 하는 중단된 실행

오류 상태로 종료된 실행의 경우 VUM이 계정에서 공제되지 않습니다.

Visual Studio Team Services 계정에서 사용했거나 남아 있는 가상 사용자 시간(분)을 확인하려면 Visual Studio Team Services 계정 홈 페이지(https://{youraccount}.visualstudio.com)로 이동하세요.

답변: 리소스 제한은 각 Visual Studio Team Services 계정에 적용됩니다. 각 계정에 대해 매월 2만분의 무료 가상 사용자 시간을 받습니다. 부하 테스트에 가상 사용자 시간(분)이 더 필요할 경우 Visual Studio Team Services 계정 소유자에게 추가 리소스를 구입하도록 하세요.

무료 리소스 제한이 부족한데 추가 리소스를 구입하지 않은 경우 다음과 같은 상태 메시지가 표시됩니다.

이 실행은 이달에 허용된 최대 사용량을 초과합니다. 이달 계정의 현재 사용량(진행 중인 실행 포함)은 8천이며 허용된 최대 사용량은 2만입니다. 사용량 제한 및 수정 방법에 대한 자세한 내용은 https://go.microsoft.com/fwlink/?LinkId=303976을 참조하세요.

테스트 구성

답변: .csv 파일이나 Excel 스프레드시트를 사용하여 클라우드 기반 부하 테스트에 다른 값을 제공할 수 있습니다. 현재 SQL Server는 사용할 수 없습니다. 테스트에 이러한 값을 제공하는 방법을 알아보려면 여기로 이동하세요.

답변: 실행에 사용되는 에이전트 수는 테스트를 기반으로 합니다. 테스트를 실행할 때 오류가 표시되면 에이전트 코어 수를 늘려야 할 수 있습니다. Visual Studio Team Services에서 Visual Studio IDE를 사용하여 부하 테스트하는 경우 에이전트 코어 수를 변경할 수 있습니다.

IC666801

에이전트 개수(총 코어 수)

이 값의 의미는 무엇인가요?

  • 0: (기본값) 코어 수가 테스트에 지정한 가상 사용자 수를 기반으로 합니다.
  • 1: 테스트 실행에서 1개의 코어를 사용하는 1개의 에이전트를 사용합니다.
  • 2 이상: 각 에이전트에서 항상 2개의 코어를 사용합니다. 예를 들어 값이 4이면 각각 2개의 코어를 사용하는 2개의 에이전트를 사용합니다. 값이 3인 경우에도 각각 2개의 코어를 사용하는 2개의 에이전트를 사용합니다. 2개의 코어를 사용하는 1개의 에이전트 및 1개의 코어만 사용하는 1개의 에이전트는 사용할 수 없습니다.

에이전트 수는 테스트 조합(웹 성능 테스트 또는 단위 테스트)에 따라서도 달라집니다. 웹 성능 테스트만 있는 경우 2개의 코어마다 250~1000명의 가상 사용자를 사용하는 것이 좋습니다. 단위 테스트를 사용하는 경우 에이전트 개수는 단위 테스트의 역할에 따라 달라집니다. 즉, 더 짧은 기간의 부하 테스트를 실행하여 에이전트가 충분한지 테스트하거나 goal-based load testing(목표 기반 부하 테스트)을 사용해야 합니다.

답변: 배포 옵션 및 테스트 설정의 설치 스크립트를 사용할 수 있습니다. 에이전트에 배포하려는 .exe 파일이나 다른 파일을 배포 창에 추가하고 설치 스크립트를 사용하여 에이전트에 설치할 수 있습니다.

에이전트에 배포된 모든 항목이 에이전트의 디렉터리에 복사됩니다. 이 디렉터리의 위치는 설치 및 정리 스크립트에서 %DeploymentDirectory%를 사용하여 액세스할 수 있습니다. 예를 들어 에이전트 컴퓨터에 WebDeploy를 설치하려면 WebDeploy_x64_en-US.msi를 배포 창에 추가해야 합니다. Setup.cmd는 %DeploymentDirectory%WebDeploy_x64_en-US.msi /passive와 같이 표시됩니다.

부하 테스트 실행 및 모니터링

답변: 서비스 상태는 Visual Studio Team Services 지원 포털 페이지 맨 위 및 서비스 블로그에서 확인할 수 있습니다. 또한 지원 포럼의 이 게시물에 따라 서비스 상태에 대한 경고를 구독할 수 있습니다.

답변: Visual Studio Team Services를 실행하는 경우 부하 테스트 실행에 대한 상태는 다음과 같습니다.

  • 진행 중: 테스트 실행이 클라우드에서 현재 실행되고 있습니다.
  • 완료됨: 테스트 실행이 완료되었습니다.
  • 중단됨: 사용자가 중지 단추를 클릭하여 테스트 실행이 중지되었습니다. 이 상태는 부하 테스트와 관련된 문제가 있는 경우에도 발생할 수 있습니다. 예를 들어 테스트 스크립트에 문제가 있는 경우 중단됨 상태가 발생할 수 있습니다.
  • 오류: 서비스 자체의 오류로 인해 테스트 실행이 중지되었습니다. 예를 들어 서비스에 인프라 문제가 있어 테스트를 계속 실행할 수 없습니다. 이 상태는 부하 테스트 또는 테스트 스크립트로 인해 발생되는 문제가 아닙니다.
A: 알려진 문제로 인해 현재 다음 해결 방법을 사용해야 합니다.

  1. 관리자 권한으로 메모장 시작
  2. devenv.exe.config 파일 열기(이 파일은 일반적으로 “C:Program Files (x86)Microsoft Visual Studio 12.0Common7IDE”에 있음)
  3. bindingRedirect 값을 “8.0.0.0-14.0.0.0″으로 변경
        
        
    

문제 해결

답변: Internet Explorer 11에서 웹 테스트를 시도하고 기록할 때 웹 테스트 레코더를 사용할 수 없으면 여기로 이동하여 문제를 해결하세요.

답변: 부하 테스트가 실행되는 동안 상태 메시지 및 테스트 오류가 보고됩니다. 상태 메시지는 결과 데이터베이스에 대한 연결이 끊긴 경우처럼 부하 테스트 실행 자체에 대한 정보를 제공합니다. 테스트 오류는 테스트와 관련이 있습니다. 이러한 메시지는 모두 진행률 그래프의 세부 정보 탭에서 확인할 수 있습니다.

IC696061

답변: 연결의 현재 상태가 닫혀 있다는 오류가 표시되면 시간이 초과되기 전까지 연결이 대기하는 시간을 설정할 수 있습니다. 연결 문자열에서 ConnectTimeout 또는 연결 시간 제한 키워드를 설정하세요. 연결에서 무기한으로 계속 연결을 시도하므로 ConnectionString에서 시간 제한 값으로 0을 설정하지 마세요.
답변: 이런 경우 MSDN 구독에서 Visual Studio Ultimate 제품 키를 가져오고 제품 정보 페이지의 “제품 라이선스 변경” 옵션을 사용해야 합니다. Visual Studio Team Services를 사용하여 부하 테스트를 실행하려는 모든 컴퓨터에서 이 작업을 수행해야 합니다. 제품 키를 받으려면 이 사이트를 방문하세요.

답변: 2014년 11월 26일부터는 버전 정보를 REST API 호출에 추가해야 합니다. VssVersionNotSpecifiedException 예외로 인해 호출이 실패할 경우 ?api-version=1.0-preview.1을 REST API 호출에 포함해야 합니다. 이렇게 하려면 여기의 지침을 따르세요.

답변: 부하 테스트의 테스트 이름은 Visual Studio Team Services를 사용하여 테스트가 실행될 때 소문자로 변환됩니다. 테스트 이름에서 사용자 코드에 따라 수행된 모든 문자열 일치는 대/소문자를 무시하거나 테스트 이름을 소문자로 변환해야 합니다.
A: 텍스트 편집기를 사용하여 devenv.exe.config를 편집합니다. 이 파일은 일반적으로 “C:Program Files (x86)Microsoft Visual Studio 12.0Common7IDE”에 있습니다.

    1. 다음 줄을 섹션 내에 추가합니다.
      
      

      여기서 XXX는 다음 중 하나일 수 있습니다.

      • all – 모든 메시지 로깅
      • off – 메시지 로깅 중지
      • critical – 중요 메시지만 로깅
      • error – 오류와 중요 메시지만 로깅
      • warning – 오류, 중요 메시지 및 경고 메시지 로깅(기본값)
      • information – 오류, 중요, 경고 및 정보 메시지 로깅
      • verbose – 오류, 중요, 경고, 정보 및 자세한 정보 표시 메시지 로깅

 

  1. devenv.exe.config 파일 아래쪽 닫는 태그 바로 위에 다음 섹션을 추가합니다. initializeData 값을 변경하여 로그 파일의 경로를 지정할 수 있습니다.
        
     
     
     
     
     
    
     
     
     
     
     
    
  2. Visual Studio 2013을 다시 시작하고 문제를 재현합니다. 그런 다음 로그 파일을 검토하거나 지원 팀과 공유할 수 있습니다. 로그 파일은 %Temp%ELSClient에 있습니다.
답변: Visual Studio 2013 업데이트 4 이상 버전의 경우 TimingDetailsStorage 속성의 기본값이 AllIndividualDetails에서 None으로 변경되었습니다. 개별 타이밍을 수집하려면 TimingDetailsStorage 속성을 AllIndividualDetails로 특별히 설정해야 합니다. 자세한 내용은 여기를 참조하세요.

오류

답변: 다음 오류 중 하나가 표시되는 경우:

  • VS1550064
  • VS1550072
  • VS1550078
  • VS1550081
  • VS1550082
  • VS1550083

Visual Studio Team Services 지원에 문의하세요. 이때 테스트 실행 ID를 제공해야 합니다.

답변: .loadtest xml 파일을 수동으로 편집할 경우 다음 오류가 발생할 수 있습니다.

  • VS1550084

파일을 열고 추가한 변경 내용을 되돌립니다. 부하 테스트를 다시 실행하면 실행이 완료됩니다.

답변: .loadtest xml 파일을 수동으로 편집할 경우 다음과 같은 오류가 발생할 수 있습니다.

  • VS1550026
  • VS1550027

파일을 열고 추가한 변경 내용을 되돌립니다. 부하 테스트를 다시 실행하면 실행이 완료됩니다.

답변: 부하 테스트 마법사를 완료하지 않고 닫은 경우 다음 오류가 발생할 수 있습니다.

  • VS1550030

이 문제를 해결하려면 다른 부하 테스트를 만들고 실행되지 않은 부하 테스트를 삭제하세요.

답변: 이러한 오류는 일반적으로 클라우드 기반 부하 테스트 서비스의 문제로 인해 발생합니다. 부하 테스트를 다시 실행하면 됩니다. 문제가 계속되면 Visual Studio Team Services 지원에 문의하세요. 이때 테스트 실행 ID를 제공해야 합니다.
답변: 해당하는 경우 다른 오류 및 해결 방법에 대한 정보를 찾으려면 여기로 이동하세요.

클라우드 서비스 사용

무료로 시작하기

직접 호스트

평가판 다운로드