안드로이드 프로젝트에서 유닛 테스트에 사용할 만한 Test Frame은 Mockito, PowerMock, Roboletric 정도가 있다. 여기에서는 이 셋의 차이점을 알아보고 언제 무엇을 사용할 것인가를 제안하려 한다.


결론부터 말하면 기본적으로 Mockito를 이용하자.

그리고 Mockito의 제한으로 인해 static method 혹은 private method를 테스트 해야 한다면 PowerMock을 이용하자.

가능하다면 Roboletric은 이용하지 말자.

아래에는 각 툴에 대해 살펴보고 이렇게 결론을 내린 이유를 적어본다.



Mockito


mock 객체를 쉽게 만들 수 있게 해주는 도구들 중에는 EasyMock, jMock, Mockito 등이 있으나 현재는 Mockito가 대세이다. 이것은 구글 트렌드에서 확인할 수 있다.



 

http://kwon37xi.egloos.com/4126439 블로그 링크를 보면,  jMock 과 EasyMock을 비교하는데 결론은 엉뚱하게도 Mockito 였다. 글이 2009년에 작성된 글이라 지금은 크게 의미가 없는 내용이긴 하지만 글 마지막에 왜 Mockito로 트렌드가 바뀌었는지에 대한 힌트를 얻을 수 있다. 


그 이유가 Mockito가 마틴 파울러가 이야기한 Mocks aren't Stubs의 원칙을 지키는 프레임워크이기 때문이라고 한다.

(원문글: http://martinfowler.com/articles/mocksArentStubs.html
번역글: http://so-blog.net/2016/05/09/mock_stub/
http://testing.jabberstory.net/)


그리고 여기에 대해 추가로 '왜 Mockito가 좋은가'에 대해 작성한 글이 있는데
http://kwon37xi.egloos.com/4165915 도 참고하면 좋을 것 같다.


Mockto 사용법에 대해서는
공식문서(영문): http://static.javadoc.io/org.mockito/mockito-core/2.2.7/org/mockito/Mockito.html
혹은 누군가 한글로 정리해 둔 아래 링크를 참고하자.
http://bestalign.github.io/2016/07/08/intro-mockito-1/
http://bestalign.github.io/2016/07/10/intro-mockito-2/


하지만 Mockito에는 몇 가지 제약이 있다. 

(https://github.com/mockito/mockito/wiki/FAQ 의 limitation 항목 참고)

그 중 테스트 케이스를 작성하는 데 가장 문제가 되는 부분이 private method와 static method에 대한 mock 을 만들 수 없는 것이다.


static method에 대한 mock을 제공하지 않는 이유에 대해 Mockito팀은 static method는 object orient 와 dependency injection을 사용하는 것이 좋다는 입장이라 구현하지 않는다고 한다. 만약 레거시 코드의 테스트 케이스 작성에 이용하고 싶다면 PowerMock 같은 툴을 이용하라고 한다. 

(static method 관련해서는 Mockito에도 작업중이라는 메일링 리스트의 답글이 있긴 하다)


private method에 대한 mock을 제공하지 않는 이유에 대해서는 아래와 같이 이야기 한다.
1. 기술적으로 추가 작업이 필요하고
2. protected나 package로 메소드의 접근자를 변경하는 간단한 work-around도 있고
3. 담당할 사람도 부족하고 이미 그것을 구현한 PowerMock이라는 툴도 있다.
4. 마지막으로 private method를 mock으로 만들어야 한다면 그것은 OO 측면에서 뭔가 잘못되어 간다는 신호라는 뜻이다.

(https://github.com/mockito/mockito/wiki/Mockito-And-Private-Methods 참고)

 

 

PowerMock

일반적으로 Mockito의 제약을 해결하기 위해 PowerMock을 이용한다.

다만!!! PowerMock 설명에 따르면 PowerMock은 unit testing 에 대해 전문적인 지식을 가진 사람을 위한 것이고, 익숙하지 않는 개발자에게는 좋은 점보다 나쁜 점이 더 많을 수 있다고 한다. (https://github.com/jayway/powermock)

아마도 객체 지향 원칙을 지키지 않아도 되도록 만든다는 측면이 있어서 그렇다고 생각된다.


그럼에도 불구하고 레거시 코드에 대한 테스트 코드를 작성해야 한다거나, 일정상 OO 측면을 조금 무시하고 작성한 코드에 대한 테스트 코드를 작성하려 할 때 PowerMock을 이용하면 되겠다.


정확하게는 우리가 이용할 클래스는 PowerMockito 클래스이다.
PowerMock은 EasyMock과 Mockito에 새로운 feature를 추가한 것이라 생각하면 되고, 

PowerMock 클래스는 EasyMock 을 기반으로 한 것이고,
PowerMockito 클래스는 Mockito 을 기반으로 한 것이다.

현재의 대새는 Mockito라고 하니 PowerMockito를 주로 이용하면 될 것으로 생각된다.


PowerMockito는 아직 Mockito 2.0 베타버전 기반이기에 Mockito 최신 버전의 기능과 혼용해서 사용할 경우 문제가 발생할 수 있다. (PowerMockito에 Mockito의 새로운 버전을 통합하는 작업이 쉽지는 않은 듯 하여 PowerMockito가 기반으로 삼은 Mockito 버전은 최신 Mockito버전과 다를 수 있으니 Mockito 최신 기능 사용시 주의가 필요하다.)


실제 사용 방법은 아래의 링크에서 확인해 볼 수 있다.


static method mocking 예제 파일:
https://github.com/jayway/powermock/tree/master/modules/module-test/mockito/testng/src/test/java/samples/powermockito/testng/staticmocking


Using PowerMock with Mockick:
https://github.com/jayway/powermock/wiki/mockitousage#a-full-example-of-partial-mocking-of-a-private-method



 

Roboletric

Mockto가 익숙하지 않다면 가능하면 이용하지 말자.
Roboletric을 잘못 이용하여 작성한 테스트 케이스는 실제 테스트 결과를 assertion 하지 않는 Code coverage만 늘어날 것이다.


Roboletric의 기본적인 컨셉은 실제 디바이스에서 해야하는 테스트를 JVM 상에서 테스트 할 수 있도록 해 주는 것이다. 실제 디바이스에서 실행하는 것 보다는 시간적으로 물리적으로 이점이 많지만, 비지니스 로직을 테스트 하기 위해서라면 테스트에 걸리는 시간이  많이 소요되고 결국 Mockito 등의 도움이 없으면 assertion하기 힘들다. 

그리고 테스트 케이스 코드 리뷰를 하다보면 Roboletric으로 테스트를 작성한 테스트 케이스는 타겟 메소드가 아닌 Roboletric 코드에 의존적인 assertion을 하는 경우가 많았다. 비지니스 로직은 가능한 Mockito 만으로 작성하도록 노력하자.


Roboletric을 이용하기에 적절한 테스트는 UI 동작을 테스트 하는데 이용하는 것이다.
http://robolectric.org/ 에서 보여주는 예제를 보고 생각해 보자. 

(http://robolectric.org/writing-a-test/ 도 UI 동작 테스트 예제이다)


하지만 Roboletric 만으로 UI 동작을 테스트 하는 코드를 작성하기에는 Roboletric에 대한 신뢰가 아직 부족한 듯 한다. 즉, 테스트가 실패 했을 때, 테스트 케이스가 문제인지,  나의 코드가 문제인지 Roboletric이 문제인지에 대해 확인이 어렵다는 것이다. 그리고 만들더라도 실제 디바이스와 Roboletric의 동작이 다를 가능성도 있다.


그리고 Android Framework 버전의 업데이트 속도를 바로 따라가지 못한다. 얼마전 까지만 해도 현재 sdk version 21까지만 지원하고 있었다. 그리고 최신 버전의 android support 라이브러리류 또한 문제가 있을 가능성이 높다.


단점만 쭉 적어 놓긴 했는데, Roboletric을 이용하는게 좋을 때도 있다.
특히 단위 테스트가 아닌 UI 동작 테스트 라던가, 멀티쓰레드 코드를 테스트 할 때는 도움이 된다고 하는 듯 하다.


반응형

설정

트랙백

댓글

참, 제목을 고르기 힘든데...

잠깐 상황을 설명하자면 Singleton (Utility class)에서 파라메터로 Context를 요구하는 메소드가 여럿 있는데, 이것 때문에 콜 스택에서 이것을 위해 몇 번이고 Context를 계속 넘겨줘야 하는 한다. 여기서 고민이 시작된다. 웬만하면 굳이 activity의 context가 없어도 application context만으로도 충분하니깐, application context를 어디에 저장해 두고 static method를 통해 가져오면 어떨까?


그래서 일반적으로 떠 올릴 수 있는 방법이 다음과 같다.


--- in AndroidManifest.xml ---

<application

android:name="MyApplication"

.

.

.



--- MyApplication.java ---

// The class name must be same to the name of application declared in AndroidManifest.xml

public class MyApplication extends Application {

private static Context sContext;


@Override

public void onCreate() {

super.onCreate();

sContext = getApplicationContext();

}


public static Context getAppContext() {

return sContext;

}

}


위와 같이 AndroidManifest.xml 파일의 <application> 에 android:name를 선언해 준다. 그리고 그와 같은 이름으로 Applciation을 상속받은 클래스를 만들고 onCreate()에서 Application Context를 static 변수에 저장을 한다. 이렇게 하면 Application이 시작될 때(다른 모든 컴포넌트들이 초기화 되는 것보다 빨리) Application Context가 초기화 되기 때문에 이 Context를 이용하여 Singleton을 초기화 하거나 혹은 다른 컴포넌트에서 Singleton을 이용할 때 Context에 대한 고민없이 이용할 수 도 있다.


그럴듯 해 보이지 않은가?

그런데 이렇게 작성하면 Static Field Leaks라는 android lint이슈가 발생한다.


말 그대로 Context 클래스를 static 필드에 저장하면 leak이 발생할 수 있다는 이야기다. 일반적으로 activity context를 어느 Singleton에 static으로 잡아 두었다고 생각해 보자. activity가 종료되어도 Singleton에 남아있는 activity에 대한 static reference 때문에 Application이 종료될 때 까지 activity가 Garbage Collection이 되지 않고 메모리에 남아 leak을 발생시킨다.


그런데 application context도 같을까? 안드로이드 팀에서 공식적으로 여기에 대해서 언급한 것은 없다. 다만 Application 클래스의 레퍼런스 문서를 보면 아래와 같은 내용이 나온다.


Note: There is normally no need to subclass Application. In most situations, static singletons can provide the same functionality in a more modular way. If your singleton needs a global context (for example to register broadcast receivers), include Context.getApplicationContext() as a Context argument when invoking your singleton's getInstance() method.


Application을 상속받아 global context를 이용해도 되는데, 그것 보다는 Context argument를 이용하는게 singleton을 더 모듈화할 수 있다고 적혀있다. 이걸로 유추했을 때, 위와 같이 이용해도 문제는 없으리라 생각된다.


또한, stackoverflow를 보면 저렇게 해도 문제가 없다는 의견이 많은 듯 하다. 다만 android core쪽에서 언제든 변경될 수 있기 때문에 지금은 문제가 없다 하더라도 미래를 생각하면 이용하지 않는 게 좋다는 것 같다.


회사의 다른 팀의 이야기를 들어봐도 위와 같이 이용했을 때, leak은 없었다는 이야기를 들었다.


결론적으로 나도 이 방법은 사용하지 않기로 하였다. 미래를 생각했을 때 공식적으로 인정받지 않은 로직을 피하고 싶기도 하고, Testability측면에서 모듈화 되어 있는 것이 더 낫다고 판단했다.



P.S

Application과 Activity의 생명주기에 대한 이해 없이 저 Context를 막 같다 쓸까봐 걱정되기도 했다.


반응형

설정

트랙백

댓글

 고전 IBM-PC게임에 관심이 있으신 분들은 두기의 고전게임이라는 블로그를 모두들 아시리라 생각합니다. 두기님이 만드신 도스게임런처는 정말 대단한 런처입니다. 하지만 한 차례의 블로그 폐쇄, 그리고 또 한번의 블로그 중단을 겪으면서 불만이 생겼습니다. (방금 들어가 보니 지금은 다시 운영을 하시는 것 같네요)


 두기님의 블로그에서는 게임에 맞는 설정 파일도 함께 제공했었는데요, 이 설정 파일은 다른 사람들은 알 수 없는 포맷으로 되어 있어서 다른 곳에서는 활용할 수 없다는 단점이 있었습니다. 또 다른 불만은 도스게임런처 자체가 비주얼 베이직으로 만든 것이다 보니 특정 라이브러리를 설치하지 않으면 실행할 수가 없었는데, 블로그에서 제공하던 ErrorFix.exe 파일도 구할 길이 없어서 난감했던 기억이 납니다.


그래서 결국 대안을 찾다가 발견한 것이 바로 DGBL: DOSBox Game Launcher입니다. 널리 쓰이고 있는 자바로 작성된 도스박스용 멀티 플랫폼 오픈소스 런처죠. 이 글에서는 런처의 간단한 이용법과 게임 추가 방법을 소개합니다. 이후에는 dosbox daum 버전을 추가하는 방법이던지 그외 DBGL 관련 내용들을 적어볼 생각합니다.


그럼 시작 하겠습니다.


1. DOSBox Game Launcher 다운로드 및 설치

http://members.quicknet.nl/blankendaalr/dbgl/#download

위 링크에 가시면 운영체제에 맞는 바이너리를 다운로드 할 수 있습니다.

대부분 윈도우를 사용하실 테니 Windows 쪽에 있는 바이너리를 받으시면 됩니다.

(이후에도 Windows 기준으로 설명하도록 하겠습니다)



Windows 박스 하단을 보면 작게 'Extract and run launch.exe' 라고 되어 있죠?

네, 그냥 받아서 압축을 풀고 launch.exe를 실행하시면 됩니다.

혹시 Java 설치가 안되어 있다고 나오는 분은 Oracle사의 Java홈페이지에서 다운로드 받으실 수 있습니다.

http://www.oracle.com/technetwork/java/javase/downloads/index.html







2. 실행 후 설정 할 것들

DGBL을 실행하고 나면 아래와 같은 화면이 보일 것입니다.



먼저 해야 할 것은 설정을 손보는 것입니다. File - Preferences를 선택하면 Settings창이 뜹니다.



Hide DOSBox Status Window 항목을 체크해 주세요. 도스박스 화면이 뜰 때 추가로 도스창이 하나 떠서 도스박스 상태를 보여주는데, 일반적으로는 귀찮기만 하죠. 나중에 문제가 생겼을 때 확인용으로 사용하면 됩니다.

다음은 Filename by profile title입니다. 기본값은 Unique ID인데요, 이게 숫자 1부터 증가되면서 올라갑니다. 직접 디렉토리를 손댈 일은 없습니다만 저는 별로더라고요. 어쨌거나 이건 권장 수준? 참고로 프로파일 디렉토리 이름만 바뀝니다. 버그인지 캡쳐 쪽 디렉토리 이름은 안바뀝니다.

마지막으로 Language는 당연히 한국어가 편하겠지요?



추가로 설정해야 할 항목이 있습니다. DBGL은 웹에서 게임 정보를 가져오는 기능이 있는데, 스크린샷 정보는 기본적으로 안 가져옵니다. 위와 같이 'Choose screenshots'를 체크해 두시면 게임 검색 시 텍스트 정보 뿐만 아니라 스크린샷도 가져올 수 있습니다. 커버 아트에 관심이 있으신 분은 커버 아트쪽도 체크해 주시면 좋겠네요.


설정을 마치고 나면 런처를 종료하고 다시 실행합니다. 그래야 한국어로 보이거든요.



한글화가 잘 되어 있죠? 사실 좀 이상하게 보이는 번역도 있어서..(대표적으로 개발자...) 기회가 된다면 이것도 업데이트 해서 DBGL 프로젝트쪽으로 리포팅할 예정입니다.


3. 게임을 추가해 봅시다

이제 게임을 추가해 볼까요? 여기서는 Master of Orion으로 추가하는 과정을 보여드리겠습니다. 왜냐하면 Master of Orion은 제가 gog.com에서 구입한 것이므로 부담없이...



위와 같이 DBGL압축을 풀면 여러 디렉토리가 생기는데요, 그 중 dosroot 디렉토리에 게임을 복사합니다. 다른 디렉토리에 있어도 상관은 없습니다만, 게임을 추가해 보면 저 디렉토리를 기본 디렉토리로 사용하고 있습니다. 그 말은 저 디렉토리안에 있으면 상대 주소를 사용할 수 있어서 이동성, 즉 dbgl80 디렉토리를 다른 곳으로 옮기거나 이름을 바꾸어도 상관이 없다는 뜻입니다.


게임을 원하는 위치에 복사를 하였으면 아래와 같이 게임 추가를 시작합니다.



그림의 'M' 이라는 아이콘을 클릭하면 해당 제목으로 MobyGames라는 사이트에서 게임을 검색하여 관련 게임 목록을 보여 줍니다. 정확한 게임을 선택하면 아래와 같이 게임 정보가 채워지고 다운로드 할 스크린샷을 선택하는 화면이 나옵니다.



게임 정보는 영어밖에 제공되지 않는 듯 합니다. DBGL관련해서 개인 목표 중 하나가 게임의 한글정보 데이터베이스를 구축하고 구축하고 해당 사이트를 저기에 추가하는 커스텀 버전을 만드는 것입니다. (하지만 언제?)


다운로드 할 스크린샷 이미지까지 선택하였다면 프로파일의 다른 항목들도 변경/추가해야 합니다. 개인적으로는 '기기'항목의 사이클을 max로 두는 것이 좋았습니다. 이것 때문에 게임이 너무 빨라져 못할 것 같다면 그 때 조정하면 되고요.


이제 필수 항목인 게임 디렉토리 설정을 해야겠지요?



'마운트' 탭으로 가서 마운트 기본 설정의 '추가'를 누르시고 마운트 디렉토리를 찾거나 직접 적어 주세요. 마운트의 의미는 C 드라이브를 저 디렉토리로 연결한다 정도로 생각하시면 됩니다. 보시면 디렉토리가 이름만 있지요? dosroot가 아닌 다른 디렉토리인 경우 전체 경로가 저기에 적히게 됩니다. 'D:\dbgl\games\Master_of_Orion' 이런식으로 말이죠. 전체 경로가 다 적히면 프로파일 설정의 이동성이 떨어지겠죠? 어쨌거나 다 되었으면 '확인'를 눌러 주세요.


이번에는 실행파일을 설정합니다.



위와 같이 기본에는 게임 실행 파일을 선택하시고, 설정에는 게임 설정 파일을 선택하시면 됩니다. Master of Orion의 경우 INSTALL.EXE가 게임 설치 및 환경 설정 기능까지 겸하고 있어 INSTALL.EXE를 설정 파일로 선택하였습니다. 설정은 필수가 아니니 해당 실행 파일이 없거나 모르면 비워 두셔도 상관은 없습니다. 다시 '확인'을 눌러주시면 게임이 추가됩니다.



자 이제 실행해 볼까요? 게임을 선택하여 Enter를 누르시거나 '프로파일 실행' 혹은 더블클릭을 하시면 됩니다. 게임이 잘 실행되는군요.



간단한 단축키를 말씀드리면 Ctrl + F5는 화면 캡쳐, Ctrl + F10은 마우스 Lock 해재, Ctrl + F9는 도스박스를 종료하는 단축키 입니다.



4. 프로파일 테이블 설정

추가로 프로파일 테이블 설정을 바꾸면 아래와 같이 볼 수도 있습니다. 아래와 같이 Large titles를 선택하면 보시는 것 처럼 큰 아이콘으로 보입니다. 그런데 게임DB에서 스크린샷을 선택하지 않으면 아래와 같이 게임 프로파일이 텅 비어 보입니다. 어떻게 해야 할까요?



당황하지 말고 다시 게임을 실행합니다. 그리고 원하는 화면에서 Ctrl + F5 단축키를 누릅니다. 도스박스 게임화면을 캡춰하는 단축키입니다. 그리고 다시 DBGL로 돌아와 보면 짜잔...



이렇게 프로파일에 이미지가 보여집니다.




5. 마치며...

사실 두기님의 도스게임런처를 이용하면 참 쉽습니다. 하지만 자의든 타의든 블로그가 페쇄가 되면 좀 난감해집니다.  그리고 고전게임사랑 카페와 고전게임소장 가페 사태를 기억하시나요? 저는 게임 자체는 별로 아쉽지 않았습니다. 제가 제일 아쉬웠던 점은 수많은 사람들이 자신의 추억을 기억하며 달아 둔 댓글들, 사람들이 올려 둔 자그마한 팁들 공략들이 다 사라진 것입니다. (쓰다보니 구글 그룹스에 고전게임 관련 그룹을 하나 만드는 것도 나쁘지 않은것 같네요.)


한 사람에게 집중된 시스템이 아닌 참여하고 발전시킬 수 있는 오픈소스 DBGL 한 번 이용해 보시지 않으렵니까?



P.S

생각난 김에 구글 그룹스에 그룹을 만들어 보았습니다.


자유게시판: https://groups.google.com/forum/#!forum/dbgl-ko

게임정보 게시판: https://groups.google.com/forum/#!forum/dbgl-ko-game-info


구글 그룹스 설정이 익숙하지 않아서 제대로 한건지는 모르겠습니다만, 자유게시판은 누구나 자유롭게 글을 쓸 수 있게 하였고, 게임정보 게시판은 그룹에 참가한 사람만 글을 작성할 수 있도록 하였습니다. 물론 참가는 자유롭게 할 수 있습니다.





반응형

설정

트랙백

댓글