Integration Testing은 AI가 당신을 위해 건너뛸 수 없는 부분이다

플랫폼이 작동한다. End-to-end, 끝까지 다: log in, lobby 둘러보기, 테이블에 앉기, 좌석 보기, buy-in 다이얼로그 열기, 한 핸드 관찰하기.

여기까지 오는 데 네 개의 포스트가 걸렸다. 라우팅 버그, 데이터 포맷 미스매치, 깨진 auth guard, 코드 변경을 조용히 무시하던 개발 환경.

Integration testing도 걸렸다. 이 포스트가 다루는 주제다.

테스팅 단계가 어떻게 보였는가

우리는 Playwright로 테스트했다 — 실제 브라우저 상호작용을 스크립트화하고 결과를 검증하는 브라우저 자동화 도구다. 실제 브라우저. 실제 요청. 실제 렌더된 UI.

세션: 테스트 자격증명으로 log in, lobby 도달, 테이블 카드가 올바른 높이로 렌더되는지 확인, 테이블로 네비게이트, 헤더 바에 lobby 버튼과 help 버튼이 있는지 확인, seat picker가 모든 열린 좌석을 렌더하는지 확인.

첫 실행에서 모든 단계가 실패했다.

Table card가 572픽셀 높이였는데, 그 이유는 CSS Grid가 행에 아이템이 하나만 있을 때 기본적으로 align-items: stretch를 적용하기 때문이다. 아무도 이걸 명시하지 않았다. 아무도 의도적으로 망가뜨리지 않았다. 그냥 CSS가 하는 일이다.

테이블로 네비게이트하면 브라우저가 redirect 루프에 들어갔다. Auth guard가 절대 채워지지 않는 router context 값을 체크하고 있었다.

이것들은 AI 특유의 실패 모드가 아니다. 전체 스택이 함께 돌 때만 나타나는 버그의 종류다. 사람이 작성한 코드에서도 똑같이 나타났을 것이다. 테스팅 단계는 어쨌든 이걸 잡아낸다.

왜 AI가 생성한 코드도 여전히 이게 필요한가

AI 지원 개발을 테스팅을 옵션으로 취급하는 버전이 있다. 추론: spec이 정확하고, 에이전트가 spec을 구현하니까, 따라서 구현이 정확하다.

이 추론은 통합 레이어에서 실패한다.

개별 컴포넌트들은 각자 자신의 spec을 정확하게 구현하면서도 서로 소통하는 데 실패할 수 있다. Spec은 격리된 동작을 기술한다. Integration testing은 조합된 동작을 검증한다. 시스템의 모든 도메인을 커버하는 100페이지 사양도 모든 CSS Grid 기본값과 모든 router context 초기화 순서를 기술하지는 않는다.

그것을 실행해보는 것이 그것을 실행해보는 게 어떤지 보는 유일한 방법이다.

인간이 여전히 하는 일

테스팅 세션의 모든 실패는 브라우저를 지켜보는 사람이 식별했다. Lobby card가 전체 높이로 늘어난 것 — 그 관찰은 시각적이고, 로그되지 않는다. 테이블이 빈 채로 로드된 것 — 그것은 network request를 보고 404를 알아차려야 했다. Redirect 루프는 브라우저의 네비게이션 히스토리를 따라가서 추적했다.

이런 관찰들은 AI가 진단에 관여하기 전에 일어난다. 에이전트는 당신이 묘사한 버그를 추적할 수 있다. 묘사는 동작이 어떻게 보여야 하는지 이해하는 인간을 요구한다.

이것은 방법론의 한계가 아니다. 방법론이 올바르게 작동하는 것이다. 인간은 시스템을 정의하고, 출력을 검증하고, 실패를 에스컬레이션한다. 에이전트는 진단하고 수정한다. 그 분업은 테스팅 단계 내내 유지된다.

우리가 지금 어디 있는가

Dev 환경이 end-to-end testing을 통과한다. 플랫폼은 운영적으로 준비됐다. 지금부터 open beta까지: staging에서 최종 검증, card payment processor 통합, geofencing enforcement.

테스팅 단계는 끝나지 않았다. 스택 위로 옮겨갔을 뿐이다.

salty.poker changelog는 우리가 ship할 때마다 업데이트된다. 빌드를 실시간으로 추적하고 싶다면 따라가라.

엔지니어링 방법론에 대한 전체 시리즈를 위해 — spec이 어떻게 세션을 이끄는지, 테스팅 단계를 통과하는 아키텍트의 역할이 어떻게 보이는지, 그리고 거의 30년의 소프트웨어 구축이 반복에 대해 무엇을 가르쳐주는지 — 그 시리즈는 The Salty Korean에서 병렬로 진행된다.

Stay salty.