https://arca.live/b/iloveanimal/29714047?showComments=all#c_122074454
별로 풀 썰도 없는데 자꾸 풀어달라고 요청 들어와서 썰 풀어준다.
과거 내가 담당하고 있는 홈쇼핑 어플은 꽤 많았음 (내가 담당하지 않은 곳 보다 담당한게 많을 지경이었으니)
그러던 중 모 홈쇼핑 사에서 비싼 수입차를 홈쇼핑에서 팔면서 사고가 터졌는데,
어플을 통해 카드 일시불을 긁은(...) 사람이 등장함. 근데 어플에서 표현되는 최대 자릿수가 9천만원 까지로만 (SD 해상도로 구현되서 화면 한계상 그렇게 구현 됨) 정상 표현되는 바람에 화면에 대놓고 Null이라고 뜸.
이에 VVVIP고갱님께서 화가 나셔서 VOC를 강하게 거셨고, 당시 대부분의 홈쇼핑 어플의 베이스는 A라는 회사 어플을 베이스로 복붙해서 디자인만 좀 다르게 만든 수준이었음 (심지어 타사에서 관리하는 어플도 우리꺼 몰래 훔쳐다 만든거라 베이스는 같음)
그래서 모든 회사 어플에 999억 까지 표현될 수 있게 수정했고, 이를 Live에 송출할 때 마다 Live에서 정상 동작하는지 2시간 짜리 체크 리스트를 돌렸었음.
그러던 와중 B라는 회사 어플을 목요일 새벽 00시 30분경 송출하고, 테스트를 돌렸단 말이야.
문제는 이때부터 시작되었는데, App가 죽어있는 시간대는 홈쇼핑 입장에서는 유입이 없는 절호의 찬스기 때문에 2~3시간 정도 전부터 공지 때리고 서버 점검도 같이 하는데, 이 과정에서 문제가 생겨서 지연되면 내 폰으로 연락을 줘야하는데, 문제가 생겼음에도 연락을 안줘서 난 모르고 있었음.
지금 생각해보면 해당 홈쇼핑 서버 관리 회사를 옛날 같은 계열사 계속 쓰다가 상호 불가침 조약 기간 끝났다고 새로만든 자사 회사로 변경하면서 바보짓 터질 때라 그랬던거 같은데...
뭐 여튼 서버에서는 주기적으로 오류를 뱉고 있는데, 난 그것도 모르고 테스트를 진행 시작함. 근데 이게 또 ㅈ같은게 120여가지 항목 중 20개 남을 때까지만 해도 내가 보는 부분만 골라서 오류를 안 뱉는 바람에 결국 마지막 단계인 구매 테스트 까지 진행하게 됬지.
일부러 다중 구매 같은 건 싼 물건으로 골라 구매하고, 마지막에 카드 한도 오버 테스트를 진행 해야 했음.
그래서 확실하게 오버시킬 만한 물건을 찾다가 그날 편성표에서 경비행기를 발견하게 됨.
마침 또 미래시 상품임에도 불구하고 구매 가능하게 풀려있어서 잘됬다 하며 2억 짜리 패키지를 구매시도 했지. (당시 개인 법카 한도 1천 정도였음)
그리고 결제가 완료되버림.
순간 머리가 하얗게 되더라 '이게 왜 결제가 되버렸지' 부터 시작해서 사이드 이팩트인가 싶어서 온갖 점검을 시작했는데, 분명 우리쪽에서는 서버로 정상적인 값을 준게 확인 됨.
뭐지 싶어서 우선 결제 취소부터 해야겠다 싶어서 구매내역으로 갔는데, 그날 테스트에 구매했던 모든 상품이 삭제되 있더라.
이때부터 식은땀이 줄줄 흐르면서 안색이 얼마나 창백해 졌는지 다른 송출단 직원들이 괜찮냐고 구급차 불러주냐고 할 정도였음.
빠르게 핸드폰으로 알고 있는 모든 홈쇼핑 담당자에게 전화를 시작했는데 새벽 2시 좀 넘은 시간에 전화들을 받아야 말이지.
결국 난 우리 그룹장에게 전화해서 그룹장을 그 시간에 깨웠고, 우리 그룹장은 소식을 듣더니 심상치 않음을 느끼고 상대 회사 그룹장에게 전화해서 깨움. 그리고 대경 실색한 고객사 그룹장님이 총 비상 소집령을 내리고(이때 결국 전화 안받고 집합 안한 놈들은 전부 진급 짤렸다 들음) 1시간 만에 나한태 그날 서버 담당자에게서 연락이 옴.
확인 결과 그날 단순 점검이 아니라 서버 소프트 업그레이드가 동시 진행 됬었고, 송출 전에 업데이트는 완료되었지만 자기들 테스트에서 자꾸 이상한 버그들이 터져 나와서 긴급 수정해서 적용 하고 있었다고 함.
하필 내가 구매하는 순간 언노운 에러로 구매가 되서는 안될 구매가 됬다고 추정하며, 그 직후 도저히 안되겠어서 롤백 지시를 해서 구매 이력이 날라간 거였음. (심지어 추정인 이유도 롤백하면서 로그도 날렸다고 함 미친)
그러면서 한다는 소리가 '구매 이력이 없는데 취소 어떻하죠....' 이지랄
결국 급한놈이 우물 판다고 피집사에 전화해서 해당 건 취소 가능한지 물어봤고, 피집사에서는 홈쇼핑 사에서 요청해야지 내가 해서는 안된다고 하더라, 홈쇼핑 사에서는 긴급하게 피집사에 요청 양식을 문의함.
이때가 새벽 5시경 좀 넘었었고 피집사에서는 높으신 분들 허가가 필요하니 기다리라고 함.
결국 해 뜨는거 보면서 담배만 피고 있었고, 사람들이 출근을 시작했음.
그리고 점심때 쯤 됬나? 결국 우리 회사 법카 합계 최대 한도가 차버리면서 결제가 막혀버림 (한도 초기화 몇일 안 남았었음)
그리고 오후 4시, 잠 못잔지 20시간만에 카드 취소 문자가 날라옴. 이때부터 다시 테스트 돌리려는데 진짜 뒤질거 같더라.
그래도 시간 당 수천만원씩 피해가 나는 홈쇼핑 어플이 몇시간 째 못 돌아가고 있었음으로 일은 간신히 마무리 함(정신 없어서 그런지 자꾸 실수해서 3시간 걸림).
그리고 나는 보고고 뭐고 간략하게 '도비는 잘못 없어요'란 메일을 날리고 폰 끄고 집에 가서 잠.
- 후기들
- 해당 사고를 일으킨 홈쇼핑 담당자들은 짤렸다.(팀 하나 통째로 날라감.)
- 당시 우리 그룹장님은 중간 보고 모아서 상황 파악 하다가 내가 일 끝나면 대충 보고하고 잠들꺼란 예측을 하고 본인이 최종 보고서 재대로 완성해 놨다가 내 메일 받자마자 그 보고서로 상부에 보고하고 고객사에게 극딜 넣어 주셨다.
- 인건비 문제로 솔로잉으로 여러 회사 담당하던 나는 이 일로 후임 둘을 받을 수 있었다.
- 경비행기는 실제로 3대 팔렸다. (1중국인 + 2내국인)
- 이후에도 해당 서버 담당 회사는 온갖 사고를 치다가 인력 부족으로 해체되고 외부 인력이 담당하게 된다.
- 그리고 이때 해체된 회사는 후일 부활하게 되는데, 사유는 외부 업체가 고객 DB를 팔아먹고 걸려서 뉴스에 대대적으로 보도됐기 때문. (헬 반도식 기승병병병)
- 수입차로 시작해 헬기 고급 수입가구 세트 경비행기 등등 각 홈쇼핑 사들의 가장 비싼 물건 팔아보기 존심 싸움은 이후 방통위에게 철퇴를 맞는다.
*혹시라도 경비행기가 2억 밖에 안해? 할까봐 알려주는 건데, 글라이더에 허니웰 엔진 가벼운거 단 수준이라 1억 좀 넘는 물건에 경비행기 자격증 딸 수 있게 학원 수강료 + 수업 기간동안 격납고 렌탈 패키지라 그랬음.
