카카오는 데이터센터 단위 다중화를 비롯해 각 시스템 레이어별로 다중화를 진행할 계획이라고 발표했다.
유용하 회원플랫폼사업실 실장, 문승조 데이터센터파트 파트장, 서상덕 네트워크파트 파트장 등 5명은 7일 온라인으로 개최된 개발자 콘퍼런스인 ‘이프 카카오 데브 2022(if (kakao) dev 2022)(이하 ‘이프 카카오’)’ 기술세션 ‘1015 장애회고’의 연사로 나서 이같이 밝혔다.
이들은 지난 10월 15일 판교 SK C&C 데이터센터 화재 당시 상황과 카카오의 데이터센터와 시스템 운영 구조, 향후 개선 방안에 대해 설명했다. 데이터센터와 인프라 설비·데이터·서비스 플랫폼·애플리케이션 레이어 다중화 계획도 언급했다.
유용하 실장은 “2022년 현재 판교 SK C&C 데이터센터를 포함한 4개 데이터센터를 운영 중이며, 판교 데이터센터에 3만2000대의 중요한 역할을 하는 서버가 많이 있었다”고 말했다.
유 실장은 각 서비스 레이어는 역할에 따른 다중화 설계가 돼있어야 한다고 강조했다. 하지만 “이번 장애의 경우 ‘운영 및 관리도구’ 레이어 다중화 구성이 완벽하지 못했다”며 서비스 복구 시간이 지연된 원인을 지적했다. 운영·관리도구 레이어는 서비스 운영에 필요한 기술적 도구들이 속한 부분이다.
문승조 파트장은 판교 데이터센터 화재가 “우리나라 데이터센터 역사상 단 한 번도 일어나지 않았던 센터의 기능 전부 마비 상태”라면서 서비스 복구가 늦어진 이유로 “복구하는 과정에서 배터리에 불꽃이 발생”한 것을 꼽았다. 약 10시간만에 전원이 들어오고 나서도 UPS 연결 없이 전기를 공급받고 있어 전력 공급이 불안정했다는 점도 지적했다.
카카오는 앞으로 건립할 데이터센터에 다원화된 배터리실과 UPS실을 상면 옆으로 이동시켜 하나의 배터리상 문제가 전체 전원에 영향을 주지 않도록 하는 설계를 반영할 방침이다.
아울러 서상덕 파트장은 데이터센터 네트워크 부분의 구성 현황과 화재 영향 등을 설명하며 “카카오의 인프라는 크게 두 개의 백본 센터와 물리적으로 2개 이상의 확장 센터로 구성된다”고 말했다. 확장 센터들은 두 개의 백본 센터와 분산하여 연결을 맺고 있고, 회선 등 장애 시 자동적으로 우회되도록 다이나믹 라우팅이 가능한 구조로 운영되고 있다.
서 파트장은 “장애 당시 다이나믹 라우팅 동작으로 경로들이 자동 조정됐지만, 전원 전면 차단 이전 전원이 불안정해 이미 상당수 네트워크 장비가 다운돼 카카오톡 등 주요 서비스에 일부 장애가 발생하고 있었다”고 말했다.
그는 카카오 네트워크 확장성과 안정성 강화를 위한 개선 계획을 언급했다. “메인 백본 센터를 두 개에서 세 개로 증설하여 좀 더 폭넓은 대역폭을 구성할 계획”이라며 “확장센터들이 세 개의 경로를 가지게 되어 특정 데이터센터 장애 시에도 좀 더 안정적인 구조를 유지할 것”이라고 설명했다.
이밖에도 이태윤 데이터플랫폼팀 팀장과 공용준 클라우드플랫폼팀 팀장이 다음 연사로 나서 데이터 레이어와 서비스 플랫폼 레이어 다중화 계획을 소개했다.
