네패스, 공장 생산 지능화 및 예측화를 위해 Snowflake 기반의 데이터레이크하우스 구축

네패스는 1990년에 케미컬 사업을 시작한 후, 2004년에 반도체용 솔더범핑기술로 미국 특허를 취득한 시스템반도체패키징 전문기업입니다. 플레이팅범핑, WLP, FOWLP, PLP 등 다양한 반도체 패키징 기술을 최초로 상용화하여 기술력을 인정받았으며, 2019년에는 반도체 테스트 전문 기업을 설립하여 글로벌 반도체 패키징 분야에서 리더십을 강화하고 있습니다.

네패스의 ‘AI 빌드업 플랜(AI BUILD-UP PLAN)’은 ▲CLOUD ▲DATA LAKE ▲MLOps ▲AI 등 4단계로 정의됩니다. 먼저, 대규모 데이터를 처리할 수 있는 클라우드 인프라를 구축하고, 그 위에 전사의 데이터를 통합합니다. 이후, AI 모델을 배포하고, 모니터링, 자동화, 관리할 수 있는 데브옵스 환경을 클라우드 상에 구현하며, 최종적으로 AI를 통해 지능화된 의사결정을 할 수 있는 구조를 만드는 것입니다.

제조업을 영위하는 네패스에서 가장 중요한 데이터는 공장 데이터입니다. 생산, 품질, 장비, 공정, 센서, 출하 등의 과정에서 데이터가 발생합니다. 이 데이터를 클라우드 상의 데이터레이크에 통합해 AI와 BI(Business Intelligence)를 통해 분석하는 그림을 그린 것입니다.

네패스는 데이터레이크 구성을 위해 필요조건을 정의하였습니다. 각 사업 부문별로 분산화 되어 있는 데이터를 유연하게 집중화할 수 있어야 하며, 관리가 쉬우면서 성능 면에서도 확실히 우수해야 합니다. 또한, 24시간 무정지 환경이 가능해야 하며, 기존에 네패스가 보유한 솔루션과 100% 호환이 되어야 한다는 조건이 있었습니다. 

그리고 다양한 데이터 플랫폼을 검토한 끝에 네패스는 스노우플레이크를 선택했습니다. 네패스의 목표는 “안정적이고 생산 효율적인 중앙집중형 데이터레이크와 데이터웨어하우스를 구축”하는 것이었습니다. 이를 위해 데이터레이크와 데이터웨어하우스를 모두 지원하는 데이터 플랫폼을 찾았고, 스노우플레이크가 가장 적합하다는 결론을 내렸습니다.

데이터 분산과 중복은 거의 모든 기업들이 갖고 있는 공통된 문제점입니다. 부서마다 업무마다 분석에 필요한 데이터를 복제해 가져가기 때문에 벌어지는 일입니다.

예를 들어 BI 셀프 분석 서비스를 이용하는 현업 담당자도 자신이 필요한 데이터를 복제하고, 전문적인 회귀분석을 하는 데이터사이언티스트도 또 필요한 데이터를 복제합니다. 소프트웨어 엔지니어나 데이터 엔지니어도 자신에게 필요한 데이터베이스를 따로 만듭니다. 자연스럽게 조직 내에 중복 데이터가 많아지고 데이터 활용의 효율성이 떨어집니다. 또 업무간 역할분담과 데이터의 신속성을 저해하는 요소도 됩니다. 네패스는 서비스가 있는 곳에 데이터가 가는 것이 아니라, 데이터가

있는 곳에 서비스가 오는 구조를 원했습니다. 그런 점에서 스노우플레이크가 강조하는 ‘원 플랫폼(One Platform)’이라는 캐치프레이즈에 네패스는 동의했습니다. 전통적 정형 데이터를 담고 있는 데이터웨어하우스와 비정형 데이터까지 포함하는 데이터레이크를 통합해 하나의 데이터 분석 플랫폼을 만들었습니다.

네패스는 아주 민감한 제조업의 특성상 검증이 되지 않은 솔루션은 사용하지 않습니다. 이 때문에 스노우플레이크 도입에 앞서 누구보다 철저하게 검증을 했고, 그 결과 위와 같은 장점이 있다는 판단을 내렸습니다.

네패스는 스노우플레이크를 도입한 이후 35%의 비용을 절감했으며, 성능은 40% 이상 향상됐다고 평가합니다. 또한, 저장공간은 70% 이상 절감되었고, 덕분에 업무 효율성이 32% 증가했다고 보고하고 있습니다.

실제로, 28기가바이트 데이터를 인포매티카 ETL 툴을 사용하여 스노우플레이크에 이관하는 데 걸린 시간은 단 10분이었으며, 테이블 사이즈가 28기가바이트였던 RDB 데이터는 스노우플레이크로 이관된 후 1.1기가바이트로 용량이 크게 줄었습니다. 데이터가 일부 소실된 것이 아닌가 의심이 들 정도였지만, 데이터는 완벽하게 스노우플레이크로 이전된 것을 확인할 수 있었습니다.

또한, 190만 행의 RDB 데이터를 한 번의 클릭으로 고객사에 전달해야 하는 상황이 있었는데, 기존 RDB에서는 조회 자체가 불가능한 상황이었습니다. 하지만 스노우플레이크를 통해 두 시간 만에 시스템을 구축했고, 조회 불가능했던 데이터는 24초 만에 결과를 확인할 수 있었습니다.

네패스는 스노우플레이크를 통해 데이터를 통합하고 데이터로부터 비즈니스를 혁신할 수 있는 힘을 얻게 되었습니다. 가장 쉽고 빠른 구성으로 데이터레이크하우스를 구축했으며, 데이터의 중앙화와 컴퓨팅 분리를 통해 효율적인 운영 환경을 만들어냈습니다.