Romande Energie는 Snowflake를 통해 플랫폼 비용을 40% 절감하고 도매 에너지 사용을 대폭 줄였습니다

Romande Energie는 스위스 프랑스어권 지역에서 수천 곳에 달하는 기업 및 개인 고객을 위해 에너지를 생산하고 공급합니다. 아울러, 에너지 공급 외에 태양광 패널, 풍력 터빈과 같은 지속 가능한 에너지 생산 솔루션도 판매하고 있으며, 이는 Romande Energie의 서비스 지역을 스위스 최초의 저탄소 지역으로 만들기 위한 총체적인 노력의 일환입니다.

에너지를 구매하고 판매하는 일은 복잡한 비즈니스이기 때문에 아무리 작은 실수라도 수백만 달러의 손실을 야기할 수 있습니다. 트레이더는 1년 이상 미리 최적의 가격으로 에너지를 구매하고 공급과 실시간 소비자 수요 간의 균형을 유지해야 하는 이중의 압박을 받고 있습니다. 이는 최대한 신중하게 고려하여 결정을 내리더라도 공급 부족 또는 공급 과잉이 발생할 수 있다는 것을 의미합니다. 이 경우 비효율적인 비용 지출이나, 최악의 경우 정전 사태로 이어질 수 있습니다. 

이러한 결정을 올바르게 내리기 위해서는 에너지 공급업체 운영에 데이터 활용은 필수적이며, 공급 전력의 70%를 구매하는 Romande Energie도 예외가 아닙니다. 데이터를 생성하는 스마트 미터는 Romande Energie의 기존 관행을 혁신하여 정확한 고객 소비 분석과 미래 수요 예측을 지원합니다. 

또한 데이터는 Romande Energie가 네트워크 효율성 개선을 통해 인프라 갱신 계획부터 고객 소비 행동 변화에 이르기까지 모든 부분을 최적화할 수 있는 특별한 기회를 제공합니다. 하지만 수많은 데이터 소스를 대규모로 통합, 처리, 분석하여 실행 가능한 인사이트를 도출하는 것은 절대 쉬운 일이 아닙니다. 

Romande Energie의 데이터 팀 책임자인 Nils Rinaldi의 설명처럼, 적합한 데이터 인프라를 적합한 위치에 구축한다면 큰 변화를 이룰 수 있습니다. “우리는 그전에 하나의 개발 환경과 하나의 프로덕션 환경을 제공하는 Cloudera 온프레미스 플랫폼을 사용했습니다. 하지만 환경이 프로덕션 쪽으로 치우쳐져 있었기 때문에, 개발자가 개발 환경에서 SQL 쿼리를 실행하려고 하면 실패하는 경우가 많았죠. 회사 플랫폼을 변경 데이터 캡처 소프트웨어 솔루션인 SNP Glue와 통합할 수도 없었습니다. 따라서 대규모 테이블에서 데이터를 추출할 수 없었습니다.” 온프레미스 플랫폼을 관리하는 일은 Romande Energie에 유지 보수라는 부담스러운 과제도 안겼습니다. Romande Energie 팀은 근무 시간이 아닐 때 정기적인 업그레이드를 수행하고 갈수록 복잡해지는 사이버 공격을 막아내야 했습니다. 

설상가상으로, Romande Energie의 트레이더는 정확한 에너지 구매 결정을 내리기 위해서는 매일, 늦어도 10시까지 들어오는 최신 데이터를 활용해야 합니다. 하지만 성능상의 제한과 데이터 볼륨 문제로 하루가 지난 데이터를 사용할 수 밖에 없었기 때문에 상당한 금전적 손실을 입을 가능성이 상존했습니다. 

Romande Energie는 광범위한 데이터 세트를 대규모로 수집, 결합, 처리하고 분석하기 위해 환경에 영향을 미치지 않으면서 거의 무제한의 성능을 제공할 수 있는 확장 가능한 데이터 플랫폼을 필요로 했습니다.

Romande Energie는 자사의 최신 클라우드 우선 접근 방식을 기준으로 여러 데이터 플랫폼을 평가한 끝에 Snowflake의 데이터 클라우드를 선택했습니다.

Microsoft Azure 인스턴스와의 통합을 포함하여 데이터 클라우드로 단계적으로 마이그레이션한 후에 Romande Energie는 Snowflake Professional Service를 통해 데이터 팀이 플랫폼에 대한 교육과 함께 온디맨드 기술 지원을 받을 수 있게 했습니다. Rinaldi는 이렇게 말합니다. “Snowflake Professional Service는 아키텍처에 관한 구체적인 질문들에 대해 모두 답을 주었어요. Snowflake 팀은 그런 문제를 이미 다뤄 봤을 정도로 충분한 경험을 바탕으로 다양한 솔루션을 제공해 주었죠. 이 서비스를 덕분에 여러 솔루션을 테스트하고 학습할 필요 없이, 훨씬 더 빨리 운영하고 실행할 수 있었습니다. 그리고 잘못된 결정을 내릴 위험도 없앨 수 있었습니다.”

Romande Energie는 현재 Zero-Copy Cloning을 유용하게 활용하고 있습니다. Zero-Copy Cloning은 추가 저장 공간이나 시간을 소비하거나 기존 데이터를 복제할 필요 없이 데이터베이스(일반적으로 프로덕션 데이터베이스에서 개발 데이터베이스로), 테이블 또는 스키마를 복사할 수 있는 Snowflake 데이터 클라우드 내 도구입니다. 

Rinaldi는 이렇게 이야기합니다. “가끔은 즉석에서 새 반복 기능을 테스트해 보고 싶을 때가 있습니다. Zero-Copy Cloning이 없었다면 불필요한 버그가 발생하고 너무 많은 시간이 걸리는 위험을 감수해야 했겠죠. 이 도구 덕분에 더 나은 방식으로 여러 가지 시도를 해볼 수 있게 되었습니다.”

Romande Energie는 추출, 변환 및 로드(ETL) 프로세스에 Talend를 사용하여 매일 더 작은 테이블 데이터를 Snowflake에 수집하는 작업을 실행 중입니다. 상대적으로 큰 테이블을 수집하는 데는 Snowflake와 SNP Glue 간의 원활한 통합을 활용합니다. 먼저 데이터를 모델링한 다음 비즈니스 인텔리전스 분석을 위해 Qlik Sense로 전달합니다. 

Romande Energie는 Snowflake와 다른 데이터 플랫폼과의 통합을 활용하여 데이터의 안전을 보장하고 실제로 필요한 사람만 데이터에 액세스할 수 있게 합니다. Rinaldi와 데이터 팀은 현재 Microsoft Entra ID와 Azure Key Vault를 Snowflake와 함께 사용하여 비즈니스 크리티컬 데이터를 안전하게 보호합니다. Rinaldi는 이렇게 말합니다. “Snowflake와 Azure 내의 도구는 매우 쉽게 통합할 수 있습니다. Snowflake의 Business Critical Edition에서 제공하는 기능 덕분에 두 플랫폼 간에 비공개 암호화 링크를 구축하여 보안에 대한 우려를 덜게 되었습니다. 이 기능이 없었다면 데이터 환경이 안전하지 못했을 겁니다.” 

Romande Energie는 거버넌스를 위해 Snowflake의 오브젝트 태깅을 사용하여 데이터 액세스 수준을 설정하고 계보를 추적할 뿐만 아니라 서드 파티 데이터 세트까지도 통합하여 외부 인사이트를 내부 데이터 보강에 활용합니다. 예를 들어 스위스 연방 기상청(MétéoSuisse)이 제공하는 여러 위치의 기상 데이터 피드를 연결하여, 고객 수요 예측을 기반으로 더 나은 에너지 소비 및 생산 관련 의사 결정을 내리는 데 활용합니다. 

플랫폼 비용만 살펴봐도 Romande Energie는 이전 솔루션 대비 40%를 절감했습니다. 또한 개발 환경과 프로덕션 환경 간의 스프레드를 조정하여 개발 주기를 단축했습니다. 이뿐만 아니라, 개발 팀은 새로운 머신 러닝 모델을 지원하기 위해 필요할 때마다 새로운 환경을 빠르게 구축할 수 있게 되었습니다.

이러한 변화는 Romande Energie의 고객 네트워크 전반에 걸쳐 더욱 생산적인 스마트 미터를 배포하여 궁극적으로 고객의 에너지 비용 절감이라는 효과를 가져왔습니다. 또한, 모든 스마트 미터 데이터를 데이터 클라우드에 공급하고 비즈니스 인텔리전스 도구에 연결함으로써 커넥티드 디바이스 전반에 걸쳐 중요한 성능 인사이트를 확보할 수 있게 되었습니다. 이를 통해 정상적으로 응답하지 않는 디바이스에 대한 유지 보수와 엔지니어 호출에 우선순위를 둘 수 있게 되어, 비용 청구에 차질이 빚어지는 상황을 줄일 수 있게 되었습니다.

Rinaldi와 그의 팀은 지금까지의 성공을 바탕으로 회사의 다른 부문에서, 특히 전력망 인프라 계획과 소비 및 생산 예측을 중심으로 Snowflake 사용 정당성을 입증하기 위해 노력하고 있습니다. 기존 환경에 대한 개선 사항을 시험 및 구현하려는 계획도 갖고 있습니다. 여기에는 Snowflake의 경량 트랜잭션 사용 사례 도구인 Hybrid Table을 통해 운영 데이터 허브를 개발하는 등 더욱 용이한 데이터 액세스와 새로운 데이터 거버넌스 기능을 위해 셀프서비스 비즈니스 인텔리전스를 추가하는 것이 포함됩니다. 

Romande Energie의 자연스러운 다음 행보는 AI로 더 많은 실험을 하는 것입니다. 이미 일상적인 운영에 AI를 사용하고 있지만, 여기서 그치지 않고 Snowflake가 제공하는 기능을 최대한 활용하고 싶어합니다. 예를 들어, Rinaldi는 대규모 언어 모델을 통해 수동 문서 검색 프로세스를 혁신하여 비즈니스 전반에서 문서 검색 및 처리에 보내는 시간을 줄이고자 합니다.