사진과 동영상이 안보이시면 "차단된 콘텐츠 표시"를 클릭해주세요! |
|
|
빅 데이터(Big data)는
새로운 “보이지 않는 손”?
DX News letter 24년 04월호
김지훈 ✦ 디지털혁신(DX)팀
2024년 04월 01일 |
|
|
DX News Letter 구독자 여러분 안녕하세요? 벚꽃이 흩날리는 4월의 완연한 봄 이네요.
날씨가 따뜻해져서 점심시간에 잠시 산책을 하기도 너무 좋은 날씨입니다.
바쁜 일상에서도 아름다운 벚꽃을 감상하며
잠시 쉬어갈 수 있는 마음의 여유를 갖기를 바랍니다.
저는 프로야구를 무척 좋아해서 야구시즌이 열리는 4월이 되면 가슴이 뛰곤합니다.
야구가 기록경기는 아니지만, 데이터가 무척 중요한 경기이기도 하죠.
이번 호에서는 데이터가 바꿔놓은 세상에 대해 알아보겠습니다. |
|
|
☑️ 2007년 스마트폰의 등장은 데이터 혁명의 신호탄이었습니다! |
|
|
시간과 장소에 제약없이 자유자재로 인터넷을 사용할 수 있게 되면서 생성되는 데이터의 양이 폭발적으로 증가했습니다.
비지니스와 일상 생활의 많은 부분이 디지털화되면서 데이터가 대량으로 생성되기 시작했으며, IoT(사물인터넷)의 확산으로 스마트 홈기기, 웨어러블 기술, 산업용 센서 등 IoT 기기들이 실시간으로 엄청난 양의 데이터를 생성하고 수집합니다.
이와 함께 클라우드 기술의 발전은 대규모 데이터 저장소와 처리 능력을 제공함으로써 여러 데이터 분석을 용이하게 만들었습니다.
과거, 이러한 데이터들은 처리하기 귀찮은 많은 양의 쓰레기라고 인지하는 경우가 많았으나,
현재에는 이런 데이터를 통해 숨겨진 패턴, 시장 트렌드, 고객 선호도, 그리고 다른 유용한 비즈니스 인사이트를 발견하는 데 사용되고 있습니다.
이러한 정보를 “빅 데이터”라고 하며, 새로운 석유라고 부를만큼 경제적 가치가 증가하고 있습니다.
|
|
|
단순히 어마어마하게 많은 양의 데이터를 빅 데이터라고 할까요?
빅 데이터는 Volume(양), Velocity(속도) 그리고 Variety(다양성)의 세가지 특징(3V)을 가지고 있어야 합니다. |
|
|
즉, 빅 데이터란, 처리하기 어려울 정도로 크고 복잡한 데이터 집합을 의미하며,
다양한 소스에서 발생하는 이유로 그 양과 속도, 형태는 전통적인 데이터베이스 관리 도구로는 다루기 어려운 특징을 가지고 있습니다.
그렇다면 어떻게 이런 빅 데이터가 현대 사회와 경제에서 중요한 자산이자 경쟁력의 핵심 요소로 자리잡게 되었을까요?
디지털 기술의 발전과 함께 기업은 운영방식을 디지털화하고 있으며,
이 과정에서 방대한 양의 데이터가 생성되고 이 데이터를 통해 고객의 행동과 시장 동향, 내부 프로세스 등에 대한 깊은 통찰력을 얻을 수 있습니다.
이러한 인사이트는 경쟁 우위를 확보하는 데 중요한 역할을 하며,
데이터 분석을 통해 얻은 인사이트는 기업이 데이터 기반으로 의사 결정을 내리는 데 결정적 역할을 하고 있습니다.
이는 추측이나 직관에만 의존하는 것보다 더 정확하고 효율적인 결정을 가능하게 하며, 비즈니스 리스크를 줄이고 성공 가능성을 높입니다. |
|
|
빅 데이터를 활용한 성공한 첫번째 사례로 “머니볼” 전략이 있습니다.
영화로도 제작되어 우리에게 친숙한 머니볼 전략은 경기데이터를 철저하게 분석해 오직 데이터를 기반으로 적재적소에 선수들을 배치해 승률을 높인다는 게임 이론으로 메이저리그 오클랜드 애슬레틱스(Oakland Athletics)의 구단장 빌리 빈(Billy Beane)이 리그 전체 25위에 해당하는 낮은 구단 지원금 속에서도 최소 비용으로 최대 효과를 거둔 것을 말합니다.
빌리 빈은 하버드대학교에서 경제학을 전공한 폴 데포데스터(Paul DePodesta)를 영입해 타율, 타점, 홈런 등 흥행 요소만을 중시하던 |
|
|
야구계에서 출루율, 장타율, 사사구 비율이 승부와 관련되어 있음을 간파하고 데이터를 수집, 분석, 활용했으며, 이를 통해 좋은 선수를 발굴하고 이들을 적재적소에 배치해 최하위에 그치던 팀을 4년 연속 포스트시즌에 진출시키고 메이저리그 최초로 20연승이라는 신기록을 세우도록 탈바꿈 시켰죠.
머니볼 전략의 핵심은 선수의 가치를 전통적인 스탯이 아닌, 더 세밀하고 정교한 통계 지표를 통해 평가하는 것으로, 이 접근 방식은 팀이 과소평가된 선수들을 발굴하고 저렴한 비용으로 영입함으로써 경쟁력을 유지하도록 도왔습니다.
머니볼 전략은 빅 데이터를 활용한 혁신적인 접근 방식을 대표합니다.
전통적인 가치 평가 방식을 뛰어넘어, 데이터 분석을 통해 새로운 가치와 기회를 발견하는 것입니다. 이는 비즈니스, 과학, 의료 등 다른 분야에서의 빅데이터 활용과 유사한 점이 많은 빅데이터의 효과적인 활용 사례로서, 데이터 분석이 어떻게 전통적인 판단 방식을 변화시키고 새로운 기회를 창출할 수 있는지를 보여줍니다.
빅데이터 분석이 단순히 정보를 제공하는 것을 넘어, 실질적인 경쟁 우위를 구축하고 성과를 개선할 수 있음을 보여준 혁명적인 사례입니다.
|
|
|
☑️ 빅 데이터를 지배하는 자, 세상을 지배할 것이다 |
|
|
“유튜브”는 빅 데이터 분석을 통해 사용자의 행동 패턴과 선호도, 요구를 이해하여 맞춤형 서비스와 제품을 제공하면서 세계에서 가장 큰 동영상 공유 플랫폼으로 우뚝 섰습니다.
유튜브의 25억명의 사용자는 분당 약694,000분의 영상을 시청하면서도 70%가 넘는 사용자가 빅 데이터 분석에 따른 추천에 의하여 자신도 모르게 영상을 시청한다고 합니다.
유튜브는 사용자의 시청 기록, 검색 히스토리, 시청 시간 등의 데이터를 분석하여 개인화된 동영상을 추천하는데, 이러한 맞춤형 추천 시스템은 빅 데이터 분석과 기계 학습 알고리즘을 기반으로 하며, 사용자의 관심사와 선호도에 맞는 콘텐츠를 선별해 제시함으로써 사용자 경험을 유도합니다.
또한, 빅 데이터를 활용하여 광고주에게도 보다 효과적인 타겟팅 옵션도 제공하고 있습니다. 사용자의 인구 통계학적 정보, 관심 분야, 온라인 행동 패턴 등을 분석하여 광고주가 자신의 제품이나 서비스와 가장 관련성 높은 대상에게 도달할 수 있도록 하여 광고 효율을 극대화하고 광고주의 투자 대비 수익을 증가시키는 것이죠.
이처럼 유튜브는 빅데이터를 활용하여 사용자에게 맞춤형 콘텐츠를 제공하고, 광고 효율성을 높이며, 콘텐츠 트렌드를 분석하고, 전반적인 사용자 경험을 개선하는 데 중요한 역할을 하고 있습니다. 이러한 데이터 중심의 접근 방식을 통해 유튜브는 세계 최대의 비디오 공유 플랫폼으로 성장할 수 있었습니다.
|
|
|
☑️ ChatGPT : 빅 데이터로 인간을 꿈꾸다 |
|
|
ChatGPT는 인터넷 상의 방대한 텍스트 빅 데이터를 바탕으로 학습합니다.
이 데이터에는 책, 기사, 웹사이트, 대화 기록 등 다양한 형태의 텍스트가 포함되어 있으며, 크고 복잡한 데이터들은 빅 데이터의 전형적인 예로, 모델이 언어의 다양성과 복잡성을 이해하고 다양한 대화 상황에서 적절한 응답을 생성할 수 있는 기반을 제공합니다.
또한, ChatGPT는 사용자와의 상호작용을 통해 계속해서 학습하고 최적화됩니다.
사용자의 질문과 대화 내용은 소중한 데이터 소스로 활용되며 이를 분석하여 모델의 대답을 개선하고 사용자 경험을 향상시킵니다. 이 과정에서 수집되는 대량의 대화 데이터도 빅데이터의 한 형태로 볼 수 있습니다.
ChatGPT와 같은 AI 시스템은 사용자의 선호도와 대화 스타일을 학습하여 개인에게 최적화된 경험을 제공합니다.
이는 사용자와의 대화에서 수집된 데이터를 분석하여, 특정 사용자에게 더 적합하고 개인화된 응답을 생성하기 위함이며 사용자 데이터의 분석과 처리 역시 빅데이터 기술과 밀접하게 연관되어 있습니다.
결론적으로,
ChatGPT와 빅데이터 사이의 상관관계는 인공지능이 학습하고 성장하는 데 필요한 데이터의 규모와 복잡성에 근거합니다. 빅데이터는 ChatGPT가 인간처럼 자연스러운 대화를 생성하고, 지속적으로 발전하며, 사용자에게 맞춤화된 경험을 제공하는 데 중요한 기반이 됩니다.
|
|
|
우리는 데이터를 어떻게 활용하고 있을까요?
우리 GS건설도 데이터와 점점 더 밀접하게 연결되어 가고 있으며, 데이터와 관련 기술의 적용은 기존의 프로세스를 최적화하고 효율성을 높이며 안전하게 일할 수 있도록 도와주고 있습니다. 현재 우리가 데이터를 활용하고 있는 몇 가지 사례를 소개합니다.
프로젝트 공정관리(Xi+)
- 공정계획 : 유사 프로젝트의 실적 데이터를 기반으로 더 정확한 공정 관리 가능
- 최적공기 : 실적 공기 데이터를 통한 최적공기 산정 및 경쟁력 확보
AI 자재 관리 어시스턴트(자Gen)
- 품질관리 : 각종법령 및 사내규정 데이터 분석을 통해 자재의 필요 기준 검토
- M/H확보 : 자재공급원 승인서류 자동생성 등의 반복적인 서류업무 최소화
안전 관리(안전 체쿠체쿠)
- 모니터링 : 다양하게 수집된 데이터를 분석하여 현장 안전을 실시간으로 모니터링
- 안전관리 : 현장의 안전 데이터를 분석하여 잠재적인 안전 위험을 식별하고 예방
우리의 이러한 데이터 활용은 건설업계에 획기적인 변화를 가져오고 있으며 프로젝트의 시간, 비용, 품질 등의 다방면에서 혁신을 가능하게 하고 있습니다. |
|
|
하지만, 이러한 빅 데이터 기반 기술의 도입은 데이터 보안, 프라이버시, 기술적 복잡성 관리와 같은 새로운 도전과제도 함께 제기합니다.
- 개인 정보 침해 : 빅데이터 분석 과정에서 개인의 프라이버시를 침해할 수 있는 정보가 수집, 분석되거나 유출될 위험이 있습니다.
- 데이터 편향 : 데이터 수집 과정에서 특정 집단이 과대 또는 과소 대표될 경우, 결과에 편향이 생길 수 있습니다. 이는 잘못된 결론이나 차별적인 의사결정으로 이어질 수 있습니다.
- 보안 위험 : 대량의 데이터를 저장, 처리하는 과정에서 보안 취약점이 발생할 수 있으며, 이는 데이터 유출 및 사이버 공격의 위험을 증가시킵니다.
- 복잡성 관리 : 방대한 양의 데이터와 복잡한 분석 과정을 관리하는 것은 어려운 작업입니다. 적절한 도구와 전문 지식 없이는 데이터의 가치를 제대로 활용하기 어렵습니다.
- 법적 책임 : 데이터 수집 및 사용 과정에서 발생할 수 있는 법적 문제들, 예를 들어 저작권 침해, 데이터 보호 규정 위반 등은 기업이나 조직에 법적 책임을 초래할 수 있습니다.
이에 따라 빅 데이터의 잠재력을 최대한 활용하고 위험을 최소화하기 위해서는 가능한 부작용에 대해 충분히 고려하고 대비하는 것이 중요하며,
데이터 관리 및 분석 과정에서의 투명성, 책임감 있는 접근 방식, 그리고 지속적인 윤리적 고민이 필요합니다.
|
|
|
빅 데이터의 잠재력은 무한합니다.
인공지능(AI)과 기계학습의 발전으로, 우리는 이제 데이터를 통해 더욱 정교하고 개인화된 방식으로 세계를 이해하고 예측할 수 있게 되었습니다.
이는 곧 더 나은 의사 결정, 더 효율적인 서비스, 그리고 더 나은 삶의 질로 이어집니다.
빅 데이터는 이미 우리 생활 곳곳에 영향을 미치고 있습니다.
이를 이해하고 활용하는 것은 개인과 조직 모두에게 중요한 역량이 되었습니다.
우리가 수행하는 모든 업무의 과정과 결과가 데이터로 기록되고,
이것이 다음 프로젝트에 반영되어 점점 우리의 업무가 최적화되는 가까운 미래를 그려봅니다.
물론, 여러분과 함께!
|
|
|
|
