[Azure 자격증 - DP-900] 핵심 데이터 개념 - Part 2

일반적인 데이터 처리

트랜잭션 데이터 처리

• 트랜잭션 데이터 처리 시스템은 대부분의 사람들이 비즈니스 컴퓨팅의 기본 기능이라고 생각하는 시스템임.
• 트랜잭션 시스템에서 수행하는 작업을 종종 OLTP(온라인 트랜잭션 처리)라고 함.
• OLTP 솔루션은 데이터 스토리지가 읽기 및 쓰기 작업에 최적화된 데이터베이스 시스템을 사용하여, 데이터 레코드가 생성, 검색, 업데이트, 삭제되는(CRUD 작업) 트랜잭션 워크로드를 지원하고, 데이터베이스에 저장된 데이터의 무결성을 보장되도록 트랜잭션 방식으로 적용.
• OLTP 시스템은 ACID(원자성, 일관성, 격리, 내구성) 의미 체계를 지원하는 트랜잭션을 적용.
  • 원자성 – 각 트랜잭션은 완전히 성공하거나 완전히 실패하는 하나의 단위로 취급.
  • 일관성 – 트랜잭션은 데이터베이스로부터 하나의 유효한 상태에서 다른 유효성 상태로만 데이터를 받을 수 있음.
  • 격리 – 동시에 진행되는 트랜잭션은 서로를 간섭할 수 없고, 일관된 데이터베이스 상태를 반환해야함.
  • 내구성 – 트랜잭션이 커밋되면 커밋된 상태로 유지됨

 

분석 데이터 처리

• 방대한 양의 기록 데이터 또는 비즈니스 메트릭을 저장하는 읽기 전용(대부분 읽기) 시스템을 주로 사용.
• 분석은 특정 시점의 데이터 스냅샷 또는 일련의 스냅샷을 기반으로 할 수 있음.

분석 데이터 처리

1. 데이터 파일을 분석을 위해 중앙 데이터 레이크에 저장 가능.
2. ETL(추출, 변환, 로드) 프로세스가 파일 및 OLTP(온라인 트랜잭션 처리) 데이터베이스에서 읽기 작업에 최적화된 데이터 웨어하우스로 데이터를 복사
3. 데이터 웨어하우스의 데이터는 집계하여 OLAP(온라인 분석 처리) 모델(큐브)에 로드가능.
4. 데이터 레이크, 데이터 웨어하우스 및 분석 모델의 데이터를 쿼리하여 보고서, 시각화 및 대시보드를 생성할 수 있습니다.

• 데이터 레이크는 최신 데이터 분석 처리 시나리오에서 공통으로 나타나는 요소로, 대량의 파일 기반 데이터가 수집되어 분석되는 곳
• 데이터 웨어하우스는 읽기 작업(주로 보고 및 데이터 시각화를 지원하는 쿼리)에 최적화된 관계형 스키마에 데이터를 저장하는 확립된 방법.
• 데이터 웨어하우스 스키마가 OLTP 데이터 원본에 있는 데이터의 비정규화(쿼리가 더 빠르게 수행되도록 얼마간의 중복을 도입하는 작업)를 요구 가능.
• OLAP(온라인 분석 처리) 모델은 분석 워크로드에 최적화된 데이터 스토리지의 집계된 유형.
• 데이터 집계는 여러 수준에서 여러 차원에 걸쳐 이루어지기 때문에 어려 계층 구조 수준에서 드릴업/드릴다운하여 집계를 볼 수 있음.
• OLAP 데이터는 미리 집계되어 있기 때문에 OLAP 데이터에 포함된 요약을 반환하는 쿼리가 빠르게 실행 가능.

 

데이터 처리에 대한 역할 및 책임

데이터베이스 관리자

• 데이터베이스 관리자는 온-프레미스 및 클라우드 기반 데이터베이스 시스템의 설계, 구현, 유지 관리 및 운영 측면을 담당.
• 데이터베이스의 전체 사용 가능성과 일관된 성능 및 최적화를 담당.
• 이해 관계자와 협력하면서 자연 재해 또는 인재에서 복구하기 위한 백업 및 복구 계획과 관련된 정책, 도구 및 프로세스를 구현.
• 데이터베이스의 데이터에 대한 보안 관리 담당.
• 데이터에 대한 권한을 부여와 사용자에게 액세스 권한을 부여 또는 거부하는 일 담당.

 

데이터베이스 엔지니어

• 데이터 엔지니어는 데이터 수집 파이프라인, 정리 및 변환 활동, 분석 워크로드를 위한 데이터 저장소 등 데이터 관련 워크로드를 설계하고 구현.
• 관계형 및 비관계형 데이터베이스, 파일 저장소 및 데이터 스트림을 비롯한 광범위한 데이터 플랫폼 기술을 사용.
• 데이터의 개인 정보가 클라우드 내에서 유지 관리되도록 하고 온-프레미스에서 클라우드 데이터 저장소로 걸쳐 있도록 함.
• 데이터 로드가 예상대로 수행되도록 하기 위해 데이터 파이프라인에 대한 관리 및 모니터링을 담당.

 

데이터베이스 분석가

• 데이터 분석가는 기업이 데이터 자산의 가치를 최대화할 수 있도록 지원함.
• 데이터 탐색을 통해 추세와 관계를 식별하고, 분석 모델을 디자인 및 빌드하고, 보고서 및 시각화를 통해 고급 분석 기능을 사용.
• 데이터 분석가는 식별된 비즈니스 요구 사항을 기준으로 원시 데이터를 관련 인사이트로 처리하여 관련 인사이트를 제공.

 

역할 요약

• 데이터베이스 관리자는 데이터베이스를 관리하고, 사용자에게 권한을 할당하고, 데이터의 백업 복사본을 저장하고, 오류 발생 시 데이터를 복원함.
• 데이터 엔지니어는 조직 전체에서 데이터 통합을 위한 인프라 및 프로세스를 관리하고, 데이터 정리 루틴을 적용하고, 데이터 거버넌스 규칙을 식별하고, 시스템 간에 데이터를 전송하고 변환하는 파이프라인을 구현함. 
• 데이터 분석가는 데이터를 검색하고 분석하여 조직에서 합리적인 의사 결정을 내리는 데 사용할 수 있는 시각화 요소 및 차트를 만듦.

 

---

 

이전 글

[Azure 자격증 - DP-900] 핵심 데이터 개념 - Part 1

 

다음 글

[Azure 자격증 - DP-900] Azure에서 관계형 데이터에 대한 고려 사항 - Part 1