SQLD ) 데이터 모델링

Geisha 2023. 11. 9. 22:41

과락은 과목당 40% 이하

시험시간은 90분, 30분 이후 퇴실 가능

SQL 기본 및 활용에 단답형 10문제 포함

과목 2개

- 데이터 모델링의 이해
- 데이터 모델링의 이해
- 데이터 모델과 성능

- SQL 기본 및 활용
- SQL 기본
- SQL 활용
- SQL 최적화 기본 원리

1과목 : 데이터 모델링의 이해

데이터 모델링의 정의

- 고객과 함께 고객의 업무 프로세스를 이해해야 데이터 모델링을 제대로 할 수 있다.

- 현실 세계를 데이터 베이스에서 표현하기 위한 추상화 과정이다.

- 데이터를 모델링 표기법을 사용해서 모델링 한다.

- 고객의 업무 프로세스 내 비즈니스 프로세스 규칙을 정의하여 데이터 모델로 표현 할 수 있어야 한다.

- 고객이 이해하기 쉽게 간결하게 모델링 해야 한다.

데이터 모델링의 3가지 특징

- 추상화 : 현실 세계를 일정한 양식 (표기법)에 맞게 간략하게 표현한다.

- 단순화 : 누구나 이해하기 쉽도록 약속된 규약에 의한 제한된 표기법 또는 언어를 이용하여 표현한다.

- 명확화 : 명확하게 의미가 한가지로 해석 되어야 함으로 애매모호함을 제거하고 정확하게 현상을 기술한다.

데이터 모델링의 단계

- 개념적 모델링 :

추상화 수준이 가장 높다
업무측면의 모델링
전사적이고 포괄적인 모델링
핵심엔터티 도출, ERD 작성

- 논리적 모델링 :

특정 데이터베이스 모델에 종속된다.
세부속성, 식별자 관계 등을 정확하게 표현한다.
데이터 정규화 완료
재사용성이 높다.

- 물리적 모델링

물리적인 성능과 데이터 저장을 고려한 설계
가장 구체적인 데이터 모델링
추상화 수준이 가장 낮은 단계
성능, 보안, 가용성을 고려한 데이터 베이스 모델링

데이터 모델링의 3가지 관점

-데이터 관점

데이터와 업무간의 어떤 관련이 있는지, 데이터와 데이터 사이의 관계가 무엇인지에 따라 모델링한다. 비즈니스 프로세스에서 사용되는 데이터를 의미한다.

ex) 구조 분석, 정적 분석

-프로세스 관점

실제 하는 업무에 따라 무엇을 어떻게 하는지 모델링 한다. 비즈니스 프로세스에서 수행하는 작업을 의미한다.

ex) 시나리오 분석, 도메인 분석, 동적 분석

-데이터와 프로세스의 상관 관점

업무의 처리(프로세스)와 데이터 간의 서로 어떤 영향을 주고 받는지를 모델링 한다. 프로세스와 데이터 간의 관계를 의미한다.

ex) CRUD

데이터 모델링을 위한 ERD

1976년 피터 첸이 만든 표기법으로, 데이터 모델링의 표준으로 지금까지 사용되고 있다.

대표적인 표기법 - chen, IE/Crow's Foot, Barker, UML

ERD를 작성하는 순서

1. 엔터티 도출

2. 엔터티 배치

3. 엔터티 관계설정

4. 관계명 기술

5. 관계 참여도 기술

6. 관계 필수 여부 기술

3단계 구조 스키마 (3 - LEVEL Schema)

데이터 베이스의 독립성을 위해서 3단계 구조 스키마가 존재한다.

사용자(외부 스키마), 설계자(내부 스키마), 개발자(개념 스키마) 의 각기 관점에 따라 데이터베이스를 기술하고 이들간ㄴ의 관계를 ANSI표준으로 정했다.

데이터의독립성 확보를 통해서 데이터 복잡도 감소, 데이터 중복 제고, 사용자 요구사항 변경에 따른 대응력 향상, 관리 및 유지 보수 비용 절감 등의 장점이 생긴다.

각 계층을 뷰라고 부르며 3단계 계층으로 분리되어 서로 독립성을 확보한다.

데이터 베이스 3단계 구조 특징

외부 스키마 (외부 단계) :

데이터 베이스의 개별 사용자 관점의 이해와 표현
응용프로그램이 접근하는 데이터베이스
여러 개의 외부 스키마 존재

개념 스키마 (개념 단계) :

데이터 베이스 관리자의 관점으로 규칙과 구조 표현
데이터 베이스의 전체적인 논리구조
일반적으로 스키마는 개념 스키마를 지칭함

내부 스키마 (내부 단계) :

데이터 베이스 시스템의 설계자 관점으로 저장 장치 관점의 이해 및 표현
데이터가 실제로 데이터베이스에 물리적으로 어떻게 저장되는지 확인

엔터티

데이터의 집합

저장되며 관리되는 데이터

개념, 사건, 장소 등의 명사

유형과 무형에 따른 분류

유형 엔터티

물리적이며 , 안정적이며 , 지속적인 엔터티

ex) 사원, 제품, 교수 등등

개념 엔터티

물리적이진 않지만 개념적으로 존재하며 정보로 구분되는 엔터티

ex) 강의, 금융상품, 부서 등등

사건 엔터티

비즈니스 프로세스에 따라 발생되는 엔터티

데이터가 많다.

ex) 구매, 판매, 영업, 수납 등등

발생 시점에 따른 분류

기본 엔터티

키 엔터티 라고 하며, 독립적으로 생성 및 관리 된다.

-고객, 부서, 판매제품

중심 엔터티

기본 엔터티로 부터 발행되는 행위 엔터티를 생성하는 중간 엔터티 이다.

-계좌, 주문, 수납 등등

행위 엔터티

상위에 있는 2개 이상의 엔터티로 부터 발생되는 엔터티 이다.

-주문 이력, 접속 이력, 수납 이력 등등

속성

엔터티가 가지는 항목

속성은 더 이상 분리 되지 않는다

업무에 필요한 데이터를 저장한다.

인스턴스의 구성 요소로 최소의 데이터 단위이다.

속성의 특징

속성은 업무에서 관리되는 정보이다.
속성은 하나의 값만 가진다.
주식별자에게 함수적으로 종속된다. 기본키에 따라 속성의 값도 변경 될 수 있다.

특성에 따른 속성의 종류

기본속성

비즈니스 프로세스에서 도출한 본래의 속성

ex) 이름, ID, 전화번호, 등록일시

설계속성

데이터모델링 과정에서 발생되는 속성

ex)상품코드, 지점코드

파생속성

다른속성에 의해서 만들어지는 속성

ex) 합계, 평균

관계

엔터티간 논리적인 연관성을 의미한다.

엔터티의 정의에 따라 영향을 받을 수 있다.

속성 정의 및 관계 정의에 따라서 다양하게 변화할 수 있다.

관계의 분류

존재에 의한 관계

행위에 의한 관계

관계의 표기법

관계명 : 관계의 이름

-관계에 엔터티가 참여하는 형태를 정의한다.

-각 두개의 관계명을 가진다.

-관계명은 능동적 또는 수동적으로 명명된다.

-애매한 동사를피하고 현재형으로 표현한다.

관계차수

1:1 / 1:N / N:N

관계있는 엔터티간에 참여하는 수를 의미한다.

관계 선택사양:

필수관계, 선택관계

엔터티가 관계에 있어 항상 참여하는지, 선택적 참여를 하는지 표기한다.

식별자

엔터티를 대표하는 속성을 의미한다.

하나의 엔터티를 반드시 하나의 유일한 식별자를 가지고 있어야 한다.

식별자 특징

엔터티 내 각 인스턴스를 유일하게 구분할 수 있는 구분자

다른 엔터티와 관계를 연결하는 식별자

유일성, 최소성, 불변성, 존재성을 만족

주식별자의 특징

최소성

주식별자를 구성하는 속성의 수는 유일성을 만족하는 최소의 수가 되어야 함

존재성

주식별자가 지정되면 반드시 값이 존재해야 함

유일성

주식별자에 의해 엔터티 내에 모든 인스턴스들을 유일하게 구분 해야 함

불변성

주식별자가 한번 특정 엔터티에 지정되면 그 식별자의 값은 변하지 않아야 함

키의 종류

기본키

후보키 중에서 엔터티를 대표할 수 있는 키

후보키

유일성과 최소성을 만족하는 키

슈퍼키

유일성은 만족하지만 최소성을 만족하지 않는 키

대체키

여러 개의 후보키 중에서 기본키를 선정하고 남은 키

외래키

타 테이블의 기본키 필드를 가리키는 것으로 참조무결성을 확인하기 위해 사용되는 키

(허용된 값만 저장하기 위해서 사용)

식별자 분류

내부 식별자

엔터티 내부에서 스스로 생성되는 식별자

외부 식별자

다른 엔터티와 관계로 인하여 만들어지는 식별자

단일 식별자

하나의 속성으로 구성

복합 식별자

다수의 속성으로 구성

본질 식별자

비즈니스 프로세스에서 만들어지는 식별자

인조 식별자

인위적으로 만들어지는 식별자

주식별자 도출 방법

해당 업무 및 데이터에서 주로 사용되는 속성을 주식별자로 지정한다.
이름이나 명명된 호칭, 길이가 일정하지 않은 내용 등은 주식별자로 지정하지 않는다.
복합키를 구성할 때 너무 많은 속성이 포함되지 않도록 주의 한다.

식별자 관계와 비식별자 관계

부모 엔터티의 주식별자가 자식 엔터티의 주식별자로 상속되는 경우 (강한 관계)
부모 엔터티의 주식별자가 자식 엔터티의 일반 속성으로 상속되는 경우 (약한 관계)

성능 데이터 모델링의 개념

분석 및 설계 단계뿌터 데이터베이스 성능을 고려한 데이터 모델링을 수행하는 기법

데이터 모델을 중심으로 성능에 대한 데이터 모델링을 수행

성능 데이터 모델링의 수행 절차

데이터 모델링을 할 때 정규화를 정확하게 수행한다.
데이터베이스 용량을 현재와 예상 증가량을 고려하여 조사한다.
데이터베이스에 발생되는 트랜잭션의 유형을 파악한다.
용량과 트랜잭션의 유형에 따라 반정규화를 수행한다.
이력모델의 조정, PK/FK 조정, 슈퍼타입/서브타입 조정 등을 수행한다.
성능관점에서 데이터 모델을 검증한다.

정규화

데이터의 일관성 최소한의 중복, 최대한의 데이터 유연성을 위한 방법
데이터를 분해하는 과정
정해진 규칙을 따라 데이터를 이용하기 쉽게 만드는 일
데이터의 중복을 제거한다.
데이터 모델의 독립성을 확보한다.
데이터 이상현상을 줄이기 위한 설계 기법
엔터티를 상세화 하는 과정이며 데이터 모델링 수행 시점에서 고려

이상현상

삽입이상

행삽입 시 지정되지 않은 속성 값이 NULL을 가지는 경우

갱신이상

데이터 갱신 시 일부분의 데이터만 갱신되어 일관성 유지가 안되는 경우

삭제이상

행삭제 시 원하지 않는 연쇄 삭제가 발생하는 현상

정규화 단계

제 1 정규화 : 테이블 내 속성의 원자성을 확보하는 단계 , 기본키를 설정

제 2 정규화 : 기본키가 2개 이상의 속성으로 이루어진 경우 부분 함수 종속성을 제거

제 3 정규화 : 기본키를 제외한 컬럼 간 종속성을 제거 이행함수 종속성 제거

정규화 주의사항

모든 정규화는 이전 정규화를 만족 해야한다.
정규화시 이상현상은 제거 되지만 테이블의 분해로 데이터 조인의 발생이 많아지고, 이는 조회 성능 저하로 이어질 수 있다.
단일 테이블 조회시엔 데이터 중복이 제거되어 조회성능이 향상될 여지가 있다.

반정규화의 개념

데이터베이스 성능 향상을 위해 데이터 중복을 허용하고 조인을 줄이는 방법이다.
시스템의 성능향상 및 개발 운영의 단순화를 위해 정규화된 데이터 모델을 중복, 통합, 분리하는 데이터 모델링 기법을 이야기한다.
조회속도를 향상시킬 수 있지만 데이터 모델의 유연성은 낮아진다.
비정규화는 정규화를 수행하지 않음을 의미하며, 반정규화는 역정규화라고 표현하기도 한다.

반정규화를 수행해야 하는 경우

정규화를 잘하여 종속성, 활용성을 향상되었지만 수행속도가 느려진 경우
다량의 범위를 자주 처리해야 하는 경우
특정 범위의 데이터만 자주 처리하는 경우
요약/ 집계 정보를 자주 사용 하는 경우

다른 방법유도 검토

지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려울 경우 VIEW를 사용한다.
대량의 데이터처리나 부분처리에 의해 성능이 저하되는 경우 클러스터링을 적용하거나 인덱스를 조정함
대량의 데이터는 PK의 성격에 따라 부분적인 테이블로 분리할 수 있다. (파티셔닝 기법)
응용 애플리케이션에서 로직을 구사하는 방법을 변경함으로써 성능을 향상시킬 수 있다.

반정규화의 기법(테이블, 칼럼, 관계)

테이블 반정규화

테이블 병합(1:1관계, 1:M관계, 슈퍼/서브타입)

1:1관계를 통합하여 성능향상
1:M관계를 통합하여 성능향상
슈퍼/서브 관계를 통합하여 성능향상

테이블분할(수직분할, 수평분할)

칼럼단위 테이블을 디스크 I/O를 분산처리하기 위해 테이블을 1:1로 분리하여 성능향상
로우단위로 집중 발생되는 트랜잭션을 분석하여 디스크 I/O 및 데이터 접근의 효율성을 높여 성능을 향상하기 위해 로우단위로 테이블을 쪼갬

테이블추가(중복, 통계, 이력, 부분테이블 추가)

다른 업무이거나 서버가 다른 경우 동일한 테이블구조를 중복하여 원격조인을 제거하여 성능 향상
SUM, AVG 등을 미리 수행하여 계산해 둠으로써 조회 시 성능을 향상
이력테이블 중에서 마스터 테이블에 존재하는 레코드를 중복하여 이력테이블에 존재시켜 성능 향상
하나의 테이블의 전체 칼럼 중 자주 이용하는 집중화된 칼럼들이 있을 때 디스크 I/O를 줄이기 위해 해당 칼럼들을 모아놓은 별도의 반정규화된 테이블을 생성

칼럼 반정규화

중복칼럼 추가 : 조인에 의해 처리할 때 성능저하를 예방하기 위해 중복된 칼럼을 위치시킴
파생칼럼 추가 : 트랜잭션이 처리되는 시점에 계산에 의해 발생되는 성능저하를 예방하기 위해 미리 값을 계산하여 칼럼에 보관
이력테이블 칼럼추가 : 대량의 이력데이터를 처리할 때 불특정 날 조회나 최근 값을 조회할 때 나타날 수 있는 성능저하를 예방하기 위해 이력테이블에 기능성 칼럼(최근값 여부, 시작과 종료일자 등)을 추가함
응용시스템 오작동을 위한 칼럼 추가 : 업무적으로는 의미가 없지만 사용자의 실수로 원래 값으로 복구하기 원하는 경우 이전 데이터를 임시적으로 중복하여 보관하는 기법

관계 반정규화

중복관계 추가 : 데이터를 처리하기 위한 여러 경로를 거쳐 조인이 가능하지만 이 때 발생할 수 있는 성능저하를 예방하기 위해 추가적인 관계를 맺는 방법

로우 체이닝 : 로우의 길이가 너무 길어서 데이터 블록 하나에 데이터가 모두 저장되지 않고 두 개 이상의 블록에 걸쳐 하나의 로우가 저장되어 있는 형태

로우 마이그레이션 : 데이터블록에서 수정이 발생하면 수정된 데이터를 해당 데이터 블록에서 저장하지 못하고 다른 블록의 빈 공간을 찾아 저장하는 방식

로우 체이닝과 로우 마이그레이션이 발생하여 많은 블록에 데이터가 저장되면 DB 메모리에서 디스크 I/O가 발생할 때 많은 I/O가 발생하여 성능저하 발생

트랜잭션을 분석하여 적절하게 1:1관계로 분리함으로써 성능향상이 가능하도록 해야 한다.

PK에 의해 테이블을 분할하는 방법(파티셔닝)

RANGE PARTITION : 대상 테이블이 날짜 또는 숫자값으로 분리가 가능하고 각 영역별로 트랜잭션이 분리되는 경우
LIST PARTITION : 지점, 사업소 등 핵심적인 코드값으로 PK가 구성되어 있고 대량의 데이터가 있는 테이블의 경우
HASH PARTITION : 지정된 HASH 조건에 따라 해시 알고리즘이 적용되어 테이블이 분리

테이블에 대한 수평/수직분할의 절차

데이터 모델링을 완성한다.
DB 용량산정을 한다.
대량 데이터가 처리되는 테이블에 대해 트랜잭션 처리 패턴을 분석한다.
칼럼 단위로 집중화된 처리가 발생하는지, 로우 단위로 집중화된 처리가 발생하는지 분석하여 집중화된 단위로 테이블을 분리하는 것을 검토한다.

슈퍼/서브 타입 모델 : 업무를 구성하는 데이터의 특징을 공통과 차이점의 특징을 고려하여 효과적 표현

슈퍼/서브 타입 데이터 모델의 변환기술

개별로 발생되는 트랜잭션에 대해서는 개별 테이블로 구성(OneToOne Type)
슈퍼타입+서브타입에 대해 발생되는 트랜잭션에 대해서는 슈퍼+서브타입 테이블로 구성(Plus Type)
전체를 하나로 묶어 트랜잭션이 발생할 때는 하나의 테이블로 구성(Single Type, All in One Type)

인덱스 특성을 고려한 PK/FK DB 성능향상

인덱스의 특징은 여러 개의 속성이 하나의 인덱스로 구성되어 있을 때 앞쪽에 위치한 속성의 값이 비교자로 있어야 좋은 효율을 나타낸다.

앞쪽에 위치한 속성의 값이 가급적 ‘=’ 아니면 최소한 범위 ‘BETWEEN’ ‘<>’ 가 들어와야 효율적이다.

분산 DB

여러 곳으로 분산되어있는 DB를 하나의 가상 시스템으로 사용할 수 있도록 한 DB
논리적으로 동일한 시스템에 속하지만, 컴퓨터 네트워크를 통해 물리적으로 분산되어 있는 데이터집합

분산 DB를 만족하기 위한 6가지 투명성

분할 투명성(단편화) : 하나의 논리적 Relation이 여러 단편으로 분할되어 각 사본이 여러 site에 저장
위치 투명성 : 사용하려는 데이터의 저장 장소 명시 불필요, 위치정보가 시스템 카탈로그에 유지
지역사상 투명성 : 지역 DBMS와 물리적 DB 사이의 Mapping 보장
중복 투명성 : DB 객체가 여러 stie에 중복 되어 있는지 알 필요가 없는 성질
장애 투명성 : 구성요소의 장애에 무관한 트랜잭션의 원자성 유지
병행 투명성 : 다수 트랜잭션 동시 수행시 결과의 일관성 유지, TimeStamp, 분산 2단계 Locking 이용

분산 DB 장-단점

장점 : 지역 자치성, 신뢰성 가용성, 효용성 융통성, 빠른 응답속도, 비용절감, 각 지역 사용자 요구 수용

단점 : 비용증가, 오류의 잠재성 증대, 설계 관리의 복잡성, 불규칙한 응답 속도, 통제의 어려움, 데이터 무결성 위협

분산 DB 적용 기법

1.테이블 위치 분산 : 설계된 테이블을 본사와 지사단위로 분산

2.테이블 분할 분산 : 각각의 테이블을 쪼개어 분산

수평분할 : 로우 단위로 분리
수직분할 : 칼럼 단위로 분리

3.테이블 복제 분산 : 동일한 테이블을 다른 지역이나 서버에서 동시에 생성하여 관리하는 유형

부분복제 : 마스터 DB에서 테이블의 일부의 내용만 다른 지역이나 서버에 위치
광역복제 : 마스터 DB 테이블의 내용을 각 지역이나 서버에 존재

4.테이블 요약 분산 : 지역 간에 또는 서버 간에 데이터가 비슷하지만 서로 다른 유형으로 존재하는 경우

분석요약 : 동일한 테이블 구조를 가지고 있으면서 분산되어 있는 동일한 내용의 데이터를 이용하여 통합된 데이터를 산출하는 방식
통합요약 : 분산되어 있는 다른 내용의 데이터를 이용하여 통합된 데이터를 산출하는 방식

분산 DB 설계를 고려해야 하는 경우

성능이 중요한 사이트
공통코드, 기준정보, 마스터 데이터의 성능향상
실시간 동기화가 요구되지 않는 경우, 거의 실시간의 업무적인 특징을 가지고 있는 경우(?)
특정 서버에 부하가 집중되어 부하를 분산
백업 사이트 구성하는 경우