[0329] 데이터베이스 - 데이터베이스 기초

학습 목표

• RDBMS와 NoSQL의 차이와 각각의 장단점을 이해할 수 있다.
• 충분한 가용성이 확보되지 않은 다양한 문제 상황을 이해하고, 상황에 따른 솔루션이 무엇인지 이해할 수 있다.
  • 다음 용어에 대한 간단한 정의를 내릴 수 있다: 인덱싱, 레플리카, 파티셔닝, 캐싱, 배치 작업, 스트림 처리
• 이벤트 기반 아키텍처를 설명할 수 있다.
• RDBMS에서 테이블을 만들 때 스키마(필드) 디자인을 할 수 있다.
• 데이터 파이프라인의 필요성을 이해할 수 있다.
  • OLTP와 OLAP의 차이를 이해할 수 있다.
  • ETL 과정을 설명할 수 있다.
  • MLOps와 DevOps의 차이를 이해할 수 있다.
• 리눅스 명령과 프로그래밍 언어를 이용해 간단한 데이터 파이프라인을 구현할 수 있다.
  • 간단한 수준의 SQL문을 사용할 수 있다.

---

데이터베이스의 필요성

---

• 메리에 임시 저장(In-Memory)
  • 예시) 변수를 만들어 값을 저장한 경우, 해당 값은 메모리 상에 일시적으로 저장되지만, 프로그램이 종료될 때 해당 프로그램이 사용하던 데이터도 사라짐
  • 변수 등에 저장한 데이터가 프로그램의 실행에 의존함
  • 예기치 못한 상황으로부터 데이터를 보호할 수 없고, 프로그램이 종료된 상태라면 데이터를 원하는 시간에 받아올 수 없으며, 데이터의 수명이 프로그램의 수명에 의존하게 됨
• 파일 입/출력(I/O)
  • 파일을 읽는 방식으로 작동하는 형태
  • 인메모리에 비해 데이터를 저장하는 방식으로 적절해보이나 한계가 존재함
  • 데이터가 필요할 때마다 전체 파일을 매번 읽어야 하므로, 파일의 크기가 커질수록 버겁고 비효율적인 방식임
  • 파일이 손상되거나 여러 개의 파일들을 동시에 다뤄야 하는 등 복잡하고 데이터량이 많아질수록 데이터를 불러들이는 작업이 점점 힘들어짐
• 관계형 데이터베이스
  • 하나의 CSV 파일이나 엑셀 시트를 한 개의 테이블로 저장할 수 있음
  • 한번에 여러 개의 테이블을 가질 수 있기 때문에 SQL을 활용해 데이터를 불러오기 수월함

---

RDBMS vs NoSQL

---

• SQL(구조화 쿼리 언어) vs NoSQL(비구조화 쿼리 언어)
  • 관계형 데이터베이스
    • SQL을 기반으로 테이블의 구조와 데이터 타입 등을 사전에 정의하고, 테이블에 정의된 내용에 알맞은 형태의 뎅터만 삽입할 수 있음
    • 행(row)과 열(column)로 구성된 테이블에 데이터를 저장함
    • 각 열은 하나의 속성에 대한 정보를 저장하며 행에는 각 열의 데이터 형식에 맞는 데이터가 저장됨
    • 특정한 형식을 지키기 때문에 데이터를 정확히 입력했다면 데이터를 사용할 때는 매우 수월함
    • SQL을 활용해 원하는 정보를 쿼리할 수 있고 즉, 스키마가 뚜렷하게 보이며 테이블 간의 관계를 직관적으로 파악할 수 있음
    • MySQL, Oracle, SQLite, PostgreSQL, MariaDB 등
  • NoSQL
    • 주로 데이터가 고정되어 있지 않은 데이터베이스를 가리킴
    • 스키마가 반드시 없는 것으 아니며, 데이터를 입력할 때 스키마에 맞게 입력해야하는 관계형 데이터베이스와 달리, 데이터를 읽어올 때 스키마에 따라 데이터를 읽어옴(schema-on-read)
    • 읽어올 때만 데이터 스키마가 사용된다고 해서 데이터를 쓸 때 정해진 방식이 없다는 의미는 아님
    • 데이터를 입력하는 방식에 따라, 데이터를 읽어올 때 영향을 미침
    • MongoDB, Casandra 등
• NoSQL
  • Key-Value 타입
    • 속성을 Key-Valaue의 쌍으로 나타내는 데이터를 배열의 형태로 저장함
    • key: 속성 이름, Value: 속성에 연결된 데이터 값
    • Redis, Dynamo 등
  • 문서형(Documant) 데이터베이스
    • 데이터를 테이블이 아닌 문서처럼 저장하는 데이터베이스
    • 많은 문서형 데이터베이스에서 JSON과 유사한 형식의 데이터를 문서화하여 저장함
    • 각각의 문서는 하나의 속성에 대한 데이터를 가지고 있고, 컬렉션이라고 하는 그룹으로 묶어서 관리
    • MongoDB 등
  • Wide-Column 데이터베이스
    • 열(column)에 대한 데이터를 집중적으로 관리하는 데이터베이스
    • 각 열에는 key-value 형식으로 데이터가 저장되고, 컬럼 패밀리(column families)라고 하는 열의 집합체 단위로 데이터를 처리할 수 있음
    • 하나의 행에 많은 열을 포함할 수 있어서 유연성이 높음
    • 데이터 처리에 필요한 열ㅇ르 유연하게 선택할 수 있다는 점에서 규모가 큰 데이터 분석에 주로 사용되는 데이터베이스 형식
    • Cassandra, HBase 등
  • 그래프(Graph) 데이터베이스
    • 자료구조의 그래프와 비슷한 형식으로 데이터 간의 관계를 구성하는 데이터베이스
    • 노드(nodes)에 속성별(entites)로 데이터를 저장함
    • 각 노드 간 관계는 선(edge)으로 표현함
    • Neo4J, InfiniteGraph 등
• SQL 기반의 데이터베이스와 NoSQL 데이터베이스의 차이점

	관계형 데이터베이스	비관계형 데이터베이스
데이터 저장(Storage)	SQL을 이용해서 데이터를 테이블에 저장함 미리 작성된 스키마를 기반으로 정해진 형식에 맞게 데이터를 저장해야 함	key-value, wide-column, graph 등의 방식으로 데이터를 저장함
스키마(Schema)	고정된 형식의 스키마가 필요함 처리하려는 데이터 속성별로 열(column)에 대한 정보를 미리 정해두어야 함 스키마는 나중에 변경할 수 있지만, 데이터베이스 전체를 수정하거나 오프라인(down-time)으로 전환할 필요가 있음	보다 동적으로 스키마의 형태를 관리할 수 있음 행을 추가할 때 즉시 새로운 열을 추가할 수 있고, 개별 속성에 대해서 모든 열에 대한 데이터를 반드시 입력하지 않아도 됨
쿼리(Querying)	테이블의 형식과 테이블 간의 관계에 맞춰 데이터를 요청해야 함	데이터 그룹 자체를 조회하는 것에 초점을 둠 구조화되지 않은 쿼리 언어로도 요청이 가능함(UnQL)
확장성(Scalability)	수직적으로 확장 높은 메모리, CPU를 사용하는 확장 구축된 하드웨어의 성능을 많이 이용하기 때문에 비용이 많이 듦 여러 서버에 걸쳐서 데이터베이스의 관계를 정의할 수 있지만, 매우 복잡하고 시간이 많이 소모됨	수평적으로 확장 보다 값싼 서버 증설, 또는 클라우드 서비스를 이용하는 확장 서버를 추가적으로 구축하면, 많은 트래픽을 보다 편리하게 처리할 수 있음 저렴한 범용 하드웨어나 클라우드 기반의 인스턴스에 데이터베이스를 호스팅할 수 있어서, 수직적 확장보다 상대적으로 비용이 저렴함

• SQL 기반의 관계형 데이터베이스를 사용하는 케이스
  • 데이터베이스의 ACID 성질을 준수해야 하는 경우
    • Atomicity(원자성), Consistency(일관성), Isolation(격리성), Durability(지속성)
    • 데이터베이스에서 실행되는 하나의 트랜잭션에 의한 상태의 변화를 수행하는 과정에서, 안전성을 보장하기 위해 필요한 성질
    • SQL을 사용하면 데이터베이스와 상호작용하는 방식을 정확하게 규정할 수 있기 때문에, 데이터베이스에서 데이터를 처리할 때 발생할 수 있는 예외적인 상황을 줄이고, 데이터베이스의 무결성을 보호할 수 있음
    • 전자 상거래를 비롯한 모든 금융 서비스를 위한 소프트웨어 개발에서는 반드시 데이터베이스의 ACID 성질을 준수해야함
  • 소프트웨어에 사용되는 데이터가 구조적이고 일관적인 경우
    • 소프트웨어(프로젝트)의 규모가 많은 서버를 필요로 하지 않고 일관된 뎅터를 사용하는 경우, 관계형 데이터베이스를 사용하는 경우가 많음
• NoSQL 기반의 비관계형 데이터베이스를 사용하는 케이스
  • 데이터의 구조가 거의 또는 전혀 없는 대용량의 데이터를 저장하는 경우
    • 대부분의 NoSQL 데이터베이스는 저장할 수 있는 데이터의 유형에 제한이 없으므로, 필요에 따라 언제든지 데이터의 새 유형을 추가할 수 있음
    • 소프트웨어 개발에 정형화되지 않은 많은 양의 데이터가 필요한 경우, NoSQL을 적용하는 것이 더 효율적일 수 있음
  • 클라우드 컴퓨팅 및 저장공간ㅇ르 최대한 활용하는 경우
    • 클라우드 기반으로 데이터베이스 저장소를 구축하면, 저렴한 비용의 솔루션을 제공받을 수 있음
    • 소프트웨어에 데이터베이스의 확장성이 중요하다면, 별다른 번거로움 없이 확장할 수 있는 NoSQL 데이터베이스를 사용하는 것이 좋음
  • 빠르게 서비스를 구축하는 과정에서 데이터 구조를 자주 업데이트 하는 경우
    • NoSQL 데이터베이스의 경우 스키마를 미리 준비할 필요가 없기 때문에 빠르게 개발하는 과정에 매우 유리함(시장에 빠르게 프로토타입을 출시해야 하는 경우 등)
    • 소프트웨어 버전별로 많은 다운타임 없이 데이터 구조를 자주 업데이트 해야 하는 경우, 스키마를 매번 수정해야 하는 관계형 데이터베이스 보다 NoSQL 기반의 비관계형 데이터베이스를 사용하는 게 더 적합함

---

관계형 데이터베이스의 표준 언어 SQL

---

• Structured Query Language
• 데이터베이스용 프로그래밍 언어로, 데이터베이스에 쿼리를 보내 원하는 데이터를 가져오거나 삽입할 수 있음
• 이를 사용하기 위해서는 데이터의 구조가 고정되어 있어야 함