블로그를 시작하면서

20년 가까이 국내 여러 대형 사이트의 차세대, 고도화 프로젝트 수행 과정을 통해, DB 모델링, 튜닝 실무를 경험하고, 체계적이면서도 견고한 방법론을 기반으로 높은 수준의 과업을 수행했다고 자부하지만, 항상 바빴다는 핑게로 알토란 같은 노하우를 프로젝트 문서로만 담아둔 채 공유 가능한 지식 자산으로 만들지 못하고, 가까이서 함께 고생한 필자의 후배들에게 그런 노하우를 제대로 전수해 주지 못한데 대해, 한편 미안하기도 하고 한편 부끄러운 마음이었다.

치열했던 프로젝트 현장에서 앞만 보고 몸을 불살랐던 필자도, 이제 나이가 들어 DB분야 기술 실무를 할 날이 그리 많이 남아 있지 않음을 피부로 느끼면서, 지금까지 쌓았던 DB 기술 분야의 노하우를 작은 유산으로 남기고 싶은 마음에 2018년 무술년 벽두에 이 블로그를 시작한다.

2018년 1월 3일, 데이터와이즌(datawisen.blogspot.com)

이 블로그의 인기 게시물

사례 : 실행계획 분리 - UNION ALL

복잡한 선택적 조건절을 사용하는 경우, 옵티마이저가 최적 실행계획을 수립하기 어려운데, 쿼리 수정 또는 USE_CONCAT 힌트 사용을 통해 OR EXPANSION을 유도하거나, UNION ALL 구문으로 입력 케이스별로 실행계획을 강제적으로 분리시키는 방법을 사용하여 성능을 최적화 한다. 개선 전 - 트레이스 결과 (문제 상황) 외환기본_IX08 인덱스 액세스에 대부분의 시간이 소요됨 IX08 인덱스가 거래일자와 과목코드 순으로 구성되어 있어서, 거래일자 범위 조건은 인덱스 access 조건이 되었지만, 과목코드 조건을 인덱스 filter 조건이 됨 (참고로, 과목코드 값이 ‘EX’인 것은 전체 로우의 약 5%임) 개선 전 - SQL문 (문제 원인) 고객번호 및 관리점번호 입력값이 필수가 아니어서, 해당 값 입력 여부에 따라 최적 실행계획이 달라질 수 있는데, 앞의 실행계획을 보면, 고객번호(:B3) 입력 여부 따라 실행계획이 분리되었음 (CONCATENATION/FILTER 오퍼레이션 등장) INDEX 힌트를 사용하여 항상 IX08 인덱스가 사용되도록 했는데, 이 INDEX 힌트를 제거하더라도 최적 실행계획이 수립되지 않았음 개선 방안 (개선 방안) 고객번호와 관리점번호 입력 여부에 따른 3가지 경우 각각을 구분하여 처리할 수 있도록 UNION ALL 사용 이때, 배타적인 3개 집합은 반드시 상호 배제되고 전체를 포괄해야 함 (MECE, Mutually Exclusive, Collectively Exhaustive) 개선 후 (개선 결과) 3가지 경우 각각에 최적인 실행계획이 수립됨(각각 IX01, IX04, IX08 인덱스를 사용) (개선 결과) 본 사례는 고객번호가 입력된 경우로서 IX01 인덱스가 사용되었고, 개선 전에 비해 액세스량/소요시간이 현저히 감소함

자세한 내용 보기

데이터 액세스 이슈와 SQL 튜닝

SQL 처리 시간이 오래 걸리는 직접적인 이유는 (대부분) 그 SQL문이 데이터 블록을 많이 액세스하기 때문이고 , SQL 튜닝 방안 대부분은 데이터 블록 액세스 최소화 노력이다. SQL 튜닝 경험이 풍부하면, SQL 트레이스 리포트만 있어도 데이터 블록 액세스 상황이 어떠한지? 어느 단계에서 가장 많은 시간이 많이 소요되었는지? 를 신속하게 파악할 수 있고, 이후 구체적인 문제 원인을 분석하고, 개선 방안을 찾는 것을 일사천리로 진행할 수 있다. 다음은 비교적 SQL 튜닝 경험이 많지 않은 초심자도 SQL 튜닝 실무에 쉽게 접근할 수 있도록 SQL 트레이스 분석, 문제 원인 분석, 개선 방안 수립 과정 전체 과정을 마인드 맵 형태로 도식하였고, 도식 내용에 대한 설명도 첨언하였다. (문제 상황) SQL 트레이스 결과 만으로 쉽게 구분 가능하도록 3가지 유형만 정의하였는데, 먼저 넓은 범위 액세스 여부를 판별하고, 그 다음 조인 순서 부적합 여부를 판별하고, 그외의 경우인 경우 마지막 테이블/인덱스 과다 액세스로 구분한다. (문제 원인) SQL 트레이스 결과, SQL문 인덱스 정보, 데이터 구조와 값 등을 분석하여 종합적인 판단으로 주요하게 영향을 미친 문제 원인을 1개 이상 열거한다. (개선 방안) 문제 원인을 개선할 수 있고, 개선 효과도 충분히 큰 것을 우선 고려하고, 적용 가능 여부도 함께 고려하여 1개 이상의 개선 방안을 제시한다. 사실, SQL 트레이스 결과(또는 이에 버금가는 정보)를 보지 않고, (여기서 정의된) 데이터 액세스 이슈인지, 아니면 다른 이슈 인지를 판단하는 것은 쉽지 않을 수 있다. 예를 들어, 락 경합, 버퍼 경합과 같은 이슈는 데이터 액세스 이슈와는 그 성격이 다른 것이고, 그런 이슈는 대기 이벤트 정보가 있어야 문제 상황을 파악할 수 있다. 이렇듯 위 도식에 모든 SQL 성능 이슈, 모든 데이터 이슈 관련한 문제 상황, 문제 원인,...

자세한 내용 보기

사례 : 실행계획 고정

옵티마이저는 Query Transformation 기능 중 하나인 OR EXPANSION(실행계획 분리)을 통해 선택적인 조건절을 최적화할 수 있는데, 그런 기능이 적용된 실행계획이 오히려 성능에 불리한 경우, NO_EXPAND, INDEX 힌트 등을 통해 OR EXPANSION 기능이 작동하지 않도록 한다. 개선 전 (문제 상황) 고객번호 조건으로도 액세스해야 할 데이터 건수가 충분히 줄어들지 않았고, 전문발송내역 테이블과 조인하면서 결과 건수가 급감함 (문제 원인) :고객번호 값이 입력되면 외환기본 테이블이 먼저 액세스되고, :고객번호가 입력되지 않으면 전문발송내역 테이블이 먼저 액세스되도록 실행계획이 분리되었는데(오라클 옵티마이저의 OR EXPANSION 기능), :고객번호가 입력되더라도 전문발송내역이 먼저 액세스 되는 것이 성능에 유리함을 확인함 개선 후 (개선 방안) :고객번호 값 입력되더라도 전문발송내역 테이블이 먼저 액세스되도록(OR EXPANSION 되지 않도록) NO_EXPAND 힌트를 추가함 (LEADING 힌트로도 가능) (개선 결과) CONCATENATION 오퍼레이션이 사라지고, :고객번호 값 입력 여부 상관없이 전문발송내역 테이블을 먼저 액세스하는 실행계획이 수립되었으며, 개선 전보다 액세스 량이 크게 감소함

자세한 내용 보기

데이터와이즌, 데이터를 잘 다루다!

이 블로그 검색