feat(data): implement market-implied PD floor and 7x7 transition matrix parsing #task-290

docs/devlog/2026-03-11.md

@@ -7,3 +7,4 @@
 | 3 | 07:42 | ECOS 변수 21→31개 확장 + CSV 캐싱 | `92ce84a`, `49c7661` | ✅ |
 | 4 | 07:52 | 31변수 거시경제 재분석 v3 (R²=0.646) | `cc55acc` | ✅ |
 | 5 | 08:00 | 파이프라인 전단계 검증 엑셀 생성 (10시트) | `0e1e0e5` | ✅ |
+| 6 | 15:50 | 시장 YTM 기반 PD 플로어/WR보정/7×7 전이행렬 전환 설계 및 파서 적용 | TBD | 🔧 |

docs/devlog/entries/20260311-006.md

@@ -0,0 +1,14 @@
+# PD 플로어 및 7×7 전이행렬 전처리 전략 적용
+
+- **시간**: 2026-03-11 10:00~15:50
+- **Commit**: (향후 기록)
+- **Vikunja**: #290 → done
+
+## 결정 사항
+- **KAP 시장 통계 사용**: 한국기업평가, NICE신용평가, 한신평 PDF 기반 3사 전이행렬의 관측 부도율이 투자적격등급에서 0으로 나오는 문제를 해결하기 위해, KAP(한국자산평가) 공모회사채 등급별 수익률을 기준으로 역치 기반(Market-implied) PD 플로어를 산출하기로 하였습니다.
+- **Log 스케일링 앵커(Anchoring)**: Basel III 기준에 따라 AAA 등급 PD 플로어를 5bp에 앵커링하고 나머지 등급별 스프레드는 로그 스케일을 적용하여 플로어 곡선을 구성했습니다.
+- **WR 관찰치 재사용 (WR -> D 이전)**: 계산된 PD 플로어에 실제 관측 PD가 미달하는 경우, 무작정 가상의 D를 늘리는 게 아니라 WR(등급소멸) 등급에서 발생한 미관측 부도로 간주, 부족한 비율만큼 WR을 D로 편입하였습니다. 남은 WR은 나머지 등급으로 확률 비례 분배했습니다.
+- **7×7 매트릭스 도출**: 데이터 부족 현상이 가장 심한 CCC 등급 데이터 노이즈가 Zt 추정에 악영향을 주지 않도록, 파이프라인 전처리 과정(parse_pdf)에서 CCC를 아예 제외하고 AAA~B까지의 7×7 매트릭스만 출력하도록 하였으며 Zt 추정도 7×7 행렬로 수행하도록 변경하였습니다.
+
+## 미완료
+- **Phase 4-5 모듈 업데이트**: 7x7 기반 Zt 값 도출 파이프라인 완성 로직(`credit_cycle.py`, `vasicek.py`, `ccc_interpolator.py`)은 다음 세션에서 진행합니다.

docs/methodology.md

@@ -7,12 +7,16 @@
 ## 1. 전체 논리 흐름
 
 ```
-[한국 3사 전이행렬 (2000-2025)]
+[한국 3사 PDF (한국기업평가/NICE/한신평)]
         ↓
-[TTC 전이행렬 산출 (전 기간 평균)]
+[전처리: WR 제거 → B이하→B 매핑 → PD 플로어 적용 → 7×7 (AAA~B+D)]
+        ↓
+[TTC 전이행렬 산출 (전 기간 평균, 7×7)]
         ↓
 [Belkin & Suchower: Zt 추정 (WLS)]  ←  [TTC 임계값 (Φ⁻¹)]
         ↓
+[CCC 행/열 보간 (B↔D 사이 PD 보간) → 8×8 완성]
+        ↓
 [Zt ~ 거시변수 회귀모형 (OLS + Stepwise)]  ←  [BOK ECOS 거시경제변수]
         ↓
 [미래 시나리오 (호황/중립/불황)]  →  [Zt 경로 + Mean-Reversion]
@@ -30,6 +34,92 @@
 
 ## 2. 단계별 상세 이론
 
+### 2.0 3사 전이행렬 전처리 파이프라인
+
+한국 3사 PDF에서 추출된 원시 전이행렬은 그대로 사용할 수 없습니다. 아래 6단계 전처리를 거쳐 모형에 투입합니다.
+
+#### 원시 데이터 구조
+
+3사(한국기업평가, NICE, 한신평)의 PDF 전이행렬은 다음 형태입니다:
+
+```
+6행(AAA, AA, A, BBB, BB, B이하) × 8열(AAA, AA, A, BBB, BB, B이하, D, WR)
+```
+
+- **CCC 등급**은 한국 시장에서 발행체 수가 극소하여 별도 행이 존재하지 않음
+- **WR(등급취소)** 열이 포함되어 있어 행 합이 100%가 되지 않을 수 있음
+
+#### Step 1: PDF 파싱 → 6×8 추출
+
+`data/parse_pdf_matrices.py`에서 pdfplumber를 사용하여 3사 PDF에서 연도별 6×8 행렬을 추출합니다.
+- 각 기관별 파서 사용 (KR: 텍스트 기반, NICE: 텍스트 기반, SCI: 테이블 기반)
+- 추출된 행렬의 행합 유효성 검증 (30~110% 범위)
+
+#### Step 2: WR 열 제거 → 비례 재배분
+
+WR(Withdrawn Rating, 등급취소)은 부도도 유지도 아닌 상태이므로 모형에서 제거해야 합니다.
+
+```
+재배분 후 p_{ij} = p_{ij}^{원본} / (1 - p_{i,WR})
+```
+
+즉, WR을 제외한 나머지 전이확률을 비례적으로 확대하여 행 합 = 1을 복원합니다.
+
+**주의**: WR로 빠진 기업 중 일부는 부도 직전 등급 취소일 수 있어, 부도율이 과소추정될 가능성이 있습니다. 이를 보완하기 위해 Step 5의 PD 플로어를 적용합니다.
+
+#### Step 3: B이하 → B 매핑
+
+3사 원본에서 "B이하" 범주를 모형의 B등급에 매핑합니다.
+결과: 6×7 (AAA, AA, A, BBB, BB, B × AAA~D)
+
+#### Step 4: D행 추가 → 7×7
+
+D(부도)는 흡수상태로 고정합니다:
+
+```
+D행 = [0, 0, 0, 0, 0, 0, 1]
+```
+
+결과: **7×7 (AAA, AA, A, BBB, BB, B, D)** — 이 행렬로 Zt 추정을 수행합니다.
+
+#### Step 5: PD 플로어 적용
+
+한국 시장에서 AAA~A 등급의 관측 부도율이 0%인 경우가 대부분입니다. 이는 모집단이 작아 극소확률 이벤트가 관측되지 않은 것일 뿐, 부도 위험이 0이라는 의미가 아닙니다.
+
+**Basel III CRE30.4** 및 글로벌 장기 평균에 근거하여 PD 플로어를 적용합니다:
+
+| 등급 | S&P 장기평균 (1981-2023) | Moody's 장기평균 (1920-2023) | Basel III 플로어 | **적용 PD 플로어** |
+|------|:---:|:---:|:---:|:---:|
+| AAA | 0bp | 0bp | 5bp | **5bp** |
+| AA | 2bp | 5bp | 5bp | **5bp** |
+| A | 5bp | 9bp | 5bp | **7bp** |
+| BBB | 14~16bp | 26bp | 5bp | **20bp** |
+| BB 이하 | ≥56bp | ≥72bp | 5bp | 관측치 사용 |
+
+출처: docs/pd_floor_reference.md 참조
+
+관측 PD가 플로어 미만인 경우, 부도열(D) 확률을 플로어 값으로 올리고, 대각 원소(잔류확률)에서 해당 차이만큼 차감하여 행 합 = 1을 유지합니다.
+
+#### Step 6: CCC 행/열 보간 → 8×8 완성
+
+Zt 추정 완료 후, B등급과 D등급 사이를 보간하여 CCC 행/열을 생성합니다:
+
+```
+PD_CCC = interpolate(PD_B, PD_D=1.0)
+```
+
+- CCC의 PD는 B의 PD와 D의 PD(=100%) 사이에서 보간
+- CCC의 전이확률 분포도 B행과 D행의 패턴에서 보간
+- 이렇게 생성된 8×8 행렬이 최종 조건부 전이행렬 산출에 사용됩니다
+
+#### 왜 CCC 없이 Zt를 추정하는가?
+
+1. **통계적 신뢰도**: 한국 시장에서 CCC 등급 발행체가 극소수이므로 관측 전이확률의 표본오차가 매우 큼
+2. **순환 논리 방지**: fabricated CCC 데이터로 Zt를 추정하면, 가짜 데이터가 모형 파라미터에 영향
+3. **파이프라인 정합성**: 관측 데이터(7×7)로 Zt 추정 → 모형 기반 보간(CCC)으로 확장하는 것이 이론-실무 분리 원칙에 부합
+
+---
+
 ### 2.1 Through-The-Cycle (TTC) 전이행렬
 
 **왜 TTC가 필요한가?**
@@ -42,7 +132,7 @@
 TTC_{ij} = (1/T) × Σ_{t=1}^{T} TM_{ij}(t)
 ```
 
-T개 연도의 단순 산술평균 후 행 합이 1이 되도록 재정규화합니다.
+T개 연도의 단순 산술평균 후 행 합이 1이 되도록 재정규화합니다. §2.0의 전처리를 거친 7×7 행렬에 대해 TTC를 산출합니다.
 
 **논리적 근거:**
 - Basel II IRB 프레임워크: PD 추정은 "경기 사이클 전체를 포괄하는 장기 평균"이어야 함 (BCBS §452)
@@ -85,14 +175,17 @@ d_{i,j} = Φ⁻¹( Σ_{k≤j} TTC_{i,k} )
 
 **Z-조건부 전이확률:**
 
-체계적 요인 Z가 주어진 상태에서의 전이확률:
+체계적 요인 Z가 주어진 상태에서의 전이확률 (Belkin convention: Z>0 = 호황):
 
 ```
-p_{ij}(Z) = Φ( (d_{i,j} - √ρ × Z) / √(1-ρ) ) - Φ( (d_{i,j-1} - √ρ × Z) / √(1-ρ) )
+p_{ij}(Z) = Φ( (d_{i,j} + √ρ × Z) / √(1-ρ) ) - Φ( (d_{i,j-1} + √ρ × Z) / √(1-ρ) )
 ```
 
-- Z > 0 (호황): 높은 등급 쪽으로 확률 이동 → 부도율 감소
-- Z < 0 (불황): 낮은 등급 쪽으로 확률 이동 → 부도율 증가
+**부호 규약 주의**: 본 프로젝트는 Belkin convention(Z>0=호황)을 사용하여 `d + √ρ·Z`입니다.
+Basel/Vasicek convention(Z>0=불황)에서는 `d - √ρ·Z`이며, 두 규약은 Z의 부호만 다릅니다.
+
+- Z > 0 (호황): 누적확률 증가 → 높은 등급 쪽으로 확률 이동 → 부도율 감소
+- Z < 0 (불황): 누적확률 감소 → 낮은 등급 쪽으로 확률 이동 → 부도율 증가
 - Z = 0: TTC 전이확률 복원 (무조건부 = 조건부의 기대값)
 
 **Zt 추정 (가중최소자승법, WLS):**
@@ -147,10 +240,11 @@ NLS(비선형최소자승법)으로 ρ와 Zt를 동시 추정할 수 있습니
 Vasicek 공식은 Belkin & Suchower의 특수한 경우로, 부도율만을 집중적으로 다룹니다:
 
 ```
-PD_PIT(Z) = Φ( (Φ⁻¹(PD_TTC) - √ρ × Z) / √(1-ρ) )
+PD_PIT(Z) = Φ( (Φ⁻¹(PD_TTC) + √ρ × Z) / √(1-ρ) )   [Belkin: Z>0=호황]
+PD_PIT(Z) = Φ( (Φ⁻¹(PD_TTC) - √ρ × Z) / √(1-ρ) )   [Basel: Z>0=불황]
 ```
 
-이 공식은 다음을 의미합니다:
+본 프로젝트에서는 Belkin convention(`+√ρ·Z`)을 주로 사용합니다. 이 공식은 다음을 의미합니다:
 1. PD_TTC: 장기 평균 부도율 — 경기 중립(Z=0)에서의 부도율
 2. Φ⁻¹(PD_TTC): 부도 임계값을 표준정규 공간으로 변환
 3. √ρ × Z: 경기 요인이 임계값을 이동시킴
@@ -356,6 +450,10 @@ PD_weighted(t) = Σ_s w_s × PD_s(t)
 | 7 | ECB (2019). "Macro-financial scenarios for IFRS 9 ECL estimation" | 시나리오 가중치 |
 | 8 | Federal Reserve (2023). "Dodd-Frank Act Stress Test Methodology" | 불황 시나리오 설계 |
 | 9 | Greene, W.H. (2018). "Econometric Analysis" 8th ed. | OLS 진단, 변수 선택 |
+| 10 | Basel Committee (2017). CRE30.4 "Minimum requirements — PD input floors" | PD 플로어 5bp |
+| 11 | S&P Global (2024). "2023 Annual Global Corporate Default And Rating Transition Study" | 등급별 장기 평균 부도율 |
+| 12 | Moody's (2024). "Annual Default Study — Corporate Default and Recovery Rates" | 등급별 장기 평균 부도율 |
+| 13 | EBA/CRR3 (2025). "Capital Requirements Regulation III — IRB Input Floors" | EU PD floor 5bp 법제화 |
 
 ---
 
@@ -363,11 +461,22 @@ PD_weighted(t) = Σ_s w_s × PD_s(t)
 
 | 모듈 | 이론 단계 | 핵심 함수 |
 |------|----------|----------|
-| `data/transition_matrices.py` | §2.1 TTC 산출 | `compute_ttc_matrix()` |
-| `data/macro_data.py` | §2.5 거시데이터 | `collect_macro_data()` |
+| `data/parse_pdf_matrices.py` | §2.0 PDF 파싱·전처리 | `parse_kr()`, `parse_nice()`, `postprocess_matrix()` |
+| `data/transition_matrices.py` | §2.0-2.1 TTC 산출 | `load_transition_matrices()`, `compute_ttc_matrix()` |
+| `data/macro_data.py` | §2.5 거시데이터 | `load_macro_data()` |
+| `data/ecos_fetcher.py` | §2.5 ECOS API | `EcosFetcher.fetch_all()` |
 | `models/credit_cycle.py` | §2.2 Zt 추정 | `estimate_zt_series()` |
-| `models/vasicek.py` | §2.4 조건부 PD | `conditional_pd()`, `conditional_transition_matrix()` |
+| `models/vasicek.py` | §2.4 조건부 PD/TM | `conditional_pd()`, `conditional_transition_matrix()` |
 | `models/macro_model.py` | §2.5 거시연계 | `MacroZtModel.fit()` |
 | `scenarios/scenario_engine.py` | §2.7-2.8 시나리오 | `generate_z_paths()` |
 | `projection/lifetime_pd.py` | §2.9 PD 산출 | `compute_all_scenarios()` |
 | `validation/statistical_tests.py` | §2.6 검증 | `run_full_validation()` |
+
+## 5. 부호 규약 참고
+
+| 규약 | Z>0 의미 | 수식 | 사용 위치 |
+|------|---------|------|----------|
+| **Belkin convention** | 호황 (PD↓) | `d + √ρ·Z` | `credit_cycle.py`, `vasicek.conditional_transition_matrix()` |
+| **Basel/Vasicek convention** | 불황 (PD↑) | `d - √ρ·Z` | `vasicek.conditional_pd()`, `vasicek.worst_case_pd()` |
+
+두 규약이 코드에 공존하며, 각 함수의 docstring에 사용 규약이 명시되어 있습니다.

docs/pd_floor_reference.md

@@ -0,0 +1,110 @@
+# PD Floor 글로벌 레퍼런스 보고서
+
+> **작성일**: 2026-03-11  
+> **목적**: 등급별 부도율(PD) 플로어 설정을 위한 글로벌 데이터 조사
+
+---
+
+## 1. Basel III / CRR3 — 규제 PD 플로어
+
+| 자산 클래스 | PD 플로어 | 비고 |
+|-----------|----------|------|
+| 기업/은행/소버린 (IRB) | **5bp (0.05%)** | Basel II의 3bp에서 상향 |
+| 적격 회전 소매 (QRRE) | **10bp (0.10%)** | |
+| 기타 소매 | **5bp (0.05%)** | |
+
+> **핵심**: Basel III는 등급과 무관하게 **모든 기업 익스포저에 일률적 5bp 플로어**를 적용합니다.  
+> AAA든 BBB든 추정 PD가 5bp 미만이면 5bp로 올려야 합니다.
+
+**출처**:
+- Basel Committee, CRE30.4 (bis.org): *"For corporate exposures, PD shall not be less than 0.05%"*
+- EBA/CRR3 (2025.01 적용): Basel II 3bp → 5bp 상향, EU 법제화
+- KPMG Basel III Summary: *"Minimum PD input floor raised from 3bp to 5bp"*
+
+---
+
+## 2. S&P Global — 장기 평균 연간 부도율 (1981–2023)
+
+S&P "Annual Global Corporate Default and Rating Transition Study" 기준:
+
+| 등급 | 가중 장기평균 1년 부도율 | bp |
+|------|----------------------|----:|
+| **AAA** | 0.00% | **0** |
+| **AA** | 0.02% | **2** |
+| **A** | 0.05% | **5** |
+| **BBB** | 0.14~0.16% | **14~16** |
+| **BB** | 0.56~0.63% | **56~63** |
+| **B** | 2.93~3.34% | **293~334** |
+| **CCC/C** | 25.98~28.30% | **2598~2830** |
+
+**출처**: S&P Global Ratings, *"2023 Annual Global Corporate Default And Rating Transition Study"* (maalot.co.il에서 공개된 S&P 원본 데이터)
+
+---
+
+## 3. Moody's — 장기 평균 연간 부도율 (1920–2023)
+
+Moody's Annual Default Study 기준:
+
+| 등급 (Moody's) | 등급 (S&P 대응) | 평균 1년 부도율 | bp |
+|---------------|----------------|---------------|----:|
+| **Aaa** | AAA | 0.00% | **0** |
+| **Aa** | AA | 0.05% | **5** |
+| **A** | A | 0.09% | **9** |
+| **Baa** | BBB | 0.26% | **26** |
+| **Ba** | BB | 0.72% | **72** |
+| **B** | B | 0.69% | **69** |
+| **Caa** | CCC | 4.92% | **492** |
+
+**출처**: Moody's Investors Service, *"Annual Default Study"*, Capital Advisors Group 인용
+
+> **참고**: Moody's의 평균은 1920년부터 포함하여 S&P보다 더 긴 기간을 커버합니다.  
+> 대공황기 데이터가 포함되어 BBB(Baa)=26bp로 S&P의 14~16bp보다 높습니다.  
+> Ba > B 역전현상은 최근 자료에서는 해소됨.
+
+---
+
+## 4. 한국 시장 — 한국기업평가(KR) 실적 (1998–2025)
+
+| 등급 | 1년 누적 부도율 (1998–2010 평균) | 비고 |
+|------|-------------------------------|------|
+| **AAA** | 0.00% | 부도 사례 전무 |
+| **AA** | 0.00% | 부도 사례 전무 |
+| **A** | 0.00% | 부도 사례 전무 |
+| **BBB** | 0.27% (27bp) | 글로벌 수준과 유사 |
+| **BB 이하** | 높음 | 투기등급 데이터 제한적 |
+
+**출처**: Korea Ratings (korearatings.com), 연도별 등급변화표 공시; nihon-u.ac.jp 학술자료
+
+> **참고**: 한국 시장에서 AAA~A등급 부도율이 0%인 것은 모집단(발행기업 수)이 적고,  
+> 투자적격등급 부도 사례 자체가 극히 드물기 때문입니다.  
+> 0bp가 "맞다"는 뜻이 아니라, **관측 불가능한 극소확률 이벤트**라는 의미입니다.
+
+---
+
+## 5. 종합 비교 — 등급별 PD 플로어 후보
+
+| 등급 | S&P (bp) | Moody's (bp) | Basel III 플로어 | 권장 PD 플로어 |
+|------|-------:|--------:|:--------:|--------:|
+| **AAA** | 0 | 0 | 5bp | **5bp** |
+| **AA** | 2 | 5 | 5bp | **5bp** |
+| **A** | 5 | 9 | 5bp | **7bp** |
+| **BBB** | 14~16 | 26 | 5bp | **20bp** |
+| **BB** | 56~63 | 72 | 5bp | (관측치 사용) |
+| **B** | 293~334 | 69* | 5bp | (관측치 사용) |
+| **CCC** | 2598~2830 | 492 | 5bp | (보간) |
+| **D** | 100% | 100% | — | **100%** |
+
+> `*` Moody's B=69bp는 장기 평균(1920~)에서의 이상치. 최근 기간으로 좁히면 S&P와 유사합니다.
+
+### 권장 PD 플로어 선택 근거
+
+- **AAA/AA = 5bp**: Basel III 규제 플로어. S&P/Moody's 관측치가 0이므로 규제 최저선 적용
+- **A = 7bp**: S&P 5bp + Moody's 9bp 중간값. 한국 A등급 관측 0bp이므로 글로벌 기준 적용
+- **BBB = 20bp**: S&P 15bp + Moody's 26bp 중간값. 한국 BBB 관측 27bp와도 정합적
+- **BB 이하**: 관측치가 충분히 양수이므로 플로어 불필요, 관측치 직접 사용
+
+---
+
+## 6. 결론
+
+> 기억하신 "30bp"는 **BBB 등급의 Moody's 장기평균 (26bp ≈ 30bp)** 수준으로 확인되었습니다.