TL;DR
- 허깅페이스에 공개된 「Weather Model Forecast Archive」(2026-01-01~11-15, 24개 도시, 일 최고기온)에서 여섯 개 공개 예보 모델을 똑같은 비중으로 평균하면, 예보 1일 전부터 7일 전까지 모든 구간에서 단일 최고 모델(ECMWF AIFS)보다 오차가 낮았습니다.
- 예보 1일 전 RMSE는 AIFS 1.38°C, 평균 1.20°C(13.3% 감소). 7일 전은 AIFS 2.56°C, 평균 2.38°C(7.1% 감소)입니다.
- 코드는 pandas 20줄 이내입니다. 누구나 같은 CSV로 그대로 다시 돌려 볼 수 있습니다.
- 데이터: https://huggingface.co/datasets/FINAL-Bench/Weather-Model-Forecast-Archive (CC BY-NC 4.0, 비드래프트 정리, 날씨 자료는 Open-Meteo CC BY 4.0, 정답은 ERA5)
- 순위표: https://huggingface.co/spaces/FINAL-Bench/Weather-Model-Leaderboard
공개 예보 모델을 섞으면 정말 더 정확해지는가?
일기예보에는 오래된 경험칙이 있습니다. 모델 하나를 고르는 것보다 여러 모델을 섞는 쪽이 대체로 낫다는 것입니다. 각 모델의 실수는 서로 완전히 같지 않아서, 평균을 내면 서로 다른 방향의 오차가 일부 상쇄되기 때문입니다. 각국 예보센터가 앙상블을 쓰는 이유도 같습니다.
그런데 이 경험칙은 2026년의 공개 모델 여덟 개에도 그대로 맞을까요? 올해는 AI 모델이 물리 모델을 앞서기 시작한 해입니다. 가장 정확한 모델 하나가 이미 충분히 좋다면, 나머지를 섞어도 이득이 없을 수 있습니다. 직접 재 보는 것이 가장 빠릅니다. 비드래프트가 매일 갱신하는 공개 아카이브에는 모델별 예보와 ERA5 정답이 한 줄씩 들어 있어서, 계산에 필요한 재료가 모두 갖춰져 있습니다.
어떤 데이터로 쟀는가?
아카이브의 forecasts_vs_observed_2026.csv는 날짜, 도시, 예보 일수(lead_days), ERA5 일 최고기온, 그리고 모델별 예보값을 한 줄로 담습니다. 이번에 사용한 범위는 아래와 같습니다.
| 항목 | 내용 |
|---|---|
| 기간 | 2026-01-01 ~ 2026-11-15 (UTC 기준 검증일) |
| 도시 | 6개 대륙 24개 |
| 요소 | 일 최고기온 (2m, °C) |
| 예보 일수 | 1일 전 ~ 7일 전 |
| 정답 | ERA5 재분석 (코페르니쿠스 기후변화서비스) |
| 점수 | RMSE, 낮을수록 좋음 |
| 사용 모델 | ECMWF IFS, ECMWF AIFS, NOAA GFS, JMA GSM, ECCC GEM, MET Norway (6개) |
| 사례 수 | 예보 일수마다 약 7,200~7,650건 |
모델 여덟 개 중 두 개는 일부러 뺐습니다. NOAA AIGFS는 빈 칸이 많아 전체 사례의 약 3분의 2에서만 예보가 있고, DWD ICON은 7일 전 예보가 아예 없습니다. 모델 집합이 예보 일수마다 달라지면 구간끼리 비교가 흐려지므로, 모든 구간에 값이 있는 여섯 개로 고정했습니다. 또한 여섯 개 모두 값이 있는 사례만 남겨, 어떤 모델도 더 쉬운 날만 채점받는 일이 없게 했습니다.
재현 코드는 어떻게 생겼는가?
아래 코드는 위 표를 그대로 옮긴 것입니다. 그대로 실행하면 됩니다.
import numpy as np, pandas as pd url = ("https://huggingface.co/datasets/FINAL-Bench/Weather-Model-Forecast-Archive" "/resolve/main/forecasts_vs_observed_2026.csv") d = pd.read_csv(url) O = "observed_era5_tmax_c" S = ["ecmwf_ifs025", "ecmwf_aifs025_single", "gfs_seamless", "jma_seamless", "gem_seamless", "metno_seamless"] d = d[d.lead_days <= 7].dropna(subset=S + [O]) # 여섯 모델이 모두 예보한 사례만 rmse = lambda p, o: float(np.sqrt(((p - o) ** 2).mean())) for lead, g in d.groupby("lead_days"): single = {m: rmse(g[m], g[O]) for m in S} best = min(single, key=single.get) ens = rmse(g[S].mean(axis=1), g[O]) # 동일 가중 평균 print(lead, len(g), best, round(single[best], 2), round(ens, 2), f"{100 * (1 - ens / single[best]):.1f}%") dropna 한 줄이 공정성의 핵심입니다. 이 줄이 없으면 모델마다 채점받는 날이 달라져서, 예보를 덜 낸 모델이 유리해지거나 불리해질 수 있습니다. 평균은 g[S].mean(axis=1) 한 줄로 끝나고, 가중치도 학습도 없습니다.
결과는 어떻게 나왔는가?
예보 일수별 RMSE(°C)입니다. 사례 수는 일수마다 7,191~7,651건입니다.
| 예보 일수 | IFS | AIFS (단일 최고) | GFS | MET Norway | 6개 평균 | AIFS 대비 감소 |
|---|---|---|---|---|---|---|
| 1일 전 | 1.51 | 1.38 | 1.83 | 1.64 | 1.20 | 13.3% |
| 2일 전 | 1.65 | 1.52 | 1.96 | 1.77 | 1.33 | 12.4% |
| 3일 전 | 1.82 | 1.63 | 2.15 | 1.93 | 1.48 | 9.2% |
| 4일 전 | 2.02 | 1.75 | 2.38 | 2.16 | 1.64 | 6.2% |
| 5일 전 | 2.24 | 1.98 | 2.62 | 2.35 | 1.83 | 8.0% |
| 6일 전 | 2.70 | 2.26 | 2.89 | 2.75 | 2.13 | 5.8% |
| 7일 전 | 2.97 | 2.56 | 3.25 | 3.02 | 2.38 | 7.1% |
세 가지가 읽힙니다.
첫째, 모든 구간에서 평균이 이겼습니다. 7개 구간 모두 평균의 RMSE가 단일 최고인 AIFS보다 낮습니다. 감소폭은 5.8%에서 13.3%입니다.
둘째, AI 모델이 같은 기관의 물리 모델보다 정확했습니다. ECMWF의 AIFS는 같은 기관의 IFS보다 1일 전 1.38 대 1.51, 7일 전 2.56 대 2.97로 모든 구간에서 오차가 낮았습니다. 올해의 AI 예보 모델이 실제로 앞선다는 점을 이 표가 다시 보여 줍니다.
셋째, 감소폭은 가까운 예보에서 가장 큽니다. 1일 전에는 13.3%, 6일 전에는 5.8%입니다. 가까운 예보에서는 모델마다 초기 조건 해석이 달라 생기는 서로 다른 오차가 많고, 평균이 이를 잘 지우는 것으로 보입니다. 먼 예보에서는 대기의 불확실성이라는 공통 요인이 커져서 평균으로 지울 수 있는 몫이 줄어드는 것으로 해석됩니다. 이 해석은 이 표만으로 증명되는 것은 아니며, 가설로 읽어 주세요.
평균에서 모델 하나를 빼면 어떻게 되는가?
평균이 특정 모델 하나에 기대고 있지는 않은지도 확인했습니다. 7일 전 예보에서 여섯 모델 가운데 하나씩 빼고 다시 평균을 내 보았습니다.
| 뺀 모델 | 7일 전 RMSE(°C) |
|---|---|
| 없음 (6개 전부) | 2.38 |
| MET Norway | 2.36 |
| IFS | 2.37 |
| GEM | 2.39 |
| JMA | 2.42 |
| GFS | 2.43 |
| AIFS | 2.50 |
어느 모델을 빼도 RMSE는 2.36~2.50 사이이고, 모두 AIFS 단독(2.56)보다 낮습니다. 평균의 이득이 한 모델에서 나오는 것이 아니라 여러 모델의 오차가 서로 다른 방향이라는 데서 나온다는 뜻입니다. 오차가 가장 많이 올라간 경우는 AIFS를 뺀 때(2.50)로, 단일 최고 모델이 평균에도 가장 크게 기여함을 알 수 있습니다. 한편 AIFS, IFS, MET Norway 세 개만 섞은 평균은 2.55로, 여섯 개를 섞은 2.38보다 높았습니다. 이 아카이브에서는 모델 수가 많을수록 도움이 됐습니다.
도시별로도 같은가?
7일 전 예보를 도시별로 나누어 같은 비교를 해 보았습니다. 24개 도시 중 15개 도시에서 평균이 AIFS보다 낮은 RMSE를 냈습니다. 나머지 9개 도시에서는 AIFS 단독이 더 정확했습니다. 전체 평균에서의 이득이 모든 도시에 똑같이 퍼져 있지는 않다는 뜻이고, 한 지역의 예보를 책임지는 현업에서는 도시별로 가중치를 따로 정할 이유가 생깁니다. 이 질문이 바로 단순 평균 다음에 시도하는 일, 즉 성능에 따라 가중치를 주는 융합입니다.
단순 평균 다음은 무엇인가?
여기서 쓴 평균은 가중치가 모두 같은 가장 단순한 형태입니다. 비드래프트는 같은 공개 자료를 바탕으로 예보를 융합하는 Darwin-Prediction-Weather를 공개하고, 같은 방식으로 매일 채점되는 순위표에 올려 두었습니다. 이 글의 표는 여섯 공개 모델만 쓴 계산이며, Darwin-Prediction-Weather의 값은 포함하지 않았습니다. 융합 모델의 현재 순위는 순위표에서 직접 확인해 주세요. 위 코드의 평균 줄을 가중 평균으로 바꾸고 lead_days와 도시별로 가중치를 맞추면, 오차를 어디까지 줄일 수 있는지 가늠해 볼 수 있습니다.
이 숫자를 쓸 때 주의할 점은 무엇인가?
- 이 계산은 일 최고기온 하나에 대한 것입니다. 강수량과 풍속은 오차 분포가 달라서 같은 결론이 나온다고 가정하면 안 됩니다. 같은 저장소에 강수·최저기온·풍속 파일이 따로 있으니 같은 코드로 바꿔 돌려 볼 수 있습니다.
- 정답으로 쓴 ERA5는 관측소 값이 아니라 재분석 자료입니다. 점수는 「ERA5와의 거리」입니다.
- 데이터의 마지막 검증일은 2026-11-15입니다. 아카이브는 매일 갱신되므로 나중에 돌리면 숫자가 조금 달라집니다.
- 라이선스는 CC BY-NC 4.0이라 비영리 사용에 한합니다. 상업적 이용은 vidraft@mail.vidraft.net으로 문의해 주세요. 날씨 자료의 출처는 Open-Meteo.com(CC BY 4.0)입니다.
자주 묻는 질문
Q. 여러 예보 모델을 평균하면 항상 더 정확한가요?
A. 이 데이터에서는 24개 도시 전체 기준으로 예보 1~7일 전 모든 구간에서 단일 최고 모델보다 RMSE가 낮았습니다. 다만 7일 전 예보를 도시별로 보면 24개 중 15개 도시에서 평균이 앞섰으므로, 도시마다 결과가 다를 수 있습니다.
Q. RMSE 1.20°C와 1.38°C는 얼마나 다른가요?
A. 일 최고기온을 1일 전에 예보했을 때 RMSE가 0.18°C 줄어든다는 뜻이며, 비율로는 13.3%입니다. RMSE는 큰 실수에 더 큰 벌점을 주는 지표여서, 크게 빗나간 날이 줄었다는 의미로 읽을 수 있습니다.
Q. 왜 AIGFS와 ICON을 뺐나요?
A. AIGFS는 전체 사례의 약 3분의 2에서만 예보가 있고 ICON은 7일 전 예보가 없어, 포함하면 구간마다 사례와 모델 집합이 달라집니다. 모든 구간에서 같은 조건으로 비교하려고 여섯 개로 고정했습니다.
Q. 코드를 그대로 돌리면 같은 숫자가 나오나요?
A. 같은 기간(2026-11-15까지)의 파일이라면 같은 숫자가 나옵니다. 아카이브가 매일 늘어나므로 최신 파일로 돌리면 소수 둘째 자리가 조금 달라질 수 있습니다.
Q. 이 아카이브는 어디서 받고 어떻게 쓸 수 있나요?
A. 허깅페이스 FINAL-Bench/Weather-Model-Forecast-Archive에서 CSV를 내려받습니다. 비영리 용도로 쓸 수 있습니다.
