Deep Learning 주요 데이터셋 정리 (2026년 기준)

목차

• 표를 읽는 방법
• 1. 언어 모델의 사전학습과 후속 학습
  • 1.1 사전학습 코퍼스
  • 1.2 지시 수행, 대화, 선호학습
• 2. 언어 모델의 지식·수학·추론 평가
  • 코딩·지시 수행·에이전트
  • 긴 문맥·검색·한국어
• 3. 이미지 분류·검출·분할
• 4. 이미지·언어 모델과 문서 이해
  • 4.1 이미지·텍스트 학습 자료
  • 4.2 시각 질의응답·OCR·도표 평가
• 5. 동영상·행동·시간적 이해
• 6. 음성·오디오
• 7. 추천·그래프·표·시계열
• 8. 3D·자율주행·로보틱스
• 9. 의료 데이터의 대표 자원
• 10. 목적에 맞게 조합하는 방법
  • 학습 오염과 중복을 점검하는 순서
• 11. 작은 표본부터 내려받는 예시
  • GSM8K의 학습 표본 확인
  • FineWeb-Edu를 스트리밍으로 확인
  • 실험 기록에 남길 항목

딥러닝 데이터셋은 사전학습, 지시 수행 학습, 성능 평가 등 용도에 따라 구분한다. 평가 문제와 풀이가 학습 자료에 포함되면 평가 점수에 암기 효과가 반영될 수 있다. 이미지·음성·추천 데이터에서도 학습 자료와 평가 자료의 중복이 일반화 성능 측정에 영향을 준다.

2026년 9월 6일을 기준으로 공개 모델의 학습 자료, 주요 평가 도구가 지원하는 벤치마크, 분야별 비교 실험에 쓰이는 데이터셋을 정리했다. 각 표의 데이터셋 이름은 제작 기관의 프로젝트, 데이터 카드 또는 원 논문으로 연결된다. 규모는 해당 행에 적은 버전의 공개 수치다. 실제 다운로드 수량은 배포본과 원본 파일의 접근 가능 여부에 따라 달라진다.

최근 활용 여부는 Language Model Evaluation Harness, VLMEvalKit, MTEB, SWE-bench의 지원 과제와 공식 학습 데이터 카드를 참고했다. 오래된 데이터셋도 기존 연구의 재현과 비교에 쓰이면 포함했다. 목록은 용도별로 분류했으며 사용량 순위는 매기지 않았다.

표를 읽는 방법

K, M, B, T는 각각 천, 백만, 십억, 조 단위다. 토큰 수는 토크나이저에 따라 달라지며, 문서 수·이미지 수·질문 수·평가 실행 횟수는 서로 다른 단위다. 라이선스 칸은 이용 시 확인할 핵심 사항을 요약한다. 특히 데이터 모음의 라이선스가 포함된 모든 원문·사진·코드의 권리를 일괄 부여하지는 않는다.

1. 언어 모델의 사전학습과 후속 학습

1.1 사전학습 코퍼스

FineWeb-Edu는 교육적 영어 텍스트의 학습 비중을 높이는 데, FineWeb2는 다국어 비중을 조절하는 데 사용할 수 있다. Dolma·OLMo 혼합물은 공개 모델의 학습 구성을 재현할 때 사용한다.

1.2 지시 수행, 대화, 선호학습

합성 지시문 데이터는 사람이 검수한 정답 집합과 다르다. 특히 수학·코딩 응답은 실행기나 정답 검증기로 추가 확인하고, 선호 데이터에서는 무승부·둘 다 나쁨·응답 길이 편향을 별도로 처리해야 한다.

2. 언어 모델의 지식·수학·추론 평가

MMLU·GSM8K·MATH의 문제와 풀이는 인터넷 문서나 합성 학습 데이터에 포함될 수 있다. 문제 공개일과 모델의 학습 기간을 대조하면 오염 가능성을 점검할 수 있다. 사내 도메인 문제와 비공개 평가는 공개 벤치마크의 문항과 다른 자료에서 성능을 측정하는 데 사용한다.

코딩·지시 수행·에이전트

SWE-bench·WebArena·OSWorld의 점수에는 모델과 에이전트 실행 조건이 함께 반영된다. 같은 모델이라도 접근 가능한 도구, 컨텍스트 관리, 재시도 횟수, 테스트 실행 정책에 따라 결과가 달라진다. 성공률과 과제당 비용·지연 시간·실패 유형을 함께 기록하면 실행 조건에 따른 차이를 비교할 수 있다.

긴 문맥·검색·한국어

3. 이미지 분류·검출·분할

분류는 top-1/top-5, 검출·인스턴스 분할은 AP, 의미 분할은 mIoU 등 과제에 맞는 지표를 사용한다. SA-1B의 마스크는 객체 영역을 제공하며 ADE20K의 픽셀 주석은 의미 클래스도 제공한다. 주석 개수를 비교할 때에는 이러한 학습 신호의 차이를 구분한다.

4. 이미지·언어 모델과 문서 이해

4.1 이미지·텍스트 학습 자료

4.2 시각 질의응답·OCR·도표 평가

TextVQA·ST-VQA·TextCaps는 모두 문자를 포함한 이미지를 다루지만 출력 목표가 다르다. 앞의 두 자료는 질문의 정답을, TextCaps는 이미지 설명 문장을 요구한다. 기존 배포 사이트에 접근할 수 없다면 원 논문과 제작자의 후속 안내에서 배포 경로를 확인한다. 미러를 사용할 경우에는 원본의 버전·분할·이용 조건과 일치하는지 확인한다.

5. 동영상·행동·시간적 이해

비디오 데이터의 규모에는 원본 영상 수와 추출 클립 수가 각각 사용된다. HowTo100M은 원본 영상 1.2M개에서 얻은 클립·자막 쌍 136M개를 제공한다. 자막을 입력하는 모델은 시각 정보와 텍스트를 함께 사용하므로, 평가 결과에는 자막 사용 여부를 명시한다.

6. 음성·오디오

ASR의 WER, 화자 검증의 EER, 환경음 분류의 accuracy/mAP, TTS의 청취 평가는 서로 대체할 수 없다. 샘플레이트와 채널 수뿐 아니라 화자 중복, 녹음 장치, 잡음 환경도 분할과 결과 해석에 영향을 준다.

7. 추천·그래프·표·시계열

추천 문제에서 무작위로 interaction을 나누면 같은 사용자의 미래 행동을 먼저 학습할 수 있다. cold-start를 연구한다면 사용자나 아이템 자체가 학습에 없도록 나누고, 시간에 따른 추천을 연구한다면 시간 분할을 사용해야 한다. 그래프에서도 미래에 생긴 간선이나 전체 그래프에서 계산한 특징이 입력에 섞이는지 확인한다.

8. 3D·자율주행·로보틱스

로봇 데이터의 행동 벡터는 차원 수가 같아도 의미가 다를 수 있다. 데이터를 결합할 때에는 절대 위치와 상대 이동량, 카메라와 로봇의 좌표계, gripper 값의 방향을 일치시켜야 한다. 오프라인 행동 예측 오차와 실제 로봇의 작업 성공률은 별도로 평가한다.

9. 의료 데이터의 대표 자원

의료 데이터는 이미지 수와 함께 환자·검사·기관 수를 기록한다. 같은 환자의 여러 촬영을 무작위로 나누면 학습 자료와 평가 자료에 동일한 환자가 포함될 수 있다. 환자 단위 분할은 이런 중복을 줄이며, 외부 병원과 다른 시기의 자료를 이용한 평가는 기관·시기에 따른 성능 변화를 측정한다.

10. 목적에 맞게 조합하는 방법

비교 실험의 결과에는 학습량, 전처리, 분할, negative sampling, 프롬프트, 도구 접근 권한, 판정기가 영향을 준다. 여러 seed에서 얻은 결과나 bootstrap 신뢰구간은 점수의 변동성을 나타내며, 평가 자료가 작을 때에는 이러한 변동이 특히 클 수 있다.

학습 오염과 중복을 점검하는 순서

1. 공식 test 문항과 정답·해설을 학습 자료에서 제외한다. URL이 다르더라도 복사된 문서와 번역본이 있을 수 있다.
2. 텍스트는 정규화한 exact match와 n-gram·MinHash 등의 근사 중복 검사를 함께 사용한다. 자동 제거 기준은 표본 검수로 확인한다.
3. 이미지·영상·음성은 파일 해시뿐 아니라 원본 ID, 지각적 유사도, 화자·촬영 세션·영상 ID를 함께 확인한다.
4. 추천·시계열·의료 자료는 사용자·아이템·환자·장면·시간 중 실제 배포 상황에 맞는 단위로 나눈다.
5. 정규화 통계, 어휘 사전, PCA, imputer와 같은 전처리는 학습 분할에서만 추정한다. 검색 평가에서 제공된 전체 검색 코퍼스를 색인하는 것은 허용될 수 있으므로 과제 프로토콜과 구분한다.
6. 모델 선택을 위해 반복해서 본 validation 결과와 최종 test 결과를 구분하고, 수정되는 벤치마크는 commit·release를 고정한다.

11. 작은 표본부터 내려받는 예시

다음 예시는 기준일에 확인한 Hugging Face Datasets의 로딩 문서, 스트리밍 문서, Hub의 HfApi 문서에 따른다. 실행 확인에 사용한 버전은 datasets 4.8.5, huggingface_hub 1.30.0이다. 설치 명령은 패키지 버전을 고정하고, 각 Python 예시는 데이터의 commit SHA를 출력한다.

python3 -m venv .venv-datasets
source .venv-datasets/bin/activate
python -m pip install datasets==4.8.5 huggingface_hub==1.30.0
python -m pip freeze > requirements-datasets-resolved.txt

GSM8K의 학습 표본 확인

최초 실행에서는 Hub의 현재 commit을 조회한다. 출력한 commit 값을 실험 기록에 저장하고, 재현할 때에는 dataset_info()를 다시 호출하는 대신 그 값을 revision에 지정한다.

from datasets import load_dataset
from huggingface_hub import HfApi

dataset_id = "openai/gsm8k"
revision = HfApi().dataset_info(dataset_id).sha

sample = load_dataset(
    dataset_id,
    "main",
    revision=revision,
    split="train[:5]",
)

print({"dataset": dataset_id, "revision": revision, "split": "train[:5]"})
print(sample.column_names)
print(sample[0]["question"])
print(sample[0]["answer"])

train[:5]는 반환할 행을 제한한다. 저장 형식에 따라 원격 shard나 전체 분할을 먼저 내려받을 수 있으므로, 전송량은 다섯 행의 크기보다 클 수 있다. 위 예시는 작은 GSM8K 자료에 사용한다.

FineWeb-Edu를 스트리밍으로 확인

from datasets import load_dataset
from huggingface_hub import HfApi

dataset_id = "HuggingFaceFW/fineweb-edu"
revision = HfApi().dataset_info(dataset_id).sha

stream = load_dataset(
    dataset_id,
    name="sample-10BT",
    revision=revision,
    split="train",
    streaming=True,
)

print({"dataset": dataset_id, "revision": revision, "config": "sample-10BT"})
for row in stream.take(3):
    print(row["text"][:200])

스트리밍은 전체 데이터셋을 로컬 저장소에 받지 않고 순차적으로 읽는 방법이다. 그래도 파일 메타데이터나 압축 블록은 전송될 수 있다. take(3)은 형식 확인용이며, 코퍼스 전체의 분포를 대표하는 무작위 표본은 아니다. 학습에 사용할 때에는 shuffle buffer, seed, worker별 shard 분할과 실제 읽은 표본 수를 기록한다.

위 환경에서 GSM8K 5행과 FineWeb-Edu 3행의 반환을 확인했다. FineWeb-Edu 스트리밍은 표본 출력 후 프로세스 종료가 지연되어 정상 종료까지는 확인하지 못했다.

실험 기록에 남길 항목

공식 데이터 카드나 링크가 유지되어도 원본 파일은 삭제될 수 있다. 논문에는 배포 당시의 공개 규모와 실제 확보·학습·평가한 규모를 구분해 기록한다.