● 커뮤니티 소개

HAE-RAE 랩은 한국어 자연어처리(NLP)를 연구하는 모임으로

1) 벤치마크 구축 — HAE-RAE Bench, KMMLU, HRM8K 등

2) 학습 방법론 제안 — UST, VLM Text-Only Training 등

3) 평가 표준 수립 — HRET 등의 활동을 2023년 부터 이어오고 있습니다.

미래에도 꾸준히 한국어 자연어 처리 저변 확대를 위한 연구들을 이어나갈 예정입니다.

● 커뮤니티 연혁

2023.05 해례 설립 
2023.09 "HAE-RAE Bench: Evaluation of Korean Knowledge in Language Models" 논문 및 데이터셋 공개 (LREC-COLING 2024 게재) 
2024.02 "KMMLU: Measuring Massive Multitask Language Understanding in Korean" 논문 및 데이터셋 공개 (NAACL 2025 게재) 
2024.08 "Improving Fine-grained Visual Understanding in VLMs through Text-Only Training" 논문 및 데이터셋 공개 (AI2ASE@AAAI2025 게재) 
2025.02 "Understand, Solve and Translate: Bridging the Multilingual Mathematical Reasoning Gap" 논문, 데이터셋, 및 모델 공개(MathNLP@EMNLP 2025 게재) 
2025.03 "HRET: A Self-Evolving LLM Evaluation Toolkit for Korean" 논문, 및 코드 공개 
2025.05 "Controlling Language Confusion in Multilingual LLMs" 논문 공개 (SRW@EMNLP2025 게재) 
2025.05 "BenchHub: A Unified Benchmark Suite for Holistic and Customizable LLM Evaluation" 논문 공개 
2025.07 "From KMMLU-Redux to KMMLU-Pro: A Professional Korean Benchmark Suite for LLM Evaluation" 논문 및 데이터셋 공개 (EMNLP2025 게재)
2025.09 "Pushing on Multilingual Reasoning Models with Language-Mixed Chain-of-Thought" 논문, 데이터셋, 및 모델 공개

● 커뮤니티 미션/비전

한국어 언어 모델 평가 기준 수립 및 배포