Paper: https://arxiv.org/abs/2307.03381
AI-generated Summary
이 논문은 작은 트랜스포머가 next token prediction objective를 사용하여 덧셈, 곱셈, 제곱근과 같은 산술 연산을 어떻게 학습할 수 있는지 탐구합니다. 이들은 GPT-4와 같은 LLM이 광범위한 텍스트 데이터로 학습할 때 기본 산술과 같은 범용 작업에서 새로운 능력을 발휘할 수 있다는 사실을 발견했습니다. 그러나 이러한 작업은 next token prediction이라는 비지도 목표에 의해 명시적으로 인코딩되지 않습니다. 저자들은 기존의 훈련 데이터가 산술 학습에 가장 효과적이지 않다는 것을 입증하는 것으로 시작합니다. 간단한 형식 변경만으로도 정확도가 크게 향상되고 학습 데이터의 규모에 따라 급격한 위상 전환이 일어날 수 있음을 보여줍니다. 경우에 따라 이러한 전환은 낮은 순위의 행렬 완성과의 연결을 통해 설명할 수 있습니다. 이전 연구를 바탕으로 저자는 중간 단계 결과를 포함하는 chain-of-thought 데이터에 대한 무작위 초기화를 통해 작은 트랜스포머를 훈련합니다. 놀랍게도 이 접근 방식은 사전 훈련 없이도 정확도, 샘플 복잡성 및 수렴 속도를 크게 향상시킵니다. 이 연구는 또한 훈련 중 산술 데이터와 텍스트 데이터 간의 상호 작용을 조사하고 소수 샷 프롬프트, 사전 훈련 및 모델 스케일의 효과를 조사합니다. 또한 길이 일반화와 관련된 과제에 대해서도 논의합니다. 전반적으로 이 연구는 소규모 변환기에서 산술 능력을 효과적으로 이끌어내기 위해 next token prediction objective의 특정 특성을 고려한 고품질의 교육용 데이터의 중요성을 강조합니다.
작은 트랜스포머가 다음 토큰 예측 목표를 사용하여 덧셈, 곱셈, 제곱근과 같은 산술 연산을 학습하는 방법을 탐구합니다. 이들은 GPT-4와 같은 대규모 언어 모델이 광범위한 텍스트 데이터로 학습할 때 기본 산술과 같은 범용 작업에서 새로운 능력을 발휘할 수 있다는 사실을 발견했습니다. 그러나 이러한 작업은 다음 토큰 예측이라는 비지도 목표에 의해 명시적으로 인코딩되지 않습니다.
Conventional Training Data is Not Effective for Learning Arithmetic
저자들은 기존의 훈련 데이터가 산술 학습에 가장 효과적이지 않다는 것을 입증하는 것으로 시작합니다. 간단한 형식 변경만으로도 정확도가 크게 향상되고 학습 데이터의 규모에 따라 급격한 위상 전환이 일어날 수 있음을 보여줍니다. 경우에 따라 이러한 전환은 낮은 순위의 행렬 완성에 대한 연결을 통해 설명할 수 있습니다.
Chain-of-Thought Style Data Improves Accuracy
저자들은 이전 연구를 바탕으로 중간 단계 결과를 포함하는 chain-of-thought 데이터에 대해 무작위 초기화를 통해 소형 트랜스포머를 훈련했습니다. 놀랍게도 이 접근 방식은 사전 훈련 없이도 정확도, 샘플 복잡성 및 수렴 속도를 크게 개선합니다.
Interplay Between Arithmetic & Text Data During Training
이 연구는 또한 훈련 중 산술 데이터와 텍스트 데이터 간의 상호 작용을 조사하고 소수 샷 프롬프트, 사전 훈련 및 모델 스케일의 효과를 조사합니다. 또한 길이 일반화와 관련된 문제에 대해서도 논의합니다.
Conclusion
전반적으로 이 연구는 작은 변압기에서 산술 능력을 효과적으로 이끌어내기 위해 다음 단어 예측 목표의 특정 특성을 고려한 고품질 교육용 데이터의 중요성을 강조합니다.
Summarized by: https://summarizepaper.com/
Translated by: https://www.deepl.com/translator