model optimization1 The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits 논문 링크: https://arxiv.org/pdf/2402.177640. Abstract최근 BitNet과 같은 연구들이 새로운 1-bit LLM (Large Language Model)의 시대를 위한 길을 닦고 있음본 논문에서는 1-bit LLM의 변형인 BitNet b1.58을 제안!LLM의 모든 파라미터를 {-1, 0, 1}의 세 값 중 하나로 설정대기 시간 (latency), 메모리, 처리량 (throughput), 에너지 소모에 대해 아주 비용 효율적동일한 크기의 FP16이나 BF16 트랜스포머 모델과 비교했을 때 perplexity나 세부 문제들 (end-task)에 대해 유사한 성능을 보임또한 1.58 bit LLM은 다음의 두가지를 정의새로운 스케일링 법칙 (Scaling Law)성능도 .. 2025. 7. 6. 이전 1 다음 반응형
