강화학습4 Training Diffusion Models with Reinforcement Learning Paper: https://arxiv.org/pdf/2305.13301.pdf프로젝트 페이지: https://rl-diffusion.github.io/0. AbstractDiffusion 모델은 log-likelihood objective로 근사되어 학습한 유연한 생성 모델하지만 대부분의 diffusion 모델 사용시 likelihood가 고려되지 않고 인간이 인지하는 이미지의 품질이나 drug effectiveness (?) 같은 다운스트림 목표와 관련됨본 논문은 강화학습을 통해 diffusion 모델을 직접적으로 최적화하는 방법에 대해 설명노이즈 제거 과정을 다수의 단계에 대한 의사 결정 문제로 취급 → policy gradient 알고리즘을 사용할 수 있도록 함본 논문에서 제안하는 기법 -> Den.. 2024. 11. 16. Collaborating with Humans without Human Data Paper: https://arxiv.org/pdf/2110.08176.pdf0. Abstract사람과 협력하는 것은 사람의 개별적인 강점, 약점, 선호에 빠르게 적응할 수 있는 능력을 요구불행하게도 Self-Play (SP)나 Population Play (PP)와 같은 대부분의 표준 멀티 에이전트 강화학습 기법들은 학습한 파트너에 대해 과적합 되기 때문에 사람에게 일반화하기 어려움이에 대한 대안으로 사람의 데이터를 수집한 뒤 Behavioral Cloning을 통해 사람 모델을 학습하고 해당 모델을 통해 “human aware” 에이전트를 학습할 수 있음 → Behavioral Cloning Play (BCP)이런 접근은 새로운 사람 공동 플레이어에 대한 일반화를 향상시키지만 번거로우면서도 많은 비용.. 2024. 11. 15. Deep Reinforcement Learning from Human Preference Paper: https://arxiv.org/pdf/1706.03741.pdf0. Abstract본 논문에서 제안하는 것 → 한쌍의 trajectory segment 사이에서 (비 전문가) 사람의 선호에 따라 학습의 목표를 정의이런 접근을 통해 보상함수에 대한 접근 없이 복잡한 강화학습 문제 (e.g. Atari, simulated robot locomotion)를 효과적으로 풀 수 있음환경과 상호작용하는 것에 비해 1%도 안되는 피드백만으로 에이전트 학습 가능사람의 감독에 따른 비용이 크게 감소하기 때문에 SOTA 강화학습 시스템에 실용적으로 적용이 가능기존의 사람 피드백을 통해 학습하던 기법들에 비해 더욱 복잡하고 새로운 행동을 1시간 안에 성공적으로 학습1. Introduction최근 강화학습은 보.. 2024. 11. 10. CLUTR: Curriculum Learning via Unsupervised Task Representation Learning - Paper: https://arxiv.org/pdf/2210.10243.pdf 0. Abstract강화학습 알고리즘은 일반적으로 샘플 비효율적 (sample inefficiency)이며 일반화가 어렵다고 알려짐최근 Unsupervised Environment Design (UED)가 zero-shot 일반화를 위한 새로운 패러다임으로 떠오름 → task 분포의 학습과 샘플링 된 task 들에서의 에이전트 정책 학습을 동시에 수행이는 고정되지 않은 (non-stationary) 과정으로 task 분포가 에이전트 정책과 함께 진화시킴과거의 연구들을 통해 일반화에 대한 개선을 이뤘지만 아직 task 공간에 대한 샘플 효율성을 개선하지는 못했음이에 따라 본 논문은 CLUTR 기법을 제안 → 새로운 커리큘럼 .. 2024. 11. 9. 이전 1 다음
