Pang

DQN 소개2015년 구글에서 발표한 논문에 나오는 알고리즘이다. DQN은 강화학습 딥러닝인 Q-Learning 알고리즘에 Neural Network를 더한 학습법이다. 기존의 Q-Learning은 현재 상태에서 특정 행동을 취할 때 받는 보상의 기대값인 Q-value를 학습시켜 최적 정책을 도출한다. Q-value를 테이블로 저장하여 학습시킨다. 하지만 이 Q-Learning은 State, Action, Space가 커지게 되면 많은 메모리를 사용하고, 긴 Exploration Time이 필요하게 된다. 그리고, State Space가 연속적인 경우에는 테이블을 만들기가 어렵다는 단점이 있다. 예를 들어 State의 도메인이 실수일때, 실수는 정수처럼 끊어지지 않고 연속적이기 때문에 테이블로 만들기 어..

Streamlit으로 웹을 만들었고, 파일업로더로 업로드한 동영상이 재생되지 않는 문제가 발생하였다. 문제 상황Streamlit으로 동영상을 업로드 하고 싶으면 아래 코드를 사용하면 된다. source_video = st.sidebar.file_uploader( "Choose an video...", type=("mp4"))Streamlit의 file_uploader를 사용해서 만들어주면 된다.  이 파일 업로더로 동영상을 업로드 해도 제대로 뜨지 않는 문제가 발생하였다. 이렇게 동영상이 정상적으로 실행되지 않은 모습을 볼 수 있었다.  문제 원인브라우저에서 비디오를 재상하기 위한 정보가 빠져있었다.   파일의 코덱이 mpeg 형태라 브라우저에서 지원하지 않아서 실행이 불가능했다.  처음에는..