action_space_size = env.action_space.n
state_space_size = env.observation_space.n
q_table = np.zeros((state_space_size, action_space_size))# 최초 q table# Row : states# Column : actions
print(q_table) # Hyperparameter 설정
debug = Falsenum_episodes = 5000
max_steps_per_episode = 100
learning_rate = 0.2
discount_rate = 0.99 
exploration_rate = 0.05
rewards_all_episodes = []


이게 초기화 코드고 

학습 코드는

# Q-learning 학습          action -> ldru 이동
for episode in range(num_episodes):    # 새로운 에피소드 초기화    
  state = env.reset()    
  done = False    
  rewards_current_episode = 0    
  for step in range(max_steps_per_episode):        # 입실론 탐욕 정책        
    exploration_rate_threshold = random.uniform(0, 1) # exploitation        
    if exploration_rate_threshold > exploration_rate:            
      max_index = [i for i in range(4) if q_table[state, i] == max(q_table[state, :])]            
      # 가장 높은 q_table의 index값 저장            
      action = random.choice(max_index) # 가장 높은 값을 랜덤으로 고른다          
    else: # exploration            
      action = env.action_space.sample() 
 
    # 새로운 action 취하고 결과 받아오기        
    new_state, reward, done, info = env.step(action)
    # reward 보정        
    if done == False:          
      if(state == new_state):            
        reward = -5          
      else:            
        reward = -1
    if done == True:          
      if reward == 1:            
        reward = 100          
      else:            
        reward = -50                
 
    # 새로운 action에 대한 결과를 반영하여 q_table 작성       
    q_table[state, action] += learning_rate * (reward + discount_rate * np.max(q_table[new_state,:]) - q_table[state, action])               # 새로운 상태로의 변경        state = new_state
    # reward를 업데이트 한다        
    rewards_current_episode += reward
    # 게임이 끝났으면 for 문을 종료한다.        
    if done == True:            
      break               
    # 현재 episode에서의 reward를 전체 episode의 reward 리스트에 넣는다    
    rewards_all_episodes.append(rewards_current_episode)

# 1000번의 에피소드당 평균 성공 확률을 구한다.
rewards_per_thousand_episodes = np.split(np.array(rewards_all_episodes), num_episodes/1000)
count = 1000
ipythondisplay.clear_output(wait=True)  
print("********1000 에피소드당 평균 reward ********\n")
for r in rewards_per_thousand_episodes:    
  print(count, ": ", str(sum(r/1000)))    
  count += 1000

# 업데이트된 q_table을 출력한다.
print("\n\n********Q_table********\n")
print(q_table)





나도 내가 학습시켜서 하고싶은데 결과가 엉망이니까 뭐가 잘못된건지를 알고싶어서 미치겠음

q_table 업데이트문은 맞는 것 같은데 

env.step(action)이 제대로 가고있는지도 모르겟음 이쪽은 gym에 있는거니까 내가 건드릴 수도 없고..