시계열 데이터 만지다가 정신 나가버리겠다

코딩 채널

알림 알림 중 알림 취소

구독자 4410명 알림수신 85명 @은월영

프로그래밍 및 코딩 채널

MjStone

추천 0 비추천 0 댓글 14 조회수 176 작성일 2023-04-27 02:09:11

https://arca.live/b/programmer/74986044

분명 모든 데이터들이 분 단위 시간대로 수집된 데이터고

이걸 python을 사용해서 한달 기준으로 동일한 row 개수를 가지도록 나눠줘야하는데

분명히 누락된 시계열도 다 채워넣은데다가 날짜 나누는 기준을 1달로 하면 row 개수 달라질까봐 일부러 30일 기준으로 잘라냈는데도 왜 잘라낸 데이터프레임마다 row 개수가 미묘하게 다른거지?

뭐 계산이 잘못되어서 빠지는 거라면 144개 이상 차이나야 하는데 막 11. 12개, 많아봐도 100개 미만 차이나니까 원인을 도저히 알 수가 없음

(데이터셋의 맨 처음 데이터는 00시 00분 00초, 마지막 데이터는 30일 뒤의 23시 59분 00초)

뭐 내가 모르는 9와 3/4분같은 숨겨진 시간이 존재하나

정신 나가버릴거같네

댓글 [14] 글쓰기

진격의엄ㅋ

2023-04-27 02:11:26 답글

누락된 시계열을 수작업으로 채워넣은거임 아니면 na 처리로 채워넣은거임

펼쳐보기▼

MjStone

2023-04-27 02:13:43 답글

원본 데이터의 첫번째 시간과 마지막 시간 가져와서 date_range로 시계열 만들고 얘를 원본 데이터랑 merge(how="right')해줬음

펼쳐보기▼

진격의엄ㅋ

2023-04-27 02:14:36 답글

거기서 문제된 거 아니면 문제될 곳이 없어보이는데 한번 나도 해보게 데이터를 공유가능함?

펼쳐보기▼

MjStone

2023-04-27 02:16:12 답글

그 측정시간만 남기고 기타 측정 데이터는 지워야 공유 가능할듯 ㄱㄷ

펼쳐보기▼

진격의엄ㅋ

2023-04-27 02:24:45 답글

ok 점심먹고 해봄

펼쳐보기▼

MjStone

2023-04-27 02:25:25 답글

링크 이제 지워도 됨?

펼쳐보기▼

진격의엄ㅋ

2023-04-27 03:37:07 답글

자료는 받았음

펼쳐보기▼

MjStone

2023-04-27 02:29:42 답글

맞아 그리고 30일 기준으로 나눌 때 relativedelta 사용했음

펼쳐보기▼

진격의엄ㅋ

2023-04-27 07:37:15 답글

너가 보내준 거에서 100 파일에 43185번째 row에서 넘어갈 때 보면 데이터가 뚝 끊어져있음

펼쳐보기▼

진격의엄ㅋ

2023-04-27 07:37:49 답글

혹시 이거 정렬 안된 데이터임?

펼쳐보기▼

MjStone

2023-04-27 07:39:32 답글

raw 데이터에서 시간 데이터 제외하고 날려버리기만 한 데이터라서 정렬 함 해줘야할걸

펼쳐보기▼

진격의엄ㅋ

2023-04-27 08:02:22 답글

너가 정확히 원하는건 모르겠지만

펼쳐보기▼

진격의엄ㅋ

2023-04-27 08:02:27 답글

*수정됨

import pandas as pd

tables = [100, 101, 106]
datasets = []

for t in tables:
    df = pd.read_csv(f'table_{t}_230419.csv')
    df['datetime'] = pd.to_datetime(df['DataSavedTime'])
    df.sort_values(by=['datetime'], inplace=True)
    period = pd.date_range(start=df['datetime'].iloc[0], end=df['datetime'].iloc[-1], freq='1min').to_frame(index=False)
    df = pd.merge(period, df[['DataSavedTime', 'datetime']], how='left', left_on=0, right_on='datetime')
    df.rename(columns={0: 'fulltime'}, inplace=True)
    df['time_delta'] = df['fulltime'] - df['fulltime'].shift(1)
    
    idx = 0
    while idx < len(df):
        if idx + 43200 > len(df):
            datasets.append(df[idx:])
        else:
            datasets.append(df[idx:idx + 43200])
        idx += 43200
    print(df)

펼쳐보기▼

MjStone

2023-04-27 13:26:10 답글

ㅇㅎ 아예 43200개 단위로 쪼개버렸구나

펼쳐보기▼

댓글 작성

업로드 중

0초

녹음 중지 삭제

글쓰기

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 공지 정보 질문 잡담 유머 C/C++ C# Python Java Front-end Back-end 앱·겜 AI·Data 그 외

번호 제목

작성자 작성일 조회수 추천

그 외 과제 주제 추천 좀 [7]

쿨가이군관우 2023.04.27 201 2

잡담 코붕이 개좆됫다 [18]

공기압축기 2023.04.27 229 2

질문 웹에서 아날로그 시계 구현 질문 [3]

까표 2023.04.27 239 0

C/C++ 아니 c언어는 람다도 안돼 [12]

코야마하루 2023.04.27 401 2

잡담 안드로이드 커롬 만들기 재밋슮... [12]

기모링링링 2023.04.27 157 2

잡담 2023.04.27 목요일, 오늘목표 [4]

심호흡을한다 2023.04.27 138 0

웹 진짜 너무 싫다.. [4]

보빗보빗보비빗 2023.04.27 150 0

싸피 나이제한 있냐 혹시??? [12]

jjolraman 2023.04.27 679 0

Sql 여러종류 쓰니까 헷갈려 죽겠다 [5]

시작한뉴비 2023.04.27 185 0

Auto GPT로 LLM을 만들어달라하면 어떨까 [1]

진격의엄ㅋ 2023.04.27 136 3

시계열 데이터 만지다가 정신 나가버리겠다 [14]

MjStone 2023.04.27 176 0

C/C++ C언어 레퍼런스 받기에 대해 질문한적있는데 [2]

코야마하루 2023.04.27 137 0

잡담 아침에 눈뜨니까 공부하기 싫길래 김연아 따라함 [5]

디버그신사 2023.04.27 172 4

질문 근데 파이어베이스는 특정 정보 못골라냄???? [2]

게으른농부 2023.04.26 104 0

질문 세미콜론(;) 안쓰는 언어의 이점이 뭐임? [25]

심호흡을한다 2023.04.26 400 0

GPT 임마 좀 많이 쩌네 [3]

디비네스페아르 2023.04.26 159 0

잡담 나는 왜 이시간까지 쿠버네티스를 설치하고 있는걸까 [2]

디비네스페아르 2023.04.26 197 2

잡담 연봉은 잘 늘려주는데 일도 잘 늘려주네.. [3]

시작한뉴비 2023.04.26 154 1

gpt 요놈 생각 이상으로 대단한 놈이네 [2]

게으른농부 2023.04.26 157 3

잡담 오늘목표 + 보너스목표 = ALL CLEAR ! [4]

심호흡을한다 2023.04.26 139 2

글쓰기

전체글 개념글