62만 대화문 번역완료(shareGPT 원본데이터셋)

Ai 언어모델 로컬 채널

알림 알림 중 알림 취소

구독자 3477명 알림수신 174명 @바바리맨

제한없는 언어모델을 위한 채널

자료 62만 대화문 번역완료(shareGPT 원본데이터셋)

하늘의아리아

추천 21 비추천 0 댓글 33 조회수 1183 작성일 2023-04-17 01:00:28

https://arca.live/b/alpaca/74222983

저번에 말씀드렸던 비쿠나 원본데이터셋이 DeepL로 모두 번역완료되었습니다.

한국어 모델 만드시는분들께서 혹시 필요하시면 언제든 사용부탁드려요.

감사합니다

https://huggingface.co/datasets/junelee/sharegpt_deepl_ko/tree/main

댓글 [33] 글쓰기

calisolo

2023-04-17 01:04:50 답글

개추 크레용

펼쳐보기▼

하늘의아리아

2023-04-17 01:05:55 답글

그래요

2023-04-17 01:07:35 답글

대단합니다!

펼쳐보기▼

하늘의아리아

2023-04-17 01:12:27 답글

노랑노랑

2023-04-17 01:09:46 답글

하늘의아리아

2023-04-17 01:13:18 답글

ㅇㅇ

2023-04-17 01:27:16 답글

하늘의아리아

2023-04-17 01:43:13 답글

garagara

2023-04-17 02:00:31 답글

하늘의아리아

2023-04-17 02:12:27 답글

sody

2023-04-17 02:17:59 답글

whaaaaaaaaaaaat?! 선 추천

펼쳐보기▼

하늘의아리아

2023-04-17 03:21:32 답글

자까놈

2023-04-17 03:46:07 답글

와! 개추! 그런데 검열 원인인것들은 다 제외된 상태인지 궁금합니다. 또한 1.1버전은 모델 사용시의 자문자답을 막기 위해 학습에 사용된 데이터셋에서 기호 몇개가 대체된 것 같던데 그것도 적용이 되었을까요?

펼쳐보기▼

하늘의아리아

2023-04-17 04:10:04 답글

1. 원본데이터에서 검열 최대한 제외한걸로 알고있어요
2. 이 데이터는 json 이라 LLM버전 올라간거랑은 크게 상관없는걸로 알고있어요. 아마 학습할때 조금 코드가 달라질꺼같아요

펼쳐보기▼

자까놈

2023-04-17 04:10:57 답글

아하. 애초에 걱정할 필요가 없었군요. 답변 감사합니다!

펼쳐보기▼

하늘의아리아

2023-04-17 04:26:48 답글

파라노이아

2023-04-17 04:24:03 답글

이건 진짜 인내심의 승리 그 자체다.

펼쳐보기▼

하늘의아리아

2023-04-17 04:25:29 답글

xkzhdnpfcl

2023-04-17 04:29:03 답글

하늘의아리아

2023-04-17 04:31:27 답글

변태Lv1

2023-04-17 04:34:02 답글

챈의 보배!보배!

펼쳐보기▼

하늘의아리아

2023-04-17 04:36:59 답글

펭귀니조아

2023-04-17 05:05:01 답글

하늘의아리아

2023-04-17 05:14:01 답글

hkhk

2023-04-17 06:39:15 답글

수고 많았어요. 몇주 전만해도 꿈과 같았던 일들이 하나씩 가능해지고 있네요. 빨리 학습 돌려보고 결과 공유하겠습니다

펼쳐보기▼

하늘의아리아

2023-04-17 06:45:04 답글

레카

2023-04-17 11:57:41 답글

덕분에 재밌는 실험을 할 수 있었어요..! 고마워용~ ^^

펼쳐보기▼

하늘의아리아

2023-04-17 12:08:07 답글

레카

2023-04-17 14:48:36 답글

아리아님!! 혹시 https://github.com/Vision-CAIR/MiniGPT-4 이거 보셨나요?
혹시.. 실례가 안된다면...ㅎㅎ..
https://github.com/Vision-CAIR/MiniGPT-4/blob/main/dataset/README_1_STAGE.md
.... ㅎㅅㅎ....

GitHub

GitHub - Vision-CAIR/MiniGPT-4: MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models

MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models - GitHub - Vision-CAIR/MiniGPT-4: MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Langu…

아리아님!! 혹시 https://github.com/Vision-CAIR/MiniGPT-4 이거 보셨나요?
혹시.. 실례가 안된다면...ㅎㅎ..
https://github.com/Vision-CAIR/MiniGPT-4/blob/main/dataset/README_1_STAGE.md
.... ㅎㅅㅎ....

펼쳐보기▼

하늘의아리아

2023-04-18 02:12:11 답글

넵! 이따 살펴보고 혹시 진행하게 되면 게시판에 진행상황 올리겠습니다! 감사합니다

펼쳐보기▼

일오G

2023-04-19 21:07:39 답글

와.. 개추

펼쳐보기▼

사과는맛있어맛있으면바나나

2023-11-01 09:30:14 답글

혹시 62만 풀번역까지의 deepl api 비용을 알 수 있을까요?

펼쳐보기▼

하늘의아리아

2023-11-01 12:41:09 답글

약 20만원정도 들었던거같아요~!

펼쳐보기▼

글쓰기

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 30701668

공지 Ai 언어모델 로컬 채널 이용규정

바바리맨 2023.04.18 6186

공지 뉴비에게 도움 되는 글 모음

바바리맨 2023.04.18 28041

공지 언어모델 관련 정보취득 /무료체험 가능 사이트

바바리맨 2023.04.18 9248

공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원

4213 일반 트랜스포머를 rnn으로 업트레이닝 [2]

ㅎ헤ㅔ헤헤헤 2024.05.21 475 5

4212 일반 이번에 업데이트된 chatgpt 4o진짜 코딩할때 짱이네요. [6]

끼랑까랑 2024.05.21 1503 15

4211 질문 런팟 GPU 0개 질문 [7]

ㅇㅇ (116.124) 2024.05.21 409 1

4210 질문 정말 간단한 용어에 대한 질문인데 헷갈려서요.. [6]

초당옥수꾸 2024.05.21 508 0

4209 일반 gpt 최신 버전 무료로 이용할 수 있는 사이트 [4]

pussydestroyer 2024.05.20 973 8

4208 질문 파인튜닌 할때 어떤거 사용하시나요? [6]

ㅇㅇ 2024.05.20 598 2

4207 일반 아직 24gb로 돌릴만한 한국어 로컬 모델은 없을까요? [5]

ㅇㅇ 2024.05.20 872 0

4206 질문 파인튜닝한 모델을 기존 모델 참조 없이 독립적으로 저장하고싶을 때 [7]

ㅇㅇ (58.234) 2024.05.20 486 1

4205 질문 라마3 70B 구동 [6]

Thomas_Shelby 2024.05.19 945 0

4204 일반 LLM 출력 속도 비교 [3]

ET 2024.05.19 868 9

4203 일반 akallama exl2 모델 공개 [10]

ㅇㅇ (118.235) 2024.05.19 645 9

4202 질문 vllm의 AutoAWQ 관련해서 질문드립니다. (모델 양자화) [17]

Dikko 2024.05.17 537 2

4201 일반 메타에서 gpt-4v와 같은 Mixed-Modal 발표했네요 [10]

그래요 2024.05.17 1571 18

4200 일반 A,WS summit 참여했는데 RAG 내용 괜찮았네요 [10]

ㅇㅇ 2024.05.17 744 3

4199 일반 한국 유튜브 transcription 데이터셋 [11]

maywell 2024.05.17 1953 53

4198 일반 gpt-4o에서 음성 입력을 실시간으로 음성으로 반환해주던데 어떤 기술 일까요? [10]

ㅇㅇ (61.100) 2024.05.17 847 1

4197 정보 Augmentoolkit - 생 텍스트를 넣으면 instruct 데이터셋을 만들어주는 툴킷 [6]

hkhk 2024.05.16 971 14

4196 정보 LLaMA-3 8B, 70B 모델의 양자화 단계별 MMLU성능 비교표 [11]

hkhk 2024.05.16 1946 20

4195 질문 뉴비,우바우로 채팅으로 설정화 캐릭 AI하고 노는데 추천하는 모델 있을까?? [5]

ZOE 2024.05.16 632 1

글쓰기

전체글 개념글