notepad++ 써보셨음요????
300기가 초과 게놈 데이터 text 파일 여는데에만 24시간정도 걸리긴 했지만
일단 사용은 가능하다던데....
스텍오버플로우에도 Notepad++, Vim, Emacs, Sublime Text 추천 많이 하고있음요
놑패++은 필요하면 말씀하삼
라인 에디터로 한줄씩 보거나..
그게 아니면 파서 짜서 디비에 넣고 보시는게 나을듯 합니다.
notepad++ 은 솔찍히 기가만 넘어가도 버벅대는게 심해서.. 메모리 엄청 많지 않는 이상(전 32기가 였는데 8기가도 열기 벅차더라구요) 비추고..
편집을 해야 한다면.. 토막내고 다시 재조합 하는방법 밖에 없을듯 합니다.
그래도 메모리 빵빵한데서 작업하시나봐요.. 그걸 한번에 열수는 있다니..
그 텍스트 파일을 분할만 하는것이 아니라 수정 후 분할을 해야 한다는 건가요?
수정을 하게 되면 다시 저장하는데만도 엄청난 시간이 들어갈거 같네요.
분할 후 수정하시는건 어떠실까요?
그래서 수정을 다 하신후에 합치시면 될거 같습니다.
그렇게 합치신 후에 GUI에디터가 아닌 파워쉘같은걸로 자르면 되지 않을까 싶습니다.
그리고,,
gene data.... 이 파일의 특성을 아시는 분은 아시겠지만, 모르시는 분들도 있으니 잘 알려 주시면 도움을 더 잘 받으실 수 있을거 같습니다.
gene data는 어떠한 형태로 되어있는건가요?
댓글들을 읽어보는데 뭔가단순하게 라인단위로 자르거나가 되지 않는것 같은데
이게 데이터가 정규화되지 않아서 그럴까요? 파싱을 해서 덩어리(?)단위로 나눌수 있을것 같기도하고 어떻게 되어있는질 몰라서 애매하네요 뭔가 방법이 있을것같은데..
300기가 초과 게놈 데이터 text 파일 여는데에만 24시간정도 걸리긴 했지만
일단 사용은 가능하다던데....
스텍오버플로우에도 Notepad++, Vim, Emacs, Sublime Text 추천 많이 하고있음요
놑패++은 필요하면 말씀하삼
무식한 양키시끼들...
이걸 300기가 단일로 만들어서 압출을 2번해서 배포...
ㄷㄷㄷㄷ
예로 웹서버 로그 하루에 10기가 텍스트 파일은 1기가 10개 만들어서 열어서 사용중입니다
파일 특성을 정확히 몰라서
고려해야하나 고민 입니다.
c 라면 fseek 함수를, c# 이라면 FileStream.Seek 같은 함수로 전체를 열지말고 특정 위치로 가서 그 부분만 열어보고 이런식으로 하면..
HxD도 간단히 사용하기에는 좋습니다.
어떤 용량이든 즉시 열리구요. (검색같은거 하시려면 애초에 텍스트는...ㅋ)
도움 주자고 리플에 참 성의 없이 답하는군요. 결이 다르다니 ... 참 싸가지 없는
내버려 둡시다 그냥 혼자 유심히 보던지 말던지 하라구 하구...
그리고, 당신은 앞으로 약먹을 자격이 없다는거 기억하고...
그냥 꺼지세요.
격이 다르네요. ;)
그게 아니면 파서 짜서 디비에 넣고 보시는게 나을듯 합니다.
notepad++ 은 솔찍히 기가만 넘어가도 버벅대는게 심해서.. 메모리 엄청 많지 않는 이상(전 32기가 였는데 8기가도 열기 벅차더라구요) 비추고..
편집을 해야 한다면.. 토막내고 다시 재조합 하는방법 밖에 없을듯 합니다.
그래도 메모리 빵빵한데서 작업하시나봐요.. 그걸 한번에 열수는 있다니..
그런데 순수 TEXT인가요?(그.. 파스타 이런거?)
아니면 XML인가요?
이거 끝나면 xml과 json도 대기중 입니다.
수정을 하게 되면 다시 저장하는데만도 엄청난 시간이 들어갈거 같네요.
분할 후 수정하시는건 어떠실까요?
그래서 수정을 다 하신후에 합치시면 될거 같습니다.
그렇게 합치신 후에 GUI에디터가 아닌 파워쉘같은걸로 자르면 되지 않을까 싶습니다.
그리고,,
gene data.... 이 파일의 특성을 아시는 분은 아시겠지만, 모르시는 분들도 있으니 잘 알려 주시면 도움을 더 잘 받으실 수 있을거 같습니다.
댓글들을 읽어보는데 뭔가단순하게 라인단위로 자르거나가 되지 않는것 같은데
이게 데이터가 정규화되지 않아서 그럴까요? 파싱을 해서 덩어리(?)단위로 나눌수 있을것 같기도하고 어떻게 되어있는질 몰라서 애매하네요 뭔가 방법이 있을것같은데..
+ https://www.pilotedit.com/ 이런친구가 있네요 400GB까지 되는듯싶어요