본문 바로가기

Dev Talk

쓰기

글 수 429

EncodeKor(한국어 <-> 일본어 문자 코드 대치) 재 작성 프로젝트!

Hide_D
몇가지 필요성 (EncodeKor -_-)에 의해 만들어진 프로그램입니다.

(CP949[ANSI], UTF-8, UTF-16LE, UTF-16BE) 텍스트 파일을 이 프로그램으로 '던져 넣으면'

각 글자마다 몇번씩 사용되었는지 출력해줍니다.



이 게시물을
분류 :
OtherFiles
첨부 :
Counter_20100529.zip [File Size:41.6KB/Download:96]
Counter_Source_20100529.zip [File Size:4.6KB/Download:69]
조회 수 :
75320
등록일 :
2010.05.29
02:35:29
엮인글 :
https://arallab.hided.net/35448/24f/trackback
게시글 주소 :
https://arallab.hided.net/board_devtalk/35448
목록

Hide_D

2010.05.29
03:08:27
이건 덤으로 이번 아랄 DB를 마루타 삼아서 긁어봤습니다.

대상으론 적절하겠네요.
첨부 :
db_100529.sql.result.txt [File Size:116.2KB/Download91]
댓글

Hide_D

2010.05.29
03:20:53
이건 위 텍스트 파일을 xls로 정리한것

즉, 폴라리스 커뮤니티에서 가장 많이 쓰이는 글자 목록 되겠습니다
첨부 :
db_100529_result.xls [File Size:299.0KB/Download65]
댓글

Hide_D

2010.05.29
03:32:11
다음은 기본 완성형 KS 1001 ( http://ko.wikipedia.org/wiki/KS_X_1001 )문자 목록과
기본 자음, 모음 목록 ( http://ko.wikipedia.org/wiki/%ED%95%9C%EA%B8%80 )
첨부 :
초중종.txt [File Size:272Bytes/Download61]
완성.txt [File Size:13.8KB/Download69]
댓글

Hide_D

2010.05.29
03:32:52
다음은 위의 SQL 분석표에 완성형과 기본 초중종성에 200000의 가중치를 더해 정렬한 데이터

이 결과로 따르자면, 한글 완성형 외 글자 중에서도 약 1400글자만 추가 수용 하는것으로
대부분의 문자를 표현할 수 있음을 알 수 있습니다.
첨부 :
output.txt [File Size:185.9KB/Download73]
test.cpp [File Size:821Bytes/Download43]
댓글

Hide_D

2010.07.07
17:16:00
CP932(Shift_JIS)와
CP949의

'전체 유효 문자' 목록

txt 파일은 기본 출력 파일에서 문자가 있다고 나오지만 실제로는 공백인 문자를 제외한 버전
첨부 :
KR_JP_Char.txt [File Size:476.1KB/Download213]
KR_JP_Character.cpp [File Size:871Bytes/Download61]
댓글

Hide_D

2010.07.07
17:19:04
CP949의 전체 목록

txt 파일은 정리된 것
첨부 :
KR_Map.cpp [File Size:393Bytes/Download67]
CP949.txt [File Size:102.5KB/Download54]
댓글

Hide_D

2010.07.07
17:30:37
JLPT 1급, 2급의 한자 목록

1급은 2,230자
2급은   986자

출처 : http://www.jlpt-kanji.com/
첨부 :
JLPT1.txt [File Size:4.4KB/Download60]
JLPT2.txt [File Size:1.9KB/Download50]
댓글

Hide_D

2010.07.07
19:21:18
추가로 긁어모은 한글 모음

빢삒똠찦뻒딬뵬봘쩗웪봥
댓글

Hide_D

2010.07.08
00:29:36
특수 문자 포함한 CP949 -> 부분 문자

이 문자들이 EncodeKor 변환 테이블에 사용됩니다.
현재 : 4084자

이후에 추가되는 문자는 정렬되지 않고 이 뒤로 이어집니다
첨부 :
KR_Complete.txt [File Size:8.0KB/Download99]
댓글

Hide_D

2010.07.08
02:20:12
Shift-JIS의 한자영역해서 JLPT 1급 한자를 제외한 부분

EncodeKor 변환 테이블에 사용됩니다.
첨부 :
JP_Complete.txt [File Size:8.8KB/Download81]
댓글

Hide_D

2010.07.08
17:53:13
완성된 0x8000 길이의 배열 두개
1:1 대응
첨부 :
JP_Map.txt [File Size:228.0KB/Download53]
KR_Map.txt [File Size:228.0KB/Download58]
MapMaker.zip [File Size:56.7KB/Download57]
댓글

Hide_D

2010.07.08
22:35:03
특수 문자를 1:1 대응해서 다시 제작한
KR_Complete.txt
JP_Complete.txt

KR_Map.txt
JP_Map.txt
첨부 :
JP_Complete.txt [File Size:9.7KB/Download89]
KR_Complete.txt [File Size:8.8KB/Download101]
JP_Map.txt [File Size:228.0KB/Download66]
KR_Map.txt [File Size:228.0KB/Download59]
댓글

Hide_D

2010.07.08
23:10:37
현재까지의 자료를 기반으로 완성된 EncodeKor, DecodeKor

Visual C++ 2010으로 제작되었으나 VC 6.0버전도 가능

위의 JP_Complete.txt KR_Complete.txt JP_Map.txt KR_Map.txt과 같은 기초 자료,
EncodeKor.h cpp 파일은 임의 개조 및 사용이 가능합니다.

100709 02:36 문자열 종결자 관련 버그 수정
첨부 :
EncodeKor.zip [File Size:27.9KB/Download91]
댓글

Hide_D

2010.07.09
03:04:26
EncodeKor에서 樮(뷁), 또는 浣(쀍)가 보인다면 문제가 있는 경우입니다.
댓글

Hide_D

2010.07.21
03:33:08
여기서 EncodeKor를 좀더 확장한다면
일본어 JLPT1급 한자 구역 <-> 한국 일반 한자 구역
의 매핑이 필요할 것 같습니다.

우선 http://ko.wikipedia.org/wiki/%EC%9D%BC%EB%B3%B8%EC%9D%98_%EC%83%81%EC%9A%A9%ED%95%9C%EC%9E%90_%EB%AA%A9%EB%A1%9D  (일본의 사용한자 목록)을 참고하여
변환을 시도할 계획입니다.
댓글

Hide_D

2010.10.25
09:55:31
JLPT1급 한자 <-> 한국 일반 한자 변환 결과
http://homepage3.nifty.com/jgrammar/ja/tools/tradkan.htm
이 홈페이지를 이용한 결과입니다.
첨부 :
JPT1_Cvt_Ko.txt [File Size:5.1KB/Download91]
JLPT1_Src.txt [File Size:4.9KB/Download77]
댓글
List of Articles
번호 제목 글쓴이 조회 수 추천 수 날짜 최근 수정일
공지 Talk [필독] 테스트필터 사용시 주의사항 라파에 155445   2008-08-03 2008-12-16 00:03
309 Talk 번역 모듈로 인터넷을 이용하는 방법. Hide_D 30171   2010-06-04 2010-06-04 23:54
굳이 번역기를 이지트랜스를 쓰지 않아도 아랄트랜스를 사용하는 방법이 필요합니다. 네이버 번역 등을 인터넷으로 접근해서 쓰는 방법으로 번역 모듈을 만들어 보겠습니다.  
308 Talk 6월 1일 2시 챗던 Talk Hide_D 18100   2010-06-01 2010-06-01 02:34
대화 인물 : Hide_D, Rynie, G2m, 프시쵸 대화 주제 : 0.3 [ActiveX, ATS] Hide_D 본인이 직접 뜯어본것이 아니므로 사실과 다를 수 있습니다. Hide_D: 아 0.3 자체는 괜찮아요 Hide_D: 다만... G2m: ㅇㅇ Hide_D: 1. ActiveX Hide_D: 2. ATS Hide_D: 이 두놈...  
» OtherFiles EncodeKor(한국어 <-> 일본어 문자 코드 대치) 재 작성 프로젝트! [16] file Hide_D 75320   2010-05-29 2010-10-25 09:55
몇가지 필요성 (EncodeKor -_-)에 의해 만들어진 프로그램입니다. (CP949[ANSI], UTF-8, UTF-16LE, UTF-16BE) 텍스트 파일을 이 프로그램으로 '던져 넣으면' 각 글자마다 몇번씩 사용되었는지 출력해줍니다.  
306 OtherFiles [프로그램, 소스] AT 환경 수집기 20100526 [1] file Hide_D 30121   2010-05-26 2016-05-28 15:42
 
305 Talk 0.3님 제발 자비좀[.....] file 아무개 31301   2010-05-23 2010-05-23 06:20
 
304 Talk ATS의 문제점.. Hide_D 23579   2010-05-15 2010-05-15 19:18
0.2의 그 복잡하고 어려운 방식은 일단 뒤로 두고 0.3의 ATS가 갖는 허점이 1. 첨부파일, 필터 경로들을 [일일히!] 입력해야 한다. 2. 코드가 갱신되었을 때 대처할 방법이 전혀 없다. 일일히 입력하는 것 자체는 나쁘지 않은데, 2번 때문에 심각한 문제가 됩...  
303 Talk 0.3님 제발 자비좀[.....] [2] G2m 29953   2010-05-05 2010-05-23 06:21
디에스 이레 뚫으면서 알게된건데 일단 히데찌 말로는 관리자씨가 말하길 0.3 유니코드 완벽이염 ㅇㅇ 라고는 하는데 그 뭐랄까 문장 스크립트 형식이 00 30으로 시작하는 놈은 아랄이가 고대로 씹어 드셔서[............] 이걸 픽스로 잡아도 조트망이고 흠. ...  
302 Talk FixLine 버그 발생 [1] Hide_D 23385   2010-04-25 2010-05-01 22:19
!梨桜 01 21 979C 8DF7 을 처리하기 위해 %01%21{T} 로 설정하면 FixLine이 씹고 다음 데이터를 뱉지 않음 %21{T} 로 설정하면 아예 '닥치고 튕김' 지정된 문자열 + 임의의 문자열 구조로 했을때 버그가 있는듯 최대한 빨리 수리를 -_-;  
301 Talk 아랄3 디버깅이 말이죠... [2] file JKLeetro 35691   2010-04-20 2010-10-20 07:18
 
300 Talk Hide_D's Todo List [1] Hide_D 19793   2010-03-01 2012-08-03 09:02
좀 써 놔야 할것 같습니다 -_-; 안써두니까 안해요 1. FixLine v2 패턴간 빈칸을 없애는 옵션을 추가 -> 아마 큰 패턴 단위로 옵션을 추가할 수 있도록 하는게 좋을 것 같다. 처리 순서 변경 -> 선 개행, 선 패턴, 번역, 후 패턴, 후 개행을 선 패턴, 선 개행,...  
299 Talk '잡담인데' [2] FrigateBird 23213   2010-02-22 2011-06-28 01:25
0.3에서 일부 게임이 코드를 잠시 none 해야 되는 녀석들이 있잖아염 코드를 잠시 슬쩍 어디 처 올리든 해서 단축키로 전환하면 좋겠는데  
298 Talk 어떤 정신나간 게임은 UTF-32를 쓰네요 -_-;; [1] Hide_D 19285   2010-01-30 2010-01-30 22:52
개발자가 미쳐서 Visual C++ 6.0에 iconv라도 섞어쓰는지 (아니면 gcc에 iconv... 던가) 내부 문자 처리를 UTF-32로 합니다 OTL  
297 Talk 뭐라고 설명해야할까요 -_-; 하여간 설명 file G2m 22600   2010-01-21 2010-01-21 19:17
 
296 Talk 문자열 길이에 대한 건의 file G2m 15614   2010-01-21 2010-01-21 18:44
 
295 Talk 문자열의 길이를 반영하는 '필터' [4] Hide_D 15028   2010-01-19 2010-01-22 01:28
문자열 길이가 고정되어서 포인터 바꿔치기를 통해서도 길이가 바뀌지 않는 것들이 있는데, 이놈들을 위해 길이를 반영하는 필터가 있으면 좋을것 같습니다. 인자로 반영할 메모리 주소 1. 모듈(메모리 주소) 기반 2. 레지스터 기반 으로 ATCode의 그것과 비슷...  
294 Archive [소스] ATPluginFrame 프레임워크 20100105 테스트 버전 file whoami 17918   2010-01-05 2010-01-05 19:47
 
293 Talk 0.3 Filter 간추려서 정리좀 해봤습니다. [1] file Hide_D 17302   2010-01-01 2010-01-02 05:08
 
292 Talk [소스] ATPluginFrame 프레임워크 20100101 테스트 버전 file whoami 17567   2010-01-01 2010-01-01 16:59
 
291 Talk XML 파싱 부분에 문제가 하나 있네요. Hide_D 15774   2009-12-30 2009-12-30 21:42
xml 태그에서 그 태그에 대한 내용이 없을경우 <tag></tag> 로도 표현할 수 있지만 <tag/> 로도 표현 가능합니다. 현재 파서 부분을 보니 <tag/>형식의 태그에는 대응이 되어 있지 않은것 같습니다.  
290 Talk 번역함수가 불렸을 때 자신이 불린 컨텍스트 이름을 아는 문제.. [8] whoami 15153   2009-12-24 2009-12-26 15:34
4. procTranslate 로 지정된 번역함수가 불렸을 때 자신이 어떤 컨텍스트로 불렸는지 아는 방법 현재 컨텍스트의 이름을 얻는 것 외에는 대부분 원하는게 가능할 것 같습니다. pObjectExtention 에 어떤 객체의 포인터를 넣어 놓고, procTranslate 가 호출되었...  
목록
쓰기