nkfってなんだ

1名無しさん＠お腹いっぱい。
垢版 |
NGNG
初心者です。ご指導おねがいします。
NGNG
iconvダメすぎ。SJIS(MS-CP932?)の◯の中に数字が入っている文字を
認識できないで、意味不明なエラーを吐いて死ぬ←これが問題。
それを採用している gtk+-2.0 はもっとダメすぎ。
NGNG
qkcはどうよ。
63名無しさん＠お腹いっぱい。
垢版 |
NGNG
>>61
それはiconvが厳密に「正当な」文字しか認識しないから。
euc-jp-relaxedみたいなのがサポートされていれば、nkfみたいな
適当変換で乗り切れるのだが、あいにく大抵のiconvは何でも一回
Unicodeにするから、なかなかその手の変換は実装できない。
GNU iconv 1.8だと//TRANSLITなんてのが実装されているけど、
根本的な解決には程遠いような。
まあ貧乏人はeuc-jisx0213を食え、ということなんだろうなあ。
NGNG
>>62
そうそう。qkc って嫌われてるの？
NGNG
おれはよく使うよ。
66名無しさん＠お腹いっぱい。
垢版 |
NGNG
wkc
NGNG
オプションにファイル名をつけた時のデフォルトの挙動や、
シンボリックリンクへの対応ができてなくてUNIXらしくない
(もともとDOS 出身だからしょうがないんだけど)
ので嫌う人はいるけど、変換効率は悪くないし、まとめて変換、って時に
for ループ使ったり一時ファイルを自分で用意する必要がないので俺は使ってる。
NGNG
>>46
いつのまにか UTF-16 対応しとるね。
早く Ruby に組み込んでくれ。
NGNG
>>66
これのこと？

WKF: 漢字コード変換フィルタ／ライブラリ
ttp://www.mysticwall.com/software/wkf/
NGNG
俺こんな使い分けしてる。

nkf: フィルタとして使いたいとき、MIME ヘッダエンコードの変換したいとき
qkc: ファイルを変換したいとき、改行コード変換したいとき
wkf: 文字コード判定だけしたいとき
lv: UTF-8 の変換や閲覧したいとき
ack: 何それ？
iconv: 逝ってよし
NGNG
>>66,69
良いねこれ。portsに入れて欲しいや
NGNG
>>71
隗
73Not 71
垢版 |
NGNG
とりあえずFreeBSD用。まずは前半。

begin 644 ja-wkf.shar.gz
M'XL("!*SF3T"`VIA+7=K9BYS:&%R`*U6;6_B2`S^3'Z%5=!U*SH)"?2%W-*#
M`N78Y:4"ND7WX5`(`Z2$!"6A;*_J?S][DM*TA2PG'8H`V\]X[&=L9](PF%L^
MX&.`/^>V#89GSJU'+@/TC4<.5@"6@\:I9?-3\/C21:7A/`5SRYG!F$]=CTMI
M",B+;3F(,9P)BMR!M;,RS`5Y？\!=P+NT9(C?RZ<'>$.'3?`!0A8&D_HQ/2X
M$7"86!XW`]>SN/^[@/K"9TP-&PLC'7-P-PZ?D/LG=TT@=#*GJ"=\:JSM`%;<
M6UJ^;[F.+TMIM(ILHQ3!=)W`L!Q?)U/JP5@9#O=Y[*_2-A:<(I`MQXSK-XOI
M!W$+_:B?6'Y@.5/WHUXDME.IK(S`G+/8WDDP3&)JS=;>IXU7BQD:ETMD?I=I
MPGW3VV58V1@Q,L+-N0LF,-@2LUS@&0!;;35P!<J$/RK.&H]#N_I-#1?]C"UZ
M3Z&/IW7L*W\/%>48KG9BX.M7.*YW:LR=LIV`8VF8ALR-Q_EUOZ;#RO4"7]F)
M/'T$52Z`ELOEE-REHEV`>JZ?:7JA``MG#?6?*\B@,VDH#6^_-SJ5=OVV5[]I
M#O\H(2M,2@KB,SNB)CXQ1-I#6'I707M8BF-VLA0'($NWW=Z`DBJE*#0A_JCW
M^LUNIY12Y;RL2L-J95!O='O->K_T5O_#=J4_J/=&_>:`]/,@6.F*LMELY/83
MUK)Y7VFU9*PLQ7>GP<;PN.)[ID(LWO7KH^N_FK=:*?6$Q3UL=.Y&U6[GIMFX
MZ]4CW58>57H-=,\8=XRQS5G4LXRO3?:PDH;-3G^`._5'_3];S>MH-07744LI
M2HD20*E5Z30H>C+2T=CK"=(S]B<RE8:\7%Q)243M.8QMVR8<QBMF[V&\`O`P
MVK4S^((Z)IB7`\.3Q_]H)U""J<GS175L:N>&5N079X8VUJ83,W]9G.3&A:(I
M)7G>78?1<-E9C:'MT)K<-Y`26-FS9"])>_#(&6,,8AH99_\L=8\[?UL[V-60
74Not 71
垢版 |
NGNG
>>73の続き。

MR^GJA9Z_I`['6LAFLW%X:K#FT#4#`!6TO)[/Z?DB(35I6"X#*YY>0):^RF5I
M"&/+0:Y2@)\2E$.)]+8UCNE#B?11G1&_9'@3T<B61MQ9*)65S#-5Z@O&N=M.
M%0SX5*NI%*JK5=JG5K_I"Y'^E,/(SPL4NO@6L>-SV^LV2J++X9::!0.E!D&/
MK!^3?1=++X\1?%2&7L1#.ZB:2EO0S^5V#WPR7VCAB4Y_NM??3M!]*O.E53L!
M=NW/<1)0(P-S7X%ON"SBJE7$"=@$V+U]RGS7,9;\]!6\;UVK,^J?;$W;J+=1
MI?_?3T1!(2\H*,1IQKM"8-@V6WGN3-<Q-.(=HX04RSRW?[P`FT+F.:R>%SQP
M,K]\ULBN/1'4/4<S#A?Z\`DNLG^%C,C8J[1?=N'BL2$_86BO1(I?HFP>!=H3
M3L):%C$AXD7Z#ZUYP*QXNY4<."FV"PZ:$UMT-"6V<C@CJ/,KZQG-"+6HY\_T
MG!IU/LV(+?C#A-`N$1J;$&I!*V#]9Z-?400`W*97)/4N5&]:%7R%';$9L%JM
M?GW7.!*6J851A3@60W4U-&?3H2&;_F@1RT1)'YS]GH.(W_P2Z(_!]I(>PR#5
M].8_]N&[X3Q8<&/9>*67?K$J(<3P!OJ+``4H,3R!V!,<7@GN[^]U..`.0^ZD
MQ#T24@GOS+](18`24Q$(3"5ZG2A1UV*?B]OE$'M6>1OM,8FFX3L11WKB)A+_
-:062]"^@I@MO_PT`````
`
end
NGNG
>>73
戻せないよお ヽ(`Д´)ﾉ ｳﾜｧｧﾝ
NGNG
>>75
11文字目を縦読み
7775
垢版 |
NGNG

　　　　　　　　　　　　　　　　　　　　　　　　キボンヌ〜キボンヌ〜
　　　 　 　 ☆　チン　　〃 ∧＿∧　　　／￣￣￣￣￣￣￣￣￣￣
　 　 　 　 　　ヽ　＿＿_＼（＼・∀・）　＜　　 病ｳﾌﾟｷﾎﾞﾝﾇ
　　 　 　 　 　 　 ＼＿／⊂　⊂＿ )　　 ＼＿＿＿＿＿＿＿＿＿＿
　　 　 　 　 　 ／￣￣￣￣￣￣ ／|
　　　　　　　　|￣￣￣￣￣￣￣|　 |
78Not 71
垢版 |
NGNG
>>75
ありゃ、確かに一行壊れてる行があるな。そいじゃBASE64でもう一度。
まずは前半。

begin-base64 644 ja-wkf.shar.gz
H4sICBKzmT0CA2phLXdrZi5zaGFyAK1WbW/iSAz+TH6FVdB1KzoJCfSF3NKDAuXY
5aUCukX34VAIA6SEBCWhbK/qfz97ktK0hSwnHYoA28947GdsZ9IwmFs+4GOAP+e2
DYZnzq1HLgP0jUcOVgCWg8apZfNT8PjSRaXhPAVzy5nBmE9dj0tpCMiLbTmIMZwJ
ityBtbMyzAV5GD8BdwLu0ZIjfy6cHeEOHTfABQhYGk/oxPS4EXCYWB43A9ezuP+7
gPrCZ0wNGwsjHXNwNw6fkPsnd00gdDKnqCd8aqztAFbcW1q+b7mOL0tptIpsoxTB
dJ3AsBxfJ1PqwVgZDvd57K/SNhacIpAtx4zrN4vpB3EL/aifWH5gOVP3o14ktlOp
rIzAnLPY3kkwTGJqzdbep41Xixkal0tkfpdpwn3T22VY2RgxMsLNuQsmMNgSs1zg
GQBbbTVwBcqEPyrOGo9Du/pNDRf9jC16T6GPp3XsK38PFeUYrnZi4OtXOK53asyd
sp2AY2mYhsyNx/l1v6bDyvUCX9mJPH0EVS6AlsvllNylol2Aeq6faXqhAAtnDfWf
K8igM2koDW+/NzqVdv22V79pDv8oIStMSgriMzuiJj4xRNpDWHpXQXtYimN2shQH
IEu33d6AkiqlKDQh/qj3+s1up5RS5bysSsNqZVBvdHvNer/0Vv/DdqU/qPdG/eaA
9PMgWOmKstls5PYT1rJ5X2m1ZKwsxXenwcbwuOJ7pkIs3vXro+u/mrdaKfWExT1s
dO5G1W7nptm469Uj3VYeVXoNdM8Yd4yxzVnUs4yvTfawkobNTn+AO/VH/T9bzeto
NQXXUUspSokSQKlV6TQoejLS0djrCdIz9icylYa8XFxJSUTtOYxt2yYcxitm72G8
AvAw2rUz+II6JpiXA8OTx/9oJ1CCqcnzRXVsaueGVuQXZ4Y21qYTM39ZnOTGhaIp
JXneXYfRcNlZjaHt0JrcN5ASWNmzZC9Je/DIGWMMYhoZZ/8sdY87f1s72NWQy+nq
hZ6/pA7HWshms3F4arDm0DUDABW0vJ7P6fkiITVpWC4DK55eQJa+ymVpCGPLQa5S
79Not 71
垢版 |
NGNG
>>78の続き。

gJ8SlEOJ9LY1julDifRRnRG/ZHgT0ciWRtxZKJWVzDNV6gvGudtOFQz4VKupFKqr
VdqnVr/pC5H+lMPIzwsUuvgWseNz2+s2SqLL4ZaaBQOlBkGPrB+TfRdLL48RfFSG
XsRDO6iaSlvQz+V2D3wyX2jhiU5/utffTtB9KvOlVTsBdu3PcRJQIwNzX4FvuCzi
qlXECdgE2L19ynzXMZb89BW8b12rM+qfbE3bqLdRpf/fT0RBIS8oKMRpxrtCYNg2
W3nuTNcxNOIdo4QUyzy3f7wAm0LmOayeFzxwMr981siuPRHUPUczDhf68Akusn+F
jMjYq7RfduHisSE/YWivRIpfomweBdoTTsJaFjEh4kX6D615wKx4u5UcOCm2Cw6a
E1t0NCW2cjgjqPMr6xnNCLWo58/0nBp1Ps2ILfjDhNAuERqbEGpBK2D9Z6NfUQQA
3KZXJPUuVG9aFXyFHbEZsFqtfn3XOBKWqYVRhTgWQ3U1NGfToSGb/mgRy0RJH5z9
noOI3/wS6I/B9pIewyDV9OY/9uG74TxYcGPZeKWXfrEqIcTwBvqLAAUoMTyB2BMc
Xgnu7+91OOAOQ+6kxD0SUgnvzL9IRYASUxEITCV6nShR12Kfi9vlEHtWeRvtMYmm
4TsRR3riJhL/aQWS9C+gpgtv/w0AAA==
====
NGNG
>>75
俺も展開できないや
逝ってくる
NGNG
>>80
>>78,79じゃ駄目？
8280
垢版 |
NGNG
>>78.79
uudeviewで戻せました。thx
NGNG
>>82
FreeBSD の ports を使おうってんだから FreeBSD を使っていんだろうけど
最近の uudecode は base64 も認識するぞ。
NGNG
まじですかっ。知らなんだ。
んでも、openssl base64 -d で戻せるので uudeview はやっぱりいらない。
NGNG
nkf で base64 ほどけりゃいいのに。

と話を nkf に戻してみる。
NGNG
>>85
> nkf で base64 ほどけりゃいいのに。
-mBじゃダメなん？
ほどくってのがどういう意味かわからんけど。
NGNG
>>86
すんません、「デコード」するっていう意味で言いました。
それだと、バイナリデータでも無理矢理勝手に文字コード変換して壊れちゃわない？
NGNG
>>87
ああ、そういうこと？
でもそれを`Network Kanji code conversion Filter'に求めるのはちと酷では
ないかと。
別にBase64云々は関係ないわけだし。
NGNG
>>88
まぁ確かにそうだよね。スマソ。
NGNG
eXg
NGNG
B%F%9%H (J)
NGNG

93名無しさん＠お腹いっぱい。
垢版 |
NGNG
ファスナーにykkって書いてあるよ。
NGNG
knkってなんだ
NGNG
>>94 振り向かないことさ
NGNG
nxtってなんだ
NGNG
>>95
蒸着！赤射！焼結！
すまぁ〜
NGNG
>>96 ためらわないこーとーさー
NGNG
ギャバソ！
NGNG
あばよnxt
NGNG
ｷﾞｬﾊﾞｿ!
NGNG
よろしくzsh
NGNG
よろしく ゆ○き＠甲府
NGNG
よろしくメカドック
NGNG
宇宙キチガイィ〜〜〜void〜〜〜〜〜〜〜〜〜〜〜〜〜〜
106山崎渉
垢版 |
NGNG
（＾＾）
NGNG
いまさらだけど、kccを忘れないで欲しいYO!
ftp://ftp.sra.co.jp/pub/os/linux/JE/sources/base/kcc.tar.gz
kcc -cでSTDINからブチ込まれた文字コードの判定
nkfと同じようにフィルタとして動作する
Debianパッケージもある(公式のものに含まれている)
108名無しさん＠お腹いっぱい。
垢版 |
NGNG
ミルクとクルミ
NGNG
kcc も ack も一応入ってるけど、どーいう時に使うのさ？
NGNG
自分で nkf もどき書いてみたんだけど、nkf のほうが全然速いよ。
文字コード判別してないのに。
111110
垢版 |
NGNG
書き直したら余裕で勝てた。文字コード判別はないけど。
最速はどれなのかな。
NGNG
いまどき多少の性能の差はどうでもいいと思われ。
固有の機能を必要とするんでなければ、スタンダードとしての知名度・普及度と安心感が第一。

たとえば、配布したり他人に使わせることが前提のシェルスクリプトの中で
コード変換したくなったとき、何を使うかというと、
やはりたいていのマシンにあって枯れているnkfということになるだろう。
nkfでもいいような用途なのに「qkc使ってるんでqkc入れてください」とかいわれるとちょっと引く。

まあ最近はworldwideではiconvのほうがメジャーかもしれんが、
Unicodeを経由する時点で不安はぬぐえない。
昔ならcocoも有力だったが、さすがにもうmuleもろともあぼーん気味だしな。
NGNG
なんか懐かしいな coco
NGNG
>>112
iconv って必ず Unicode 経由すんの?
NGNG
Chalice のページで、
「変換精度の観点から qkc をオススメします」とあるのだけど、
nkf の変換精度ってそんなに qkc より悪いの？
116名無しさん＠お腹いっぱい。
垢版 |
NGNG
変換精度? さぁ、どうなんでしょうね。

速いってのは嘘だと思うけど。速さよりは拡張しやすいようになっている
はずだよ。iconvみたいなのとは、また、違うしな。
117あぼーん
垢版 |
NGNG
あぼーん
118ななし
垢版 |
NGNG
iconv の "i" って "imouto" の事？
NGNG
>>118
そうだよバカ
120山崎渉
垢版 |
NGNG
（＾＾）
121あぼーん
垢版 |
NGNG
あぼーん
122名無しさん＠お腹いっぱい。
垢版 |
NGNG
判別だけの動作も出来て、utf8も扱えるフィルタきぼんぬ

qkcをutf8対応にするか、nkfに判別機能を付けるかかなあ。
NGNG
続きはこちらで

THE他力本願
http://pc.2ch.net/test/read.cgi/unix/1030870657/l50

くだらない質問はここに書き込め!なんでもアリ24
http://pc.2ch.net/test/read.cgi/unix/1053748966/l50
NGNG
nkfのソース覗いてみたら、--debugオプションﾊｯｹｿ
これで判別の用は足りそう。

somewhere% nkf --debug hoge.txt > /dev/null
UTF-8
somewhere%

まあこれに免じてageちったのは許してちょ
125あぼーん
垢版 |
NGNG
あぼーん
NGNG


　　UNIX何でも相談室(無料)


　　OI2O-69-OI96


NGNG
test
NGNG
すげえ、１年以上意味のあるカキコのないスレッドだよ
NGNG
本当だ
珍しいスレだ
NGNG
うん、記念ぱピコだ
NGNG
UNIX板では, そんなスレぜんぜん珍しくないんだよもん.
過疎だよもん?
132名無しさん＠お腹いっぱい。
垢版 |
NGNG
底上げ
NGNG
あーあ
やっちゃったよこの人
NGNG
二歩ですけどね。
135名無しさん＠お腹いっぱい。
垢版 |
NGNG
うまちょびれ〜っ！
136名無しさん＠お腹いっぱい。
垢版 |
NGNG
ioscan -nkf

これじゃないの？
NGNG
kcc が最強なわけだが…
138愛・昆布 ◆qvkminQt6g
垢版 |
2005/03/28(月) 23:20:29
ぼくわこんぶがだいすきですぼくがこんぶがすきなところわおいしいからこんぶはすきですおでんのこんぶはぜんぶたべてしまっておとおさんにおこらいましたもうしないようにしないとおとおさんがこわいのでしません。
2005/03/29(火) 02:41:03
そのままアルジャーノンで
140名無しさん＠お腹いっぱい。
垢版 |
2005/04/16(土) 07:42:34
iconvやuconvがあるからもうnkfとかqkcとか日本ローカルなものはいらないね
2005/04/16(土) 07:46:48
すごいね．2001年からのスレかよ．
2005/04/16(土) 08:12:36
>>140
iconv や nkf, qkc を一緒くたに比較しちゃう時点でアレとかいうのは置いといて、
uconv ってなんじゃい？
2005/04/16(土) 08:21:26
ぐぐれば？
2005/04/16(土) 10:23:43
Ｎｏｎ　Ｋｏｒｅａ　Ｆｕｔｕｒｅ
2005/04/16(土) 12:19:02
あがっちまったものはしょうがない、
文字コード変換総合スレということにでもしてみるか
2005/04/16(土) 12:36:17
iconv糞っていってるやつは、libiconvにパッチを当てるって事を
思いつかないんだろう。
2005/04/16(土) 15:50:28
どのOSでもパッチをあてられるというわけでもなく。
2005/04/16(土) 17:26:19
自動認識の要求もそれなりにあるからなあ。
まあでもiconvに成功するまでいろんなencodingで試すというやりかたも
なくもないか。gonzuiはそうやっているらしい。
2005/04/16(土) 18:07:30
>>146
パッチ当てなきゃ糞っていうなら十分糞だと思うが？
2005/04/17(日) 18:19:22
nkfのnってなんで？
2005/04/17(日) 18:34:19
nantonaku
kayuitokorowo
funsaishita
2005/04/30(土) 13:09:03
Cのライブラリとしてつかえるのって、iconvとwkf以外にはなにがあります?
2005/06/11(土) 09:57:32
上書きしようとして -O をつけると無変換にならなくねが？おらがのバージョン2.04だども。
154名無しさん＠お腹いっぱい。
垢版 |
2005/06/12(日) 08:27:41
age
155153
垢版 |
2005/06/13(月) 09:09:31
ヤバイ上書きは--overwriteらしい。今は反省している。
156名無しさん＠お腹いっぱい。
垢版 |
2005/12/31(土) 17:24:03
> あいかわらず河野がかかわってるんじゃん。

tar xvf nkf203.tar # 最新版
grep -R . void
nkf.c: void (*status_func)PROTO((struct input_code *, int));
...
nkf.c: ** void@merope.pleiades.or.jp (Kusakabe Youichi)
2005/12/31(土) 17:55:31
fujitsu最大の成果物ということでよろしいでしょうか？
158名無しさん＠お腹いっぱい。
垢版 |
2005/12/31(土) 18:02:43
でも河野さんはsonyでしょ。(当時)
2006/01/13(金) 15:10:58
--guess はバグってる？

% nkf --version
Network Kanji Filter Version 2.0.5 (2005-04-10)
Copyright (C) 1987, FUJITSU LTD. (I.Ichikawa),2000 S. Kono, COW, 2002-2005 Kono, Furukawa, Naruse
% nkf --guess utf8
UTF-8
% nkf --guess utf8 utf8 utf8
utf8:UTF-8
utf8:EUC-JP
utf8:EUC-JP
160naruse
垢版 |
2006/01/16(月) 19:58:38
ごめんなさい、バグってます。
CVSでは nkf.c rev:1.71 治っておりますので、よろしければそちらをお使いください。
http://cvs.sourceforge.jp/cgi-bin/viewcvs.cgi/nkf/nkf-2/nkf-utf8/nkf.c?rev=1.89&view=log#rev1.71
なお、2.0.6は桜が咲くころには出す予定です。
2006/01/16(月) 20:40:22
>>160
ああ！思い出した。 ruby-dev に出てたのと同じ問題ですね。
桜が咲くのを待ちつつ、修正版を使いますです。どうもです。
新着レスの表示
レスを投稿する

5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況