X
CSVファイルのスレ
0201NAME IS NULL
垢版 |
2009/06/30(火) 22:49:28ID:???
VB.Netのcsvparserだっけ？あれだと簡単に読めるよね。
0202NAME IS NULL
垢版 |
2009/07/04(土) 10:45:55ID:???
もうcsvは捨てて、jsonとかでいいんじゃないか
0203NAME IS NULL
垢版 |
2009/07/04(土) 18:48:12ID:???
>>202
プログラマからするとjsonは便利なんだけど、
普通の人向けにはExcelで扱えるcsvがいいよね。
0205NAME IS NULL
垢版 |
2009/07/14(火) 21:56:08ID:???
SqlDataReader → Excel（CSV）に、大量データをコピーしたいんだけど
何か良い方法ありませんか？

VB6 の頃は、Recordset を GetString したものを Clipboard.SetText して
それを Excel のシートに対して Paste することで、超高速で実現してたんですが。

VB.NET の場合、列行共にぐるぐる回す方法しか見つけれません。
一括して取得して処理することはできませんか
0206NAME IS NULL
垢版 |
2009/07/15(水) 00:09:19ID:???
RangeにDataSetはるメソッドあるだろ。よくみなさい。
0208NAME IS NULL
垢版 |
2009/07/16(木) 19:56:24ID:???
Range.CopyFromRecordset
じゃないの？
0210197
垢版 |
2009/10/13(火) 02:09:40ID:???
>>204 見てみます、おくれましたが、あがとうございます。
0212渡辺
垢版 |
2010/07/20(火) 21:47:37ID:???
データ募集中
永続課金保障
買取
柔軟にご対応致します。
まずはご連絡ください。

特に優良少数データ高待遇します。
0213菊池　
垢版 |
2010/08/22(日) 17:35:48ID:???
菊池　

まずは一本メールを下さい！そこから全てが始まります！
※わからない事は全て私が御説明致します※

◆データ高価買取致します。販売致します◆

課金保障

承認ベース

一括納品

高価買取

ＡＬＬ対応致します。



★色々不安に思う事あると思います。何でもそうですね？
まずは一通メールを下さい。ＡＬＬ対応致します。バックアップ致します。こうゆうのは信用第一　徳を大事にしております。買取　承認ベース　何でも問い合わせて下さい。お待ちしてます★
0214NAME IS NULL
垢版 |
2010/09/15(水) 20:04:10ID:???
>>213
こんなとこにこんなの書き込む奴が信用なんかない。
0215NAME IS NULL
垢版 |
2010/10/06(水) 18:59:40ID:???
OracleがRFC4180をdisり続ける限りCSVのエスケープ問題（というか方言問題）は解決しないだろうな
0216吉田
垢版 |
2011/08/30(火) 12:44:55.47ID:???

◆CSV買取・販売◆


☆データ種別☆

・リスティング
・占い
・IP削除
・ログあり
・課金者
・ｘｘ
・etc

幅広く御提案できます♪

販売・買取共にご希望の条件を
何なりとお申し付け下さい。

吉田
アドレス→ad_csv@yahoo.co.jp
0217吉田
垢版 |
2011/09/05(月) 14:15:42.72ID:???
◆CSV買取・販売◆


☆データ種別☆

・リスティング
・占い
・IP削除
・ログあり
・課金者
・ｘｘ
・etc

幅広く御提案できます♪

販売・買取共にご希望の条件を
何なりとお申し付け下さい。

吉田
アドレス→ad_csv@yahoo.co.jp
0218飯間
垢版 |
2011/09/18(日) 15:11:43.27ID:???
競馬、出会い系、情報商材、金融、ＥＣ
その他データ高価買取致します

【保証形態】
1.課金保証/20～50％×3ヶ月～永続
2.納品保証/ご希望の金額を教えてください。


【支払日】
1.課金保証の場合、週払い可能
2,データと現金交換可能

宜しくお願いします。

飯間　iimaa81@yahoo.co.jp
0219nemoto
垢版 |
2011/10/04(火) 13:08:02.45ID:???
最強の運営部隊（1番組8000超え）を抱えている為　強気のオペレーションを御見せします！

ユーザーデータ買取ります。

ユーザーCSV買取
一括納品購入（信用取引になります）
課金保障（ まずは40％位からはじめて売り上げに応じて変動しますが最強のオペレーターに任せていただけるなら満足いただけます！）

承認ベース（クリーニングして到達率と保有アドレスの誤差はでますが
その他条件を出してもらえれば対応します。

また競馬DATAについても随時探しています！

お気軽にお問い合わせください！
根元
richiyhit89@gmail.com
0221NAME IS NULL
垢版 |
2012/10/25(木) 12:09:53.85ID:???
セキュリティソフトのカスペルスキーでkutocsveditorの履歴を見たら
スクリーンショットと撮った記録が残っていた。
画面イメージを撮って送っているのはなぜだ、
通常、スクリーンショットはスクリーンキャプチャソフトでしか記録されないはず
別ソフトに変えたほうがいいのか
0222NAME IS NULL
垢版 |
2012/11/15(木) 22:12:35.11ID:???
Charactor Separated Valuesの略ってどっかで見たんだけどやっぱりcommaしか認めない
0223篠山
垢版 |
2012/12/26(水) 16:01:07.51ID:???
【即日買取】課金データ

▼買取条件
1.対面でのお取引可能な方
※課金保証をご希望の場合はメールのみで問題ありません。

2.直近のコミュニティデータ
課金状況やアクセス日が分かれば尚◎

3.代理店に出回っていないデータ

販売可能な方は詳細・金額・条件を出来るだけ詳しく記載頂きご連絡下さい。
※課金保証をご希望の場合は50％、3ヶ月間でお受け致します。
0224NAME IS NULL
垢版 |
2012/12/27(木) 17:16:24.96ID:eejvzb8+
　　￥￥￥￥￥￥￥『万有サロン』書き込み大賞・総額100万円￥￥￥￥￥￥￥￥￥￥￥￥

　　この掲示板に優秀な書き込みをして、総額100万円の賞金をゲットしよう！(*^^)v
　　　　万有サロン
　　　　　　http://jbbs.livedoor.jp/study/3729/
　　　　書き込み大賞の詳細
　　　　　　http://jbbs.livedoor.jp/bbs/read.cgi/study/3729/1069922074/78-
　　　　書き込み大賞の詳細(資料倉庫内)
　　　　　　http://www2.tba.t-com.ne.jp/a-z/omake/banyu/taisho.htm

　　また、あらゆる疑問に関する質問を、携帯電話やメールでも受け付けています。
　　　　電話番号　080-4437-4187
　　　　メール　　aaa-zzz@tba.t-com.ne.jp

　　￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥
0225NAME IS NULL
垢版 |
2012/12/30(日) 05:05:33.60ID:7TCjk6QA
　　●●●ケネディ大統領は何故、死なねばならなかったのか？●●●
　　http://jbbs.livedoor.jp/bbs/read.cgi/study/3729/1226114724/53

　　￥￥￥￥￥￥￥『万有サロン』書き込み大賞・総額100万円￥￥￥￥￥￥￥￥￥￥￥￥

　　この掲示板に優秀な書き込みをして、総額100万円の賞金をゲットしよう！(*^^)v
　　　　万有サロン
　　　　　　http://jbbs.livedoor.jp/study/3729/
　　　　書き込み大賞の詳細
　　　　　　http://jbbs.livedoor.jp/bbs/read.cgi/study/3729/1069922074/78-
　　　　書き込み大賞の詳細(資料倉庫内)
　　　　　　http://www2.tba.t-com.ne.jp/a-z/omake/banyu/taisho.htm

　　また、あらゆる疑問に関する質問を、携帯電話やメールでも受け付けています。
　　　　電話番号　080-4437-4187
　　　　メール　　aaa-zzz@tba.t-com.ne.jp

　　￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥
0226NAME IS NULL
垢版 |
2013/01/02(水) 08:08:11.05ID:crndD6UE
CSVデータを検索するのが面倒だからといってなんでもかんでもSQLサーバに入れるんじゃね～！
WinならCSVファイルに対してもSQL使えるだろ？
0227松岡
垢版 |
2013/01/04(金) 02:20:32.79ID:???
【2013年度付データ即日買い取り】

出会い系データ、競馬データ、アドレスのみ、CSVなど

データと交換で高く買い取りします！

課金保証の場合:30～45％×6ヶ月

データと交換の場合：50円～200円/件（高価買取実施中！）

支払日
1.買取の場合はデータと現金すぐ交換

2.課金保証の場合は末締め翌月末払い


秘密厳守に信用第一で切実にご対応致します。

松岡
0229ありま
垢版 |
2013/02/18(月) 13:18:01.81ID:???
データ買い取り！！秘密厳守！！
即日買取可能！。
※販売は一切致しておりません。
買い取りと販売をしている業者（転売目的、儲け主義）ではございませんので販売は一切しておりません。

★出会い系リスト★
≪出会い系利用者、ログインデータ、課金者データ、現在稼働中のデータ。≫
モバイルアドレス
PCアドレス
男性
女性
■買い取り方法
　　単価買い取り(10万件～のアドレスは買い取りしかねます。ほとんどの場合数合わせ、エラーアド、使い古しがほとんどだからです）
　　課金保障（自社関連サイト、企業限定ですので、データあれませんので課金には自信ございます。）


★メルマガ配信停止依頼者リスト★
≪メールマガジン、メール配信等でメール停止、メール配信拒否、もう送らないでくれなど、受け取り側からの配信停止、配信拒否されたデータ。
今まで捨てるだけの無駄なデータであったもの(メールアドレスの存在しないエラーアドレスではない)を買い取りいたします。≫
モバイルアドレス
PCアドレス
男性
女性
■買い取り方法
　　単価買い取り
　　課金保障


買い取りと販売、両方行っている業者はアドレスを転売し、差額を儲けとしておりますので、買い取り後、多方面に販売いたしますので、
データがすぐにすれたり荒れてしまいます。
私どもではすべて自社関連サイト、企業に使用いたしますのでデータが荒れず、きれいなまま保てます。
それゆえ課金保障の場合かなりお得だとと思います。
一切転売はいたしません。

お客様
例　　

①
稼働中出会い系サイト課金者データの定期納品のお客様
3ヶ月40％契約　

初月　10万円
2か月目　27万円
3か月目　40万円
4か月目　47万円
やはり稼働中の出会い系課金者ですので結構いい金額いきます。

②
運営停止出会い系サイトログインデータのお客様
10万件
20万円（1件2円）
サンプルのエラー率が低かったのでこの金額で買い取りできました。

ありま　futurefourgroup@hotmail.co.jp
0230清水
垢版 |
2013/03/01(金) 21:34:54.84ID:???
【急募】お持ちのデータを現金化しませんか？

★課金保障にてデータお譲り下さい★
(30％～50％×3～4ヶ月、末締め翌末払い)
・出会いデータ
・ECデータ
・占いデータ
・競馬データ　等
その他なんでも現金化します。

＊巷で出回っていない抜きデータ等は条件優遇！！

出会い系業界不況と言われる中、月間売上1億超えを維持し続けている
超優良企業の精鋭部隊達が、強気のオペレーションをお見せします！

リスクを負って取引したのに結果が出ないようでは意味がありません！
他社様の課金に満足頂いていない方、是非一度ご相談下さい！！

＊秘密厳守は徹底します。個人の方もお気軽にお問合せ下さい。
＊匿名取引可。顔合わせNGな方の取引にも応じます。

可能な範囲で構わないのでデータ詳細や希望条件を添えてメール下さい。
誠心誠意をもってご対応させて頂きます。お待ちしてます。

担当：清水　quickshimizu@gmail.com
0231吉村
垢版 |
2013/03/06(水) 19:57:58.84ID:T/k9ot2k
【即決】高額データ買取

【即決】致します
SNS、出○い系、データ請負致します。

課金保証、買取、どちらも対応致します。

納品先は実績のある大手のIP様になります。

※現金手渡し可
※対面NGの方でも対応します。

このご時世ですので、生き残りをかけてみなさん必死になっております。
そんな中で末長く信頼を第一に考えております。

上記案件以外でもなんでもご相談ください。
よろしくお願いいたします。
吉村

yosimura.d0000@gmail.com
※返事は24時間以内に必ずさせて頂きます。
0232リアルナッパ ◆Ss7bdhOW6c
垢版 |
2013/08/13(火) NY:AN:NY.ANID:sWS+qJ7O
ｑ
0233みずほ
垢版 |
2013/10/26(土) 15:56:09.37ID:GMXRXCC6
高額預金者のデータリストは高く売れるのか？
あ、聞く所まちごうた、UFJやったか。
0234市川
垢版 |
2013/11/17(日) 22:23:22.02ID:???
女性MB、PCを中心とした稼働中のIPデータ定期納品可能。
希望条件⇒課金保障、40％×3ヶ月

詳しくはメールにて。
宜しくお願い致します。

ichikawata2mi@outlook.jp
0235NAME IS NULL
垢版 |
2013/12/31(火) 10:47:45.97ID:ycHDguwO
超初心者ですが、ＣＳＶファイルをプリンタで印刷しようとしても、
全く反応がありません。
ＣＳＶ以外はちゃんと印刷できるのですが。

何が考えられますでしょうか？？
0236NAME IS NULL
垢版 |
2014/01/01(水) 16:13:12.69ID:???
ど う や っ て 印 刷 し た
0237 忍法帖【Lv=17,xxxPT】(1+0：8) 【東電 82.0 %】
垢版 |
2014/01/22(水) 20:05:22.23ID:BJteX4MO
ぬるぽ
0238NAME IS NULL
垢版 |
2014/03/11(火) 12:22:55.58ID:???
isamファイルの案件きたよー
0239NAME IS NULL
垢版 |
2014/03/20(木) 06:49:46.29ID:???
Cassava使ってるんですけど、一行目を固定ボタン押しても
固定されないんですけど、自分だけの現象でしょうか。
ボタン押したら一行目が消えます
0240239
垢版 |
2014/03/20(木) 06:58:13.46ID:???
すみません。iniファイルを削除して設定し直したらできました。
お騒がせしました
0241NAME IS NULL
垢版 |
2014/05/28(水) 20:25:55.80ID:???
簡単なCSVなら秀丸て十分
0242坂上
垢版 |
2015/02/23(月) 23:47:16.29ID:???
出会い系サイト閉鎖、データお譲りします

お世話になります、
坂上と申します。

出会い系サイト課金者データ
美容関係女性データがあります。

双方ともスマホ、
モバイルメインのデータです。

1000万件保有しています、
その中には１億円以上の実績データ多数あります。

もういらないので格安でご提供します。

中には某決済会社データも入っています。

課金保証も条件によっては可能ですので
お願いします。

坂上：purchaserlist@yahoo.co.jp
0243NAME IS NULL
垢版 |
2015/08/27(木) 17:22:37.12ID:???
csv形式でデータを出力できるソフトを購入したいのですが、インストールしたいpcにofficeが入っていません。
Excelがなくても出力、保存は可能ですか？
そのデータをofficeが入っている別のpcで開きたいです。
0244NAME IS NULL
垢版 |
2015/08/27(木) 18:12:28.64ID:???
ｃｓｖはただのテキストファイルだからExcelいらないよ
0245NAME IS NULL
垢版 |
2015/08/27(木) 19:44:47.27ID:???
>>244
そうなんですか！
ありがとうございます、助かりました
0246NAME IS NULL
垢版 |
2015/11/12(木) 23:33:32.62ID:/afGrOLm
>>245
メモ帳で開きなさい。
0247NAME IS NULL
垢版 |
2015/12/04(金) 15:14:41.25ID:SUaZoleF
ある基幹システムにcsvからデータをインポートする作業があるとして
そのcsvデータが取り込み形式に合っているかどうかのチェックをしたいんですが
どういった方法が一番いいですか？

チェックしたいのは、
・項目の並びが正しいか
・各項目に不整合な形式のデータがないか
　（例えば、日付データの場所に文字列とか）

よろしくお願いします。
0250NAME IS NULL
垢版 |
2015/12/12(土) 20:58:25.42ID:X9wcWIIa
>>247
Excelにインポートしてチェックする。

プログラム作ってチェックする。
0251NAME IS NULL
垢版 |
2015/12/12(土) 20:59:30.78ID:X9wcWIIa
なんでCSVファイルのことがデータベース板にあるのか。
0252NAME IS NULL
垢版 |
2015/12/22(火) 17:51:46.45ID:M/D0CZ4+
いろんな情報のデータベース板と思えばいい
0253NAME IS NULL
垢版 |
2015/12/22(火) 18:01:46.29ID:???
それだと何でもありじゃないかｗ
0255NAME IS NULL
垢版 |
2016/02/04(木) 15:04:40.41ID:vrajJNnU
ExcelとしてはTSVファイルの方が相性がいいのに、なんでみんなCSVにこだわってるんだろうか。
0256NAME IS NULL
垢版 |
2016/02/04(木) 15:19:15.50ID:???
TSVもCSVの一種として扱ってるのにわざわざ区別する奴はなんなんだろう
0257NAME IS NULL
垢版 |
2016/02/04(木) 21:19:05.87ID:vrajJNnU
>>256
何を言ってるのか？
0258NAME IS NULL
垢版 |
2016/02/14(日) 03:11:39.76ID:???
>>257
TSVもCSVのうちという話じゃないの？
0259NAME IS NULL
垢版 |
2016/02/14(日) 05:31:30.67ID:bY+ncSXr
>>258
あほか。
0260NAME IS NULL
垢版 |
2016/02/14(日) 13:59:35.82ID:???
名称としてTSVなんて一般的じゃない
タブで区切ったCSVという呼び方のが通じるｗ
0261NAME IS NULL
垢版 |
2016/02/14(日) 19:02:40.49ID:bY+ncSXr
>>260
馬鹿丸出し
0262NAME IS NULL
垢版 |
2016/02/14(日) 22:32:59.76ID:z/fFeDUz
>>261
昔はメールと言ったら手紙のことだったが、
インターネットが普及するのにしたがってメールは電子メールのことを
表すようになった。つまり、タブ区切りこそが真のCSVである。それでいいな？
0263NAME IS NULL
垢版 |
2016/02/15(月) 13:12:06.53ID:fwBBCAc8
マ イ ン ド コ ン ト ロ ー ル の手法

・沢山の人が、偏った意見を一貫して支持する
　偏った意見でも、集団の中でその意見が信じられていれば、自分の考え方は間違っているのか、等と思わせる手法

・不利な質問をさせなくしたり、不利な質問には答えない、スルーする
　誰にも質問や反論をさせないことにより、誰もが皆、疑いなど無いんだと信じ込ませる手法

偏った思想や考え方に染まっていたり、常識が通じない人間は、頭が悪いフリをしているカルト工作員の可能性が高い

靖 国 参 拝、皇 族、国 旗 国 歌、神 社 神 道を嫌う カ ル ト

10人に一人は カ ル ト か 外 国 人

「ガ ス ラ イ テ ィ ン グ」 で 検 索 を ！
0264NAME IS NULL
垢版 |
2016/02/20(土) 23:08:16.67ID:???
>>259
character separated values
で検索してみるといい
0265NAME IS NULL
垢版 |
2016/02/25(木) 08:01:56.65ID:???
>>264
それ知ってるけど、そういうのも含めて、一回csvって絶滅しねーかな。
csvのうち、セパレータがタブのものはtsvっていうなら、セパレータがカンマのはなんて呼ぶんだ？

絶滅後に、もう一回仕様をきっちりしてほしいよ
0266NAME IS NULL
垢版 |
2016/05/01(日) 23:24:56.86ID:???
>>265
すでに一回絶滅したよ
そしてRFCが出来た
0267NAME IS NULL
垢版 |
2016/05/23(月) 12:53:53.53ID:WNFQzXcv
初めて業務でcsvファイルを扱うことになり（ちょっとした雑務程度ですが）
open officeを今使っているのですが、

ある列（縦）のデータ（Aとします）と、
ある列のデータ（Bとします）の二つを抽出して、

そのデータを両方とも降順を昇順にして
Aのデータ(x1,x2,x3...)に、Bのデータ(y1,y2,y3...)を加えて
ABのデータ(x1,y1,x12,y2,x3,y3...)にして、
そのデータを他のデータに追加したいです。

事務作業をやったことがこれまでにないので、
どうか心優しい方教えて下さいましたらありがたいです。
0268NAME IS NULL
垢版 |
2016/05/23(月) 12:54:42.48ID:???
>>267
教えてほしいのはやり方です。
宜しく御願いいたします。
0269NAME IS NULL
垢版 |
2016/05/23(月) 13:33:25.16ID:UP9ZYRKE
何を言ってるのがわからないうえに、Excelの操作ならExcelのスレッドで聞いた方がいい。
0270NAME IS NULL
垢版 |
2016/07/10(日) 01:29:16.99ID:???
オッペンオフィスを使っているのか、
(会社がせこくて無料の)オッペンオフィスを使わされているのか。
0271NAME IS NULL
垢版 |
2016/07/17(日) 20:38:00.70ID:???
Now, I am become Death, the destroyer of world
0272NAME IS NULL
垢版 |
2017/12/29(金) 11:38:51.81ID:dtNZwIie
誰でも簡単にパソコン1台で稼げる方法など
参考までに、
⇒　『宮本のゴウリエセレレ』 というブログで見ることができるらしいです。

グーグル検索⇒『宮本のゴウリエセレレ』

L1WOEFDH6U
0273NAME IS NULL
垢版 |
2019/08/18(日) 01:01:50.14ID:???
Cassava Editorっていまもまだ更新続いてるのか・・・
現在進行形で10年以上、更新が続いているってすごいな
作者尊敬するわ
0274NAME IS NULL
垢版 |
2019/09/05(木) 20:35:26.00ID:DlL3ZhYX
>>273
あすかぜさんは神

あすかぜさん無しでは生きていけない
0275NAME IS NULL
垢版 |
2019/09/13(金) 00:27:52.13ID:JsZ81e/N
Cassava Editorが存在することで日本の生産性が向上していることは間違いない
0276NAME IS NULL
垢版 |
2020/05/13(水) 11:02:45.60ID:???
幾度ものタピオカブームの浮き沈みも関係なく
cassava editorは進歩する
0277NAME IS NULL
垢版 |
2020/05/14(木) 13:55:32.06ID:???
SUMとかAVERAGEとかの基本的な関数だけでも実装してくれたらなぁ。。
0278NAME IS NULL
垢版 |
2020/07/04(土) 23:14:10.34ID:pcZg9qmx
「Cassava Editor」https://www.asukaze.net/soft/cassava/　v2.2.0 (2020/07/04)
64 bit 版を追加。
マクロファイルの文字コードを Shift-JIS から UTF-8 に変更。
ただし、UTF-8 として読み込めない場合は Shift-JIS として解釈される。

これぞ最強・最速・最高性能
0279NAME IS NULL
垢版 |
2020/07/09(木) 10:48:02.22ID:IGkzCBkT
>>278
あざーす！
0280NAME IS NULL
垢版 |
2020/12/23(水) 01:22:06.12ID:???
CSVはRFCに従うよりエンマークでエスケープした方がLinuxで使いやすい

RFCとは別にPOSIXのCSVとしてエンマークエスケープのCSVが普及して欲しいと思う今日この頃
0281NAME IS NULL
垢版 |
2021/10/08(金) 19:00:11.25ID:???
ASCIIセパレータのことも思い出してあげてください
0282NAME IS NULL
垢版 |
2022/07/17(日) 23:11:42.70ID:/HVWy/+u
制御文字は人間に優しくないのがつらいんよねー
システマチックに使うだけなら良いかも
0283NAME IS NULL
垢版 |
2022/09/03(土) 22:15:45.24ID:euVNIg62
Twitterで100GBのCSVを10GBのメモリのPCでソートするにはどうすればよいかって話題になってた
どうやればよいのだろうね
0284NAME IS NULL
垢版 |
2022/09/05(月) 13:23:03.79ID:???
死ねばいいんじゃないんですかね
そういうシステムを作っちゃうやつは必ず同じ失敗を繰り返す
0285NAME IS NULL
垢版 |
2022/09/05(月) 13:49:58.15ID:Tc12+IoI
システムの良し悪しじゃなくてDBに入れるとかそういう具体的なやり方の話をしたかった
0286NAME IS NULL
垢版 |
2022/09/05(月) 22:33:25.90ID:???
CSVは基本可変長レコードだから、ファイルへのランダムアクセスでデータが取り出せない
それだけでソート行うのに不適ってわからない時点でもうダメ
データの入れ替えもとんでもなく困難

ファイルを固定長にするという発想があれば
ソートも入れ替えも比較的容易に出来るんですがねぇ…
あとはメモリ使用量の少ないソートアルゴリズムを選べばいい
0287NAME IS NULL
垢版 |
2022/09/08(木) 13:59:49.98ID:ZUZFeHFR
だめだこりゃ
0288NAME IS NULL
垢版 |
2022/09/08(木) 14:00:37.37ID:ZUZFeHFR
イキりマンがいるとダメだ
0289NAME IS NULL
垢版 |
2022/09/08(木) 23:42:26.53ID:???
まさかcsvのソートができないなんて上から目線で言うやつがいるとは思わんかった。
0290NAME IS NULL
垢版 |
2022/09/09(金) 10:39:32.97ID:???
ではイキリマンとは違う事を
正解を示すことで証明していただきたい
0291NAME IS NULL
垢版 |
2022/09/09(金) 21:39:53.42ID:???
ふふふそうはいかない
お前に利は与えぬ
0292NAME IS NULL
垢版 |
2022/09/09(金) 23:06:48.13ID:ybJikvqo
ふふふ
0293NAME IS NULL
垢版 |
2022/09/11(日) 01:48:03.55ID:Mo970C1D
ソートするだけならマージソートでやれば良い
マージソートはレコードをシーケンシャルに読み書きしていくだけで良い

CSVが100GBで、1レコードが1KBだと仮定するとレコード数は1億
log2(1億) = 26.5
27回はスプリットとマージを繰り返さないといけない
100GB * 27 * 2(読みと書き) = 5400GB
ストレージの読み書き速度が500MB/sだとして3時間

性能要件的に3時間が是か非か

SQLiteやPostgreSQLにデータを入れてSQLでソートするにしても
DBではデータがノーマライズされるうえにインデックスも構築されるから
なんだかんだで同じくらい時間がかかりそう

RedshiftやBigQueryといった分散処理ができるDBを使えば速いだろうけど
ネットワークの速度が100MB/sだと仮定するとデータを転送するだけで16分かかるから
なんだかんだで20分前後かなあ

ストレージのIOがボトルネックになるとしてそれを改善するには
CSVを1回読んでレコードの(sortkey, offset, length)の組を抜き出してその組をソートして最後にレコードを抜き出すのが良い
1つの(sortkey, offset, length)が40バイトだとしてそれが1億あると4GB、PCのメモリが10GBならオンメモリでソートできそう

RFC4180に従う汎用的なCSVを入力として受け付けるならoffset, lengthの計算がちと面倒かもね
入力の生データを保持してCSVをパースできるならレコードをパースして生データからoffset, lengthを計算すればよいけれども
対応してるライブラリがあるかはわからない、CSVのパーサを自作する必要があるかも
0294NAME IS NULL
垢版 |
2022/09/11(日) 02:08:10.54ID:Mo970C1D
10GBに収まるギリギリまでメモリ上でソートすればいいので27回も繰り返す必要はないのか
ストレージ上のデータがメモリ上では10倍になるとしてメモリ上でソートできるのは100万レコードくらいかな
100万レコードが100個できるとして
log2(100) = 6.6
100GB * 7 * 2(読みと書き) = 1400GB
ストレージの読み書き速度が500MB/sだとして47分
結構速いな
0295NAME IS NULL
垢版 |
2023/05/24(水) 21:48:12.59ID:???
Excel365で開くと、最初は問題なく開けるのに、
しばらく使ってから開くと文字化けするのはなに?
文字化けするファイルもしないファイルも文字コードは同じ
PC再起動すれば一時的に直るけど、またしばらく使ってると再発する
0296NAME IS NULL
垢版 |
2023/06/03(土) 19:09:16.93ID:WlpZXlkv
BOMが消されてるんじゃない？
新着レスの表示
レスを投稿する