[BioRuby-ja] FlatFile blat parser
Toshiaki Katayama
ktym @ hgc.jp
2007年 8月 24日 (金) 02:57:48 EDT
西山さん
On 2007/08/23, at 12:10, Tomoaki NISHIYAMA wrote:
> blatの出力に区切りが無いとはいえ、同じqueryの結果は続けてでて来ますので
> FlatFileとしての処理時は同じqueryの名前が続く
> 範囲を以て1つのentryとして返してくれると便利ということで
> flatfile_splitterをつけてみました。
ありがとうございます。
> また、全部一括システムで全てをHashに押し込んで同じqueryのhit毎に処理すると、
> 百数十MBytesのpslファイルを処理するのに
> 数GBytes以上のメモリーが必要になっていたのですが、
> ずっと少ないメモリーで処理出来るようになります。
試していないのですが、良さそうですね。
後藤さん、パッチの取り込みを検討して頂けますか?
片山
BioRuby-ja メーリングリストの案内