[BioRuby-ja] FlatFile blat parser

Toshiaki Katayama ktym @ hgc.jp
2007年 8月 24日 (金) 02:57:48 EDT


西山さん

On 2007/08/23, at 12:10, Tomoaki NISHIYAMA wrote:
> blatの出力に区切りが無いとはいえ、同じqueryの結果は続けてでて来ますので
> FlatFileとしての処理時は同じqueryの名前が続く
> 範囲を以て1つのentryとして返してくれると便利ということで
> flatfile_splitterをつけてみました。

ありがとうございます。

> また、全部一括システムで全てをHashに押し込んで同じqueryのhit毎に処理すると、
> 百数十MBytesのpslファイルを処理するのに
> 数GBytes以上のメモリーが必要になっていたのですが、
> ずっと少ないメモリーで処理出来るようになります。

試していないのですが、良さそうですね。

後藤さん、パッチの取り込みを検討して頂けますか?

片山




BioRuby-ja メーリングリストの案内