CakePHPで大量データのCSV出力

  • author: Tadashi
  • 2010/05/26 22:55

今やはりのプログラムはMVCモデルのフレームワークですね。

PHPには、Zend Framework、Symfonyとありますが、今回はCakePHPの話。
CakePHPでWebサイトを作成してもう少しで一年。フレームワークのよい所、わるい所が見えてきました。

最近の話・・・

200万件レコードをCSVデータとして出力する処理を作成していました。
テキストデータで300MBもないデータですが、PHPに割り当てた1GBのメモリがイッパイになってしまうこと数回・・・・

なぜ?なぜ?

同じデータをphpMyAdminのCSVエクスポート機能から出力すると、最後まで出力できる。

両方のコードを調査してみた。
phpMyAdminのコードは、データベースを開いた後で、オブジェクトに取得したデータを1行ずつ出力していきます。

対して、

CakePHPのコードは、データベースから取得したデータを何やら配列らしいものにセットして・・・
って、ここがどうもメモリを相当に圧迫しているらしい。速度的にもボトルネックになっていそう。

まあ、こんな大量なデータベースデータを標準機能で取得することは想定されていないだろうな?


平成22年春季 堺文化財特別公開

  • author: Tadashi
  • 2010/05/23 14:29

ちょうど大阪に行く用事と堺文化財特別公開が重なったので、堺散策をしてきました。

今年は「千利休の生まれた街・堺の歴史をたどる」というテーマで戦国時代に関係深い場所が4ヵ所選択されていました。

旧堺灯台

当日は、ウォーキングでまわるイベントも開催されていたようで、大勢の方が雨の中を歩いていましたが、そのスタート地点がここ「旧堺灯台」です。

平成22年春季 堺文化財特別公開

そこからはじめに行ったのは、千利休生誕の地です。敷地には利休が茶の湯に使用したと伝わる「椿の井戸」が残るのみです。

平成22年春季 堺文化財特別公開

そして、「大安寺」に入りました。国重要文化財となっている本堂は、NHK大河「黄金の日日」の主人公、納屋助左衛門の邸宅の一部を移築したものと言われており、見事な障壁画を見る事ができましたが、柱の一本に「松永久秀の刀傷」が残ると紹介され、さすがにこちらは胡散臭いですね。

平成22年春季 堺文化財特別公開

次に「南宗寺」へ行きました。三好長慶が創建した同寺では、利休が禅の修業をしたと伝えられ、

三好一族の墓

境内には「三好一族の墓」のほか、

徳川家康の墓

本当は大阪夏の陣で死んだ「徳川家康の墓」!?もあり、ちょっとしたミステリーゾーンになっています。

平成22年春季 堺文化財特別公開

最後に、「妙国寺」へ行き、

伝説の大蘇鉄

庭の樹齢1100年の「大蘇鉄」を見ました。境内には他にも蘇鉄が植えられていましたが、この蘇鉄だけは伝説が残っていて、

織田信長が安土城へ植え替えたところ、毎夜、「堺へ帰ろう」と泣いたので怒った信長が家来に命じて刀で斬ったところ、血が吹き出し、恐れた信長が堺へ返した。

と伝わるものです。数年前から樹勢が衰えてきて、手術の最中だとか・・・


VSUG Day 2010 Summer

  • author: Tadashi
  • 2010/05/22 23:23

VSUG Day 2010 Summer

今日は、久しぶりのセミナーに参加するため、大阪市鶴見区民センターにやってきました。

VSUG(Visual Studio User Group)の主催で、今年マイクロソフトから発売される「Visual Studio 2010」「.NET Framework 4」(今バージョンから何気に「4.0」ではなくなった)「Silverlight 4」の最新情報の発表内容でした。

「WPF」「Silverlight」はようやく実務的に使い勝手が良くなった感じですが、まだまだWindowsフォームやASP.NET勉強中の自分には置いて行かれたような・・・・頑張ってついていかねば!

最新状況を仕入れるための県外出張でしたが、実務では最近Windows開発から遠く離れていく状況です。

最近流行りの「クラウド」、「Windows Azure」(「あじゅーる」と呼びます)については、ドメインが「*.cloudapp.net」に固定されるようで、実務としての利用ケースが思いつきませんね。

今日は、大阪の会場で石川県の前勤務先の上司と遭遇。お互いの近況を交換しあいましたが、こんな偶然もあるんですね。

夜には大学時代の旧友と5年ぶりの再会を果たし、それぞれに周りの状況は変わっているものの、顔を合わせれば15年前と変わりませんね。話している話題は、少し年寄り臭い内容もチラホラありましたが・・・


キリ番ゲット!

  • author: Tadashi
  • 2010/05/21 22:20

国盗りカウンタ

何気なく「安土城築城記」を見たら、キリ番「6500」でした!!

何か良いことあるかなーーーーー


金沢城・兼六園研究会 総会・講演会

  • author: Tadashi
  • 2010/05/15 15:40

今日は金沢城・兼六園研究会の総会でした。

金沢城・兼六園研究会

今年度は新しい会員12名を迎えて総勢138名となりました。といっても総会員数はますます減っていますね。

今年は20周年の記念すべき年ということで、60歳で入会した方も80歳となり・・・ということは微減で進むほかはないようですが、総会出席者が年々減ってきているのも気になります。

機関誌「きくざくら」も今年は20周年記念号となるようで、今年こそは論文デビューの好機到来?かもしれませんね。

金沢城・兼六園研究会

総会後の講演会は、金沢城調査研究所の冨田氏による「金沢城玉泉院丸庭園跡の調査」でした。

昨年は旧県体育館の下に庭園跡が本当に残っているか不安の中、多くの成果が発掘され、現地説明会も100名を越えるほど地元の関心も高かったわけですが、その後さらに調査は進んだようです。

今年も何か発見されればまた現地説明会が開催されるそうで楽しみですね。

以前の記事はこちらから


武将カフェへGo?

  • author: Tadashi
  • 2010/05/08 17:10

朝、ホテルを出発してルーセントタワーに向かいました。

ルーセントタワー

エスカレータを下りた地下1階、すぐにところに武将カフェとして雑誌や本に紹介されている「猿カフェ」があります。

武将カフェ

といっても到着したのは10時。開店は11時ということで、帰りに寄ることに・・・

武将カフェ

帰りに寄ってみると、今日は結婚式の二次会か何かで貸し切りのよう。今回はお預けとなりました。


城端曳山祭

  • author: Tadashi
  • 2010/05/05 11:47

今日は富山県南砺市城端に行ってきました。今年のGWは前半は風が強かったものの、祝日に入ってからはめずらしく晴天でした。今日も夏のような暑さでした。

城端曳山祭

城端庁舎の駐車場に停め、出発場所の城端別院善徳寺前に向かうと、出発場所に向かう一行が・・・

城端曳山祭

狭い路地を行きますね。この狭い路地を曳山が通っていきます。

城端曳山祭

善徳寺前にはすでに6基の曳山が集合して、今かと出発を待っていました。

青空の下、善徳寺の大きな山門前に勢ぞろいした曳山は壮観でした。想像していたよりも大きいです。

城端曳山祭は江戸時代に始まり、城端神明宮の春季祭礼として受け継がれてきた祭りです。曳山は門前の6町により曳かれます。

城端曳山祭

各町ごとに御神像を乗せた曳山と前に庵屋台がつきます。

城端曳山祭

曳山が注目される曳山祭ですが、この庵屋台がこれまたスゴイです。

城端曳山祭

まるで小型の家そのものです。窓や戸なども本格的ですが、天井絵もすばらしいです。

城端曳山祭

曳山の車輪も大きいです。

城端曳山祭

曳山や庵屋台の細工物も細かいですね。彫刻で有名な井波に近いこともあるのですね。

これはおしどりです。

城端曳山祭

これは竜?でしょうか。

城端曳山祭

鳳凰です。

城端曳山祭

そして、庵屋台の竜の天井画です。

城端曳山祭

大通りから一本中に入った各町の狭い路地を

城端曳山祭

大きな曳山が「ギー」と大きな軋み音を響かせながら進みます。

城端曳山祭

時々止まりながら、山宿(宵祭で御神体を飾る家)などの前で唄いが披露されます。

この先導する庵屋台の中には三味線や笛の演者が入っているのです。

城端曳山祭

昨日の宵祭で飾り山が披露された山宿のいくつかを見る事ができました。

城端曳山祭

どこも襖絵がすばらしいですね。

城端曳山祭

曳山はほぼ1キロ以内を行ったり来たりするので何度も見ることはできるのですが、その間に獅子舞を見ることができました。

城端曳山祭

目録用の紙があるんですよ。

城端曳山祭

石川県の獅子舞は、剣や槍を持って獅子を退治する形式が多いのですが、ここの獅子舞はにぎやかです。クルクルと棒をまわしたり、実際に回ったりしながら、獅子を誘って各家から退散させる、というような舞でした。

城端曳山祭

帰りに大通りを歩いていると、アニメ「True Tears」のポスターが貼られていました。城端の町並みや曳山祭が舞台となっているようです。

次回は夜の提灯山を見てみたいですね。


伊能忠敬と地域の測量家たち -岡崎三蔵・石黒信由-

  • author: Tadashi
  • 2010/05/02 16:17

ちょうど八重桜が満開できれいでした。

射水市新湊博物館

射水市新湊博物館で開催中の「伊能忠敬と地域の測量家たち -岡崎三蔵・石黒信由-」を見に行ってきました。

伊能忠敬と地域の測量家たち -岡崎三蔵・石黒信由-

伊能忠敬と地域の測量家たち -岡崎三蔵・石黒信由-

郷土の偉人である石黒信由は加賀藩の領地測量を行っており、その測量図は何度か同館で見たことはありましたが、今回は伊能忠敬の実図が展示されるということで、地方では珍しい機会です。

今回は徳島大学付属図書館の協力のもと展示物は西日本のものが多かったですが、伊能忠敬の彩色図を初めて見ました。小倉城や中津城、府中城などは城郭建造物とともに描かれています。また、阿波国の測量家、岡崎三蔵の村絵図や郡図、国絵図は精密で見ごたえありました。

年1回ほど地図の展示がありますので、もう恒例行事のようですね。


3D映画「タイタンの戦い」

  • author: Tadashi
  • 2010/05/01 12:34

ファーストデーの今日は3D映画を初体験してきました。

3D映画「タイタンの戦い」

専用のメガネ(別料金300円とられた)をかけて映画が始まります。ドルビーサラウンドも最初に流れるサンプル映像が一番効果がかかっているが、メガネも最初のサンプル映像がものすごく飛び出る。

本篇は日本ではあまりポピュラーとは言えないが、ヨーロッパでは神話として有名な話である。戦闘シーンなど動きの早いシーンはメガネでは少々辛い。ストーリーは面白かったが、どこが3Dだったのかイマイチよくわからないうちに終わってしまった。

初めての体験はよくわからないうちに終わってしまったが、第二弾は予告で流れた「バイオハザード4」になりそうだ。こちらは予告でもかなり飛び出てきた。元々心臓に悪い映画ではあるが、ファンなので毎回映画館で見てきた。3D映画はまだまだアクション映画が多いので、バリエーションが欲しいところだが、9月が楽しみだ。

ところで、3D映画はなぜか吹き替えが多い。地元ではアリスが1館のみかろうじて字幕を上映しているが、メガネをかけて文字を読むのが目を疲れさせるからだろうか?