ちょっと間が空いてしまったが、この前の続き。 今回はPOIを使って、正方形を描いてみたい。 テキストボックスを描くのは簡単だが、問題は座標だ。 POIの座標指定 POIでテキストボックスを描くには、まず Sheet#createDrawingPatriarch() により、XSSFDrawin…
最近こればっかりだが…、現在embulk-output-oracleの高速化に励んでいる。 どうやったら大量データをOracleに高速に突っ込めるか？というのをいろいろ試してみた。 SQL*Loader Oracleが提供する、大量データロード用のツール。 その目的に作られているだけあ…
Cのポインタを保持したい 現在embulk-output-oracleを高速化するために、JNI(Java Native Interface)を使ってプログラミングしている。 その時ちょっと悩んだのが、Cのポインタをどうやって保持するか、だ。 フローとしては、 Java C 初期化処理 → 必要なメ…
embulk-output-oracleが一応公開されたが、とりあえず動く、というレベルのもので、まだ完成度は低い。 とは言え、現状の仕様についてまとめてみる。 Oracleのバージョン 12c(Windows)で検証したが、たぶん他のでも動くと思う。 driver_path ymlファイル中の…
Embulkの並列処理 Embulkは、処理を複数のタスクに分割して並列に実行する仕組みを備えている。 しかし、標準のファイル入力プラグインでは、単純に1つのファイルを入力すると1タスクにしかならないようだ（こちら参照）。 ソースを読んでみると、複数ファイ…
EmbulkではJavaやRubyでプラグインを開発することができる。 自分は今のところJavaで開発しているので、それについて書いてみたい。 どうやってプラグインをテストする？ EmbulkのプラグインはRubyのgemとして配布される。 そして、embulk gem install ～ で…
Javaでデータベースに関するツールを作るときに便利なのがjava.sql.DatabaseMetaData。 これを使うとテーブルの情報とかカラムの情報などいろいろ取れる。 しかし、面倒なのは、DBMSの型がJDBCのどの型にマッピングされているかだ（JDBCの型はjava.sql.Types…
Embulkを使えば、いろいろなデータを簡単にDBに突っ込めるはず。 でも、パフォーマンスが気になるよね。 という訳で、Embulkのパフォーマンスを測ってみることにした。 環境の準備 自分のマシンでパフォーマンステストをすると他のことができなくなってしま…
JDBCには便利な機能があって、テーブルや列のメタ情報を取得できる（java.sql.DatabaseMetaDataのgetTablesとかgetColumnsとか）。 で、これらのメソッドの引数にはカタログとかスキーマを渡す必要がある。 これって何なの？というのを調べてみたい。 ちなみ…
業務システムでは「Excelファイルをアップロードしてデータを入力したい」「検索結果をExcelファイルでダウンロードしたい」というような要求が日常茶飯事だ。 そんなときに役に立つのが、ApacheのPOI。 POIではセルの値を読み書きするだけでなく、図形を描…
MySQLはWebサービスでは広く使われていると思うけど、業務システムではOracleやSQL Serverも多く使われている。 しかし、今のところOracleやSQL Server用のプラグインは無いようだ。 自作するとしたらきっとMySQL用のプラグインが参考になるはずだ。 という…
embulk.batで起動する 前回は、Embulkを java -jar embulk.jar <command> ... で起動していたが、実はこれは正式な起動方法ではない。 embulk.jarをembulk.batにリネームし、 embulk <command> ... で、すっきりと起動できるのだ！ 但し、0.4.8まではembulk.bat <command> ...でないと起</command></command></command>…
Embulkでexampleとembulk-plugin-input-randomまで試したので、いよいよMySQLへの出力を試してみる。 ちなみに、実行環境はWindows。 embulk-output-mysqlプラグインのインストール MySQLへの出力は、embulk-output-mysqlプラグインが利用できる。 java -jar…
業務システムでは必須とも言うべきBigDecimalクラス。 今回は、Integer.parseInt(String)、Double.parseDouble(String)に続いてnew BidDecimal(String)を調べてみた。 整数だけでなく、当然小数もparseできる。 new BigDecimal(".1") new BigDecimal("1. ") …
最近リリースされた、オープンソースのバルクローダEmbulk。 業務システムでもテキストファイルをRDBにロードすることはよくあるので、使えるかもしれないと思い、さわりはじめた。 Quick Startを試した後、くまメモを参考にさせてもらい動かしてみる。成功…
前回Integer.parseIntについて調べたので、今回はDouble.parseDoubleについて調べてみる。 JavaのdoubleというかIEEE754の浮動小数点数には、特殊な値がいくつかある。 非数（Double.NaN）と無限大（Double.POSITIVE_INFINITYとDouble.NEGATIVE_INFINITY）だ…
Javaで文字列を整数に変換するには、Integer.parseIntを使う。 だが、こいつは半角数字だけでなく全角数字も通すので、 Integer.parseInt("１２３４") なんてのも正常になる。 まあ親切なんだけど、業務システムだと「半角数字のみOK」な仕様なことが多いの…
1900年は閏年ではない。 しかし、Excelのバグで1900/2/29という日付を設定できてしまう。 これをJavaからPOIで取得するとどうなるか？を試してみた。 ほんとうはExcelファイルを作って、POIで読み込んで…、とするべきなんだろうけど、面倒なのでPOIのDataUti…
開発用のツールとかを作っていると、ソースの差分をとる機能が欲しくなるときがある。 しかし、外部プロセスでdiffを呼ぶのはちょっと重たいし、そもそもWindowsだとdiffは標準で入ってないし、かと言ってfcは微妙だし…。 Javaでdiffができるライブラリとか…
BigDecimal result = n1.add(n2); みたいなとき、n1あるいはn2がnullだとNullPointerExceptionが投げられる。 でも、そうではなくてresultもnullになってほしい、という場合がある。 こういうとき、どうするか？ nullチェックを直接入れるとコードが見にくく…
会社でインターネットに接続するにはプロキシを経由しなくてはいけない（だいたいどこのSIerもそうかな？）。 でも開発ツールにはプロキシ設定ができなかったり不便だったりするのがあって結構困る。 以前Mavenを使おうとした時も苦労したが、最近改めてチャ…
