大学で習って以来久しぶりに逆行列を手計算。
結構手間取ってしまいました。ごめんなさい。
やったことはRGB->YIQの変換行列の逆行列の計算。YIQ->RGBの変換行列を求めました。
元々の変換行列が

0.299	0.587	0.114
0.5	-0.2307	-0.2693
0.2078	-0.5	0.2922

で、その逆行列

1	1.130955109	0.652177313
1	-0.315146144	-0.680591569
1	-1.343550799	1.793914339

せっかく計算したから残しておきます。再利用するかもしれないし。
# エクセルを使って手計算したんですが、関数があるみたいですね。
# 思いっきり遊んでました(笑)