縦のものを横に

世の中以外に、縦のものを横にすると楽になったりする。

 

ちょっと、表現が悪いけど、pythonでのデータ解析のアプローチって

なんでも2次元配列にぶちこむ。これを、高速に回して必要必要なものを

ピックアップする。

このアプローチってすごく正解。 アルゴリズムがシンプルになる。

昔はループでの計算コストとか、考えてたけど今は、高速にリニアスキャン

できるので、有効データ 3%だとしても、回したほうが早い。

 

下手に分岐もりもりの、スパゲティコードよりシンプルに

書いたほうがいいね。

ノウハウが価値

この手のエリアだと、ノウハウが価値である。

このことに、気がつかない人多いですよね。

なんでの、webを見ればわかる。わかる気になるんですよね。

ところが、実際にはweb通りにやっても、動かないことの方が多い。

これは、webの作者が悪いのではなくて、web書く人は、

自分がやったことの、8割くらいは書く。ところが、2割くらいはぬけるんですよね。

意図しての場合も、意図せずにという場合もある。

まずは、暗黙の知については、記さない。 最近多いのはnodeやってる時に、

npm でグローバルインストールしたものを忘れてる場合。

この場合意味不明な(作った人だと意味不明でない)エラーが出まくる。

pythonの場合だと、2.7 の壁があって、ライブラリの組み合わせが合わないこともよくある。

Macだと、xcodeバージョンや、OSのバージョンにやられる。

まあ、こういうのを、乗り越えられるから、食っていけるんだけど。

こういう苦労は、プロのプログラマでないと、わからんかも。

幸いにして、私の場合、こういう価値がわかる人が、クライアントであるので

それほど、苦労はないな。  逆にわからん人は、いつまでも、webを検索して作れる気に

なっていなさい。  彼らへの忠告は、決して作る気にならないこと。です。

 

はあ。 しかし、面白い時代になってきたもんです。

 

 

自然言語ねた

多くなってきたけど、実態を知らん人が多すぎるかも。

実際この分野、泥臭い作業の連続で、

コード変換、分析、例外作成と辞書追加。

コマンドライン叩きまくってなんぼの世界よ。

機械学習。。そもそも、学習ってなによ。モデル構築？

パラメータ最適化？  最適化って、そもそものゴール設定できてんの？？

 

ああ。 ゆで太郎、カレーに唐辛子の輪切り。うまいっっす。

 

word2vec

面白い。有効かどうかはわからん。

カスタマーのリクエストがあったので、軽く

テストプログラム書いてみたけど、tri-gramに軽く打ち負かされてる。

ただ、negative が効きそう。

工夫次第では化けるかも。