とりあえずできたけど
fasttextによってやりたかった、商品の類似品を探す機能は実装が完了しRESTfulAPI化まで実験的にできた。
全部自分で実装したので、そういう意味では著者権は私がもってますが公開していいものかどうか
一寸分からないのでここでは出しません。
負荷をかけないようにかなり気を使って探索してたんですがスクレイピング自体グレーですし、
データをかき集めるだけで大体何日か必要なものでした。
スクレイピングのコードって検索エンジン自体が実装していてかなりやっているのに対して
結構禁止しているところも多かったりするので、難しいのですよね。
某有名エンジンなんかモロにクローリングしてますし、データ探索してインデックス化して検索できるように
しているのでなくてはならない技術ではあるのですが、SEO対策と言いながらクローリングは嫌うっていう
矛盾したことしてるのもなんだかなあと。
データの収集
実はこれが大変な作業で、意味あるデータを取得して必要部分とそうでない部分をより分けないと
ストレージをつぶすだけの存在になりかねないので全部はとりません。
必要なところだけピックアップして保存する感じです。
勿論、一番大変なのはデータの正規化です。
どういうことかというと学習させるデータを綺麗に整えないと期待する結果が得られないということです。
この処理も実際にアルゴリズムに適用しながら期待している結果になるまで只管調整する作業です。
AI系ってこういう地味な作業大半です。
で作ったはいいけど。
どうも大人の事情で使うことがなくなりました(苦笑)
いや今後形を変えてこのノウハウは活かすことになるとは思いますが結構時間使ったわりにはこんなものかと。
少し寂しいですが、そんな現状です。
期待していた結果が帰るようになったのでとても嬉しい限りですが、まあこんなものですよね。
以上