真面目な話は・・・
真面目な話はこのサイトではあまり有益ではないのかもしれませんが
仕事で少し調べていたので少しだけ触りを。
事前学習モデルについて
大体でてくるのは東北大学さんの事前学習モデルが参考例としてでてくるのですが
私は少しはまりました。
encode_plusという関数というかメソッドというか使いたかったんですけど
どうも例外エラーが発生する。
調べていくと、「PreTrainedTokenizerFast」という高速モデル(?)をサポートしていない疑惑がでてきて
print(f"tokenizer type: {type(tokenizer)}")
print(f"Is it a Fast tokenizer? {isinstance(tokenizer, PreTrainedTokenizerFast)}")
というので確認してみると確かにサポートしてないようだ。
最新化してもダメ。
サポートしてないのだからどうしようもない。
色々格闘してみたのですが、諦めも肝心で変更してみました。
で、色々調べていてたどり着いたのはなんと「りんな」です(笑)
うおー懐かしいって思いながらみてみました。
確かに使えて＼(^_^)／
まだ頑張ってるのかな・・・2021年で更新は止まっているようだけど。
マイクロソフトから分離独立して頑張ってるのかなあー、頑張ってほしい。
りんなLLMを期待したい!以上。