shimojik
しもじま
サマリー
- ジェミニ プロの1.5バージョンがリリースされ、扱えるトークン数が1000万トークンに増加した。
- 総文字数は1500万文字で、一般的な辞書が400万文字程度であることから、1000万トークンは日本語で約700万～800万文字に相当する。
- Gemini 1.5 Proについては、検索精度が1000万トークンで99.2%、100万トークンで99.7%と報告されている。
- この進展により、テキストや動画の情報をより精度高く取り扱えるようになる可能性がある。
- テキストのマークダウン化や、画像をテキストで説明するなどの整理が重要になってくる。
- まだ一部のユーザーのみが使用可能で、広く利用できるようになるには時間がかかる見込みである。
記事
ジェミニ プロ 1.5の新機能
昨日リリースが出てたジェミニ プロの1.5バージョンが出ていて、その後にオープン映画ソラっていう動画生成の出してたのでそこでそっちが盛り上がっていたので、少し盛り上がりに欠けるところはあったんですが、このジェミニ プロっていうのが1.0だったのにここで大きく変わったのがこれがすごくて、扱えるトークン数が1000万トークンもできるようになりました。これ僕は100万トークンだと思ってたんですけど、1000万トークンだと1000万トークンっていうのがこれはツイッターで見た情報なので正しいかちょっと調べてないですが、今調べようかな。
トークン数の意味とその影響
ありました構前が総文字数が1500万文字で、普通の一般的な辞書が400万文字程度ということなので、今回の1000万トークンっていうのが日本語だとこのトークンの計算がちょっと難しいというかトークナイザーっていうので計算しないとわからないんですけど、それで計算すると大体1000万字使えるみたいな1000万字っていうのは日本語で言うと800万字ぐらいか、少なくとも700万字ぐらいいけるかなっていうそれぐらい文字の組み合わせによるんですけどという感じかなということで、高次元と比べれば半分ぐらい普通の辞書だと丸一冊入りますというぐらいの文字数までができるようになりましたというのが出てたんですよ。
検索精度とその可能性
いけるようになりましたっていうのはそもそもどういうことかということなんですけど、それこそチャットGPTでもGPT説を作るときにGPT図にナレッジとしてファイルをアップしたとしてもファイルの文字数結構いってもうまく返ってこなかったりするので、そもそもいけますよって言われたからそれが使えますよっていうこととイコールなのかというとそうじゃないっていうのがあるんですけど、今回出てたこのGemini 1.5 Proに関してはこれはGoogleがプレスで出してるのでこれから使えるようになっていって検証をより正確にしていくっていう話だと思うんですが、1000万トークンにおいての検索精度が99.2%、100万トークンだと99.7%ということのようですね。ほんまかいなっていう話ですけど、で53万トークンまでは100%の再検度っていうことなので、検索を正確にとってくるとはちょっと違うんですけど、違うと思うんですけど、ちょっと僕は正確に理解しないのでただこれがかなり精度としてこれだけ高いと1000万トークンで99.2%だとして99.2%の間隔でいうのは、普通にPDF1ファイルをGPTsに入れて検索させるとしても全然そんな間隔がないので、これをAPI経由だとしても別にあんま変わらない感じがあるんですよね。
開発の方向性とリソース配分
アシスタントを作るっていうのがGPTsみたいなやつがAPIのほうであるんですけど、それもあんまり変わらない感じがするのでとなるとこれがある程度近いここで公表されているっていうかGoogle側が主張してるパーセントにある程度近いのであればかなりのゲームチェンジになるんじゃないかという感じはしますね。それこそ今ジェミニ使ってるとジェミニが出力する文章というのはGPTと比べると一段劣る感が現状あるという感じがするんですけど、ただこれ結局生成させる文字を作るところはGPTであるとしてもどの情報を取ってくるかみたいなところをジェミニのほうでやるとか、あとは今回はジェミニプロの1.5なのでプロの1.5で検索したもの検索してきた情報をウルトラのほうに投げるみたいなことができるようになればとなるとかなり使い勝手としては良くなるんじゃないかなと、あくまでこれやっぱり使ってみてそれくらいの精度が出るのか、そもそも日本語だと英語で違うと思うので日本語だとどれくらいこれが下がるのかみたいなところの実際のところがどうなのかということが気にはなるんですけど、ただ大きな進展としてこの方向に行ったということは一つ事実だと仮に認めるとすれば、実装するときに検索という部分の開発それこそベクトルデータベースとかを組み込むそのためにテキストをチューニングするみたいな、これにどれくらいリソースを注いだらいいんだろうっていうのが改めてわからなくなる感じがします。
テキストの整理とマークダウン化
こうなるとやっぱりその部分とかでさえそこはまだ結構残りそうな感じはあったかなと思うんですけど、そういうところでさえ実装しないというかそこにもう手を加えない、ある意味ここはお任せするという形それこそこのジェミニプロ1.5とかが出てきたらさらに精度が上がるっていうことのその成長速度のほうがベクトルデータベースでチューニングするというのと比べて圧倒的に早い可能性がある、しかも今回言ってるジェミニプロ1.5に関してはテキストだけじゃなくて動画もいけるとかって話をしてるのでそうなってくるとPDFから情報を取ってきて情報整理してベクトルデータベース入れて検索できるようにしてとかという話ではなくなる、コストの問題があるのでこれも下がってくると思うんでみたいなことを考えてこれは本当にどこにリソースを割きながら開発をしていくかっていうことがすごいやっぱ重要だなと思いますね。そういう中でまだここは結構やるべきところとして大きいんじゃないかっていうのはテキストのマークダウン化みたいなところ、あとは画像をテキストで説明するみたいなものをちゃんとマークダウンの中にうまく入れるとかっていうそういうテキスト情報として参照しやすいものになっているということもっといったらJSON化しておくとかも含めてそういう確実な検索ができるようなものみたいなものの整理とかを含めたテキストの整理ですかね。逆に言えばこれぐらいしか力を入れられるところがないという見方もできるんじゃないかと思うぐらい今回のこの発表がすごい大きな開発を今進めている上での方向性をちゃんと考え直さないといけないなっていうのを改めて思ったという発表でした。
ということでまだ使えないと思うのでかなり一部のユーザーしか使えないみたいな感じでちょっとずつ拡出広げていくということみたいなのでまだ使えなくてWishlistに登録するっていうのだけやってみましたけど、早くこれは体験してみたいですね。
shimojik
しもじま
サマリー
- ジェミニ プロの1.5バージョンではトークン数が1000万トークンまで扱えるようになった
- 1000万トークンは日本語で約700万字から800万字程度に相当する
- Gemini 1.5 Proの検索精度は1000万トークンで99.2%、100万トークンで99.7%
- 53万トークンまでは検索精度が100%である
- Gemini 1.5 Proはテキストだけでなく動画も扱えるようになった
- テキストのマークダウン化や画像をテキストで説明する機能など、テキスト情報を参照しやすくする工夫が必要
- この技術の進展は開発の方向性を考え直す必要があるほどの影響を持つ
記事
ジェミニプロ1.5の新機能
昨日リリースが出てたジェミニ プロの1.5バージョンが出ていて、その後にオープン映画ソラっていう動画生成の出してたのでそこでそっちが盛り上がっていたので、少し盛り上がりに欠けるところはあったんですが、このジェミニ プロっていうのが1.0だったのにここで大きく変わったのがこれがすごくて、扱えるトークン数が1000万トークンもできるようになりました。これ僕は100万トークンだと思ってたんですけど、1000万トークンだと1000万トークンっていうのがこれはツイッターで見た情報なので正しいかちょっと調べてないですが、今調べようかな。
ありました構前が総文字数が1500万文字で、普通の一般的な辞書が400万文字程度ということなので、今回の1000万トークンっていうのが日本語だとこのトークンの計算がちょっと難しいというかトークナイザーっていうので計算しないとわからないんですけど、それで計算すると大体1000万字使えるみたいな1000万字っていうのは日本語で言うと800万字ぐらいか、少なくとも700万字ぐらいいけるかなっていうそれぐらい文字の組み合わせによるんですけどという感じかなということで、高次元と比べれば半分ぐらい普通の辞書だと丸一冊入りますというぐらいの文字数までができるようになりましたというのが出てたんですよ。
いけるようになりましたっていうのはそもそもどういうことかということなんですけど、それこそチャットGPTでもGPT説を作るときにGPT図にナレッジとしてファイルをアップしたとしてもファイルの文字数結構いってもうまく返ってこなかったりするので、そもそもいけますよって言われたからそれが使えますよっていうこととイコールなのかというとそうじゃないっていうのがあるんですけど、今回出てたこのGemini 1.5 Proに関してはこれはGoogleがプレスで出してるのでこれから使えるようになっていって検証をより正確にしていくっていう話だと思うんですが、1000万トークンにおいての検索精度が99.2%、100万トークンだと99.7%ということのようですね。ほんまかいなっていう話ですけど、で53万トークンまでは100%の再検度っていうことなので、検索を正確にとってくるとはちょっと違うんですけど、違うと思うんですけど、ちょっと僕は正確に理解しないので、ただこれがかなり精度としてこれだけ高いと1000万トークンで99.2%だとして99.2%の間隔でいうのは、普通にPDF1ファイルをGPTsに入れて検索させるとしても全然そんな間隔がないので、これをAPI経由だとしても別にあんま変わらない感じがあるんですよね。
ジェミニプロ1.5の可能性
アシスタントを作るっていうのがGPTsみたいなやつがAPIのほうであるんですけど、それもあんまり変わらない感じがするので、となるとこれがある程度近いここで公表されているっていうかGoogle側が主張してるパーセントにある程度近いのであればかなりのゲームチェンジになるんじゃないかという感じはしますね。それこそ今ジェミニ使ってるとジェミニが出力する文章というのはGPTと比べると一段劣る感が現状あるという感じがするんですけど、ただこれ結局生成させる文字を作るところはGPTであるとしてもどの情報を取ってくるかみたいなところをジェミニのほうでやるとか、あとは今回はジェミニプロの1.5なのでプロの1.5で検索したもの検索してきた情報をウルトラのほうに投げるみたいなことができるようになればとなるとかなり使い勝手としては良くなるんじゃないかなと、あくまでこれやっぱり使ってみてそれくらいの精度が出るのか、そもそも日本語だと英語で違うと思うので日本語だとどれくらいこれが下がるのかみたいなところの実際のところがどうなのかということが気にはなるんですけど、ただ大きな進展としてこの方向に行ったということは一つ事実だと仮に認めるとすれば、実装するときに検索という部分の開発それこそベクトルデータベースとかを組み込むそのためにテキストをチューニングするみたいな、これにどれくらいリソースを注いだらいいんだろうっていうのが改めてわからなくなる感じがします。
こうなるとやっぱりその部分とかでさえそこはまだ結構残りそうな感じはあったかなと思うんですけど、そういうところでさえ実装しないというかそこにもう手を加えない、ある意味ここはお任せするという形それこそこのジェミニプロ1.5とかが出てきたらさらに精度が上がるっていうことのその成長速度のほうがベクトルデータベースでチューニングするというのと比べて圧倒的に早い可能性がある、しかも今回言ってるジェミニプロ1.5に関してはテキストだけじゃなくて動画もいけるとかって話をしてるので、そうなってくるとPDFから情報を取ってきて情報整理してベクトルデータベース入れて検索できるようにしてとかという話ではなくなる、コストの問題があるのでこれも下がってくると思うんでみたいなことを考えて、これは本当にどこにリソースを割きながら開発をしていくかっていうことがすごいやっぱ重要だなと思いますね。
そういう中でまだここは結構やるべきところとして大きいんじゃないかっていうのはテキストのマークダウン化みたいなところ、あとは画像をテキストで説明するみたいなものをちゃんとマークダウンの中にうまく入れるとかっていうそういうテキスト情報として参照しやすいものになっているということ、もっといったらJSON化しておくとかも含めてそういう確実な検索ができるようなものみたいなものの整理とかを含めたテキストの整理ですかね。逆に言えばこれぐらいしか力を入れられるところがないという見方もできるんじゃないかと思うぐらい今回のこの発表がすごい大きな開発を今進めている上での方向性をちゃんと考え直さないといけないなっていうのを改めて思ったという発表でした。
ということでまだ使えないと思うのでかなり一部のユーザーしか使えないみたいな感じでちょっとずつ拡出広げていくということみたいなのでまだ使えなくてWishlistに登録するっていうのだけやってみましたけど、早くこれは体験してみたいですね。
shimojik
しもじま
サマリー
- ジェミニープロのバージョン1.5がリリースされ、トークン数が1000万トークンまで扱えるようになった。
- 1000万トークンは約700万字から800万字程度の日本語文字数に相当し、一般的な辞書一冊分の文字数に匹敵する。
- トークン数の増加により、検索精度が1000万トークンで99.2%、100万トークンで99.7%となり、53万トークンまでは100%の再現度がある。
- Gemini Pro 1.5はテキストだけでなく動画の扱いも可能で、検索や情報整理の精度が向上している。
- この技術の進歩は開発方向性を再考させるほどの影響があり、テキストのマークダウン化やJSON化など、より効率的な検索が可能なテキスト整理が重要になる。
- 現時点では一部のユーザーのみが体験できる状態であり、広く利用可能になることが期待されている。
記事
ジェミニープロのアップデートとその影響
昨日リリースが出てたジェミニープロの1.5、バージョン1.5が出ていて、その後にオープン映画ソラっていう動画生成のを出してたので、そこでそっちが盛り上がっていたので、少し盛り上がりにかけるところはあったんですが、このジェミニープロっていうのが1.0だったのに1.5になりましたと。ここで大きく変わったのが、これがすごくて扱えるトークン数が1000万トークンもできるようになりましたと。これ僕100万トークンだと思ってたんですけど、1000万トークンだと。1000万トークンっていうのが、これはツイッターで見た情報なので正しいか調べてないんですが、今調べようかな。公示円が総文字数が1500万文字で、普通の一般的な辞書が400万文字程度ということなので、今回の1000万トークンっていうのが、日本語だとこのトークンの計算がちょっと難しいというか、トークナイザーっていうので計算しないとわからないんですけど、それで計算するとだいたい1000万字使えるみたいな、1000万字っていうのは日本語で言うと800万字ぐらいか、少なくとも700万字ぐらいいけるかなっていう、文字の組み合わせによるんですけど、という感じかなということで、公示円と比べれば半分ぐらい、普通の辞書だと丸一冊入りますというぐらいの文字数までが生きるようになりましたというのがデジタンですよ。
Gemini Pro 1.5の潜在的な影響
生きるようになりましたっていうのは、そもそもどういうことかということなんですけど、それこそチャットGPTでもGPT説を作るときに、そのGPTsにナレッジとしてファイルをアップしたとしても、ファイルの文字数結構いってもうまく返ってこなかったりするので、そもそもその、いけますよって言われたから、それが使えますよっていうこととイコールなのかっていうと、そうじゃないっていうのがあるんですけど、今回出てたこのGemini 1.5 Proに関しては、これはGoogleがプレスで出してるので、これから使えるようになっていって検証をより正確にしていくっていう話だと思うんですが、1000万トークンにおいての検索精度が99.2%、100万トークンだと99.7%ということのようですね。細かいなって話ですけど、53万トークンまでは100%の再現度っていうことなので、検索を正確にとってくるとはちょっと違うんですけど、違うんですけど、違うと思うんですけど、ちょっと僕は正確に理解しないので。ただ、これがかなり精度としてこれだけ高いと。1000万トークンで99.2%だとして、99.2%の感覚でいうのは、普通にPDF1ファイルをGPT図に入れて検索させるとしても全然そんな感覚がないので、これをAPI経由だとしても別にあんまり変わらない感じがあるんですよね。
開発の新たな方向性
アシスタントを作るっていうのがGPT図みたいなやつがAPIのほうであるんですけど、それもあんまり変わらない感じがするので、となるとこれがある程度近い、ここで公表されているっていうか、Google側が主張しているパーセントにある程度近いのであれば、かなりのゲームチェンジになるんじゃないかという感じはしますね。今、ジェミニ使っているとジェミニが出力する文章というのはGPTと比べると一段劣る感が現状あるという感じがするんですけど、ただこれ、結局その生成させる文字を作るところはGPTでやるとしても、どの情報を取ってくるかみたいなところをジェミニのほうでやるとか、また今回はプロの1.5なので、プロの1.5で検索してきた情報をウルトラのほうに投げるみたいなことができるようになれば、となるとかなり使い勝手としては良くなるんじゃないかなと。あくまでこれ使ってみてそれくらいの精度が出るのか。そもそも日本語だと英語で違うと思うので、日本語だとどれくらいこれが下がるのかみたいなところの実際のところがどうなのかということが気にはなるんですけど、ただ大きな進展としてこの方向に行ったということは一つ事実だと仮に認めるとすれば、我々は実装するときに検索という部分の開発、それこそベクトルデータベースとかを組み込む、そのためにテキストをチューニングするみたいな、これにどれくらいリソースを注いだらいいんだろうというのが改めてわからなくなる感じがします。こうなるとやっぱりその部分とかでさえ、そこはまだ結構残りそうな感じはあったかなと思うんですけど、そういうところでさえ実装しないというか、そこに手を加えない。ある意味ちょっとここはお任せするという形、それこそこのGemini Pro 1.5とかが出てきたらさらに精度が上がるということのその成長速度の方がベクトルデータベースでチューニングするというのと比べて圧倒的に早い、いい可能性がある。しかもこの今回言っているGemini Pro 1.5に関してはテキストだけじゃなくて動画もいけるとかって話をしているので、そうなってくるとPDFから情報を取ってきて、情報整理してベクトルデータベースを入れて検索できるようにしてとか、という話ではなくなる。コストの問題があるので、これも下がってくると思うんで、みたいなことを考えて、これは本当にどこにリソースを割きながら開発をしていくかということが重要だなと思いますね。
テキスト情報の整理と将来の展望
そういう中で、まだここは結構やるべきところとして大きいんじゃないかっていうのは、テキストのマークダウン化みたいなところ、あとは画像をテキストで説明するみたいなものをちゃんとマークダウンの中にうまく入れるとかっていう、そういうテキスト情報として参照しやすいものになっているということ。もっと言ったら、JSON化しておくとかも含めて、そういう確実な検索ができるようなものみたいなものの整理とかを含めたテキストの整理ですかね。逆に言えば、これぐらいしか力を入れられるところがないという見方もできるんじゃないかと思うぐらい、今回のこの発表がすごい大きな開発を今進めている上での方向性をちゃんと考え直さないといけないなっていうのを改めて思ったという発表でした。ということで、まだ使えないと思うので、かなり一部のユーザーしか使えないみたいな感じで、ちょっとずつ拡出、広げていくということみたいなので、まだ使えなくて、Wishlistに登録するっていうのだけやってみましたけど、早くこれは体験してみたいですね。