• Googleが以前「Bard」として知られていたChatGPTを「Gemini」として改称し、モデルをアップグレードした。
• 新しい「Gemini Ultra」がリリースされたが、使用してみた感想は期待外れだった。
• Googleの強みである地理情報の精度は高く、東京タワーの写真から撮影位置を正確に特定できた。
• しかし、生成AIとしての言語モデルの性能には満足できず、期待値とのずれを感じた。
• 生成AIは情報を整理する強みがあるが、Geminiはその点で弱いと感じた。
• Gemini AdvanceとGemini Ultraを含む新モデルは、要約や情報の整理において精度が低いと感じた。
• 一方で、情報をゼロから生成する能力にはある程度の強さを感じたが、それでも期待には応えられなかった。
• Geminiは人間に近づきすぎており、自由に使える感じが以前のモデルとは異なると感じた。
• 現状は期待していたものとは異なり、残念な感じがある。
• OpenAIも急いでGPT-4.5やGPT-5をリリースする必要はないと感じており、今後のアップグレードに期待。
• 2ヶ月の無料期間があるため、その間にGeminiの最適な使用方法を探求したいと考えている。

Googleの新モデル「Gemini」の体験レビュー

Googleが出してたChatGPTが名前をBardからGeminiに変えて、モデルもレベルアップしましたみたいなのが出てましたけど、使ってみたんですよ。

...あんまりでしたね。

結構期待をしてて、それこそリリースの直前に、そろそろリリース出るんじゃないかって言われてるのに出ないと、なんでかって言うとこういうのは後から出した方がよく使われるというのはやっぱりってこともないんですけど、このしばらくの傾向であるから、後に出すっていうので。

ChatGPTの進化と期待

あとっていうのはChatGPTが次に出すと言われてるGPT4.5もしくはGPT5と、Geminiの今まで出てたものがGeminiプロですね。Nano Gemini Proでそこまで出てたんですかね。Gemini Ultraが今回出たということで、だからそのChatGPTが出て、1年以上経って、GPT3.5から4に上がって、4から見ると1年経ってないんですけど、そこからUltraが1年越しに来て、そこからのそれにまたGPT4.5、GPT5がまた来るみたいな、この戦いが白熱することに期待を抱いてたんですけど。

Gemini Ultraの実際の使用感

いざGemini Ultraがリリースされて、これが搭載されたGemini Advance、Gemini AdvanceかAdvance Advanceが出て、ついに来たと思って楽しみにしたんです。すぐ使ってみたんですけど、あまりの微妙さにちょっと残念でしたね。唯一良かったのが、場所を特定するという能力が高い。やっぱりGoogleマップとかのデータをいっぱい持ってるから、その分の地理的な情報はすごいみたいなのがあったんですけど。

地理情報の精度とプライバシーへの懸念

それこそ先日、あれどこだったかな、東京タワーが見える、東京タワーの近くじゃないところから撮った東京タワーみたいな写真があったので、それをアップしたら、その写真を撮った位置の特定をしてくれて、結構精度高く距離感も、歩いて3,4分くらいの距離の範囲内で特定していたみたいなのがあったりとかして。これはすげえなみたいなのを思ったんですけど、さすがにそれで精度高くてちょっと怖いじゃないですか。僕の持ってる写真が少しでも漏れたら、僕の地理情報って本当に一瞬で分かるんだなみたいなことがあったりとか。

言語モデルとしての期待と現実

とはいえメインはやっぱり、言語モデルというか言葉なわけですよ。今回ちょっと残念だったっていうのが、残念というか残念でもないんですけど、精度というか性能があんまり高くないなと感じた最大の理由っていうのが、生成AIに対して何を求めているかみたいなところが、そもそも僕の期待値とずれているっていうことなんですけど。僕のこの期待値っていうのは、そもそも生成AIがどこが強いかみたいなところの話なはずだと思うんですよ。

生成AIの強みと課題

生成AIっていうのはハルシュネーションってよく言われて、嘘をつくっていうのはとにかく言われるわけですけど、嘘をつくっていうのはあくまで情報に対してなわけですよね。今目の前に情報があるものを整理する上で嘘をつくみたいなことはなくて、自分が知らない情報も知ってるかのように返してくれるっていうところが、一番の問題なのでそこさえクリアしたときの、言語モデルっていうか言葉を使えるAIとしての強さみたいなものが、とにかく能力値として高いわけですよ。

生成AIの価値とは

なので情報みたいなものを生成AIに持たせないとか、価値としてそこに生成AIの価値としないという形を取ることが、一番重要であるというのが大前提なはずなんですよね。なので最近パープレックシティとか検索してきた情報を組み合わせてその内容を出してくれるという形になるわけですよ。というあくまで情報にあたる部分は外部から持ってきて、言葉としての整理をしてくれるもしくはユーザーに対してチューニングしてくれるというそこが価値なはずなのに、逆に言うとそこが価値でどこが価値じゃないかというと、ゼロから何かを作るっていうところにあんまり価値がないわけですね。

Gemini Ultraの要約と検索能力

例えば何でもいいですけどこれこれについての記事を書いてくれ、みたいなとか情報をまとめてくれみたいな、ゼロから何かをするというこの部分に少なくとも現状弱いし、価値だと思わないぐらいが現状バランスとしていいんじゃないかと結論づいていたのに、今回ジェミニアドバンスとか出て、その中にジェミニウルトラが入っていますという、このモデルに対しての要約とかまとめるとか、そういうもともと大量にあるものから何かをする、情報がある状態から何かをするということの精度の低さ、みたいなのがそれこそ要約してくださいとかも、そういう要約じゃないんだよなとかいうのがあって、むしろ逆にゼロから何かを聞いて検索の結果のように上手く情報を出してくれるゼロから何かを出してくれる、みたいなことのほうに上手さを感じるんですよねこのジェミニウルトラ。

検索結果としてのGeminiの位置付け

でもなのになったらパープレクシティみたいに、ちゃんと検索結果として出せばいいじゃないですか。検索結果で検索結果を組み合わせてハルシネーションを起こさないように出す、それはそれでわかるんですよ位置付けとして。今パープレクシティがあるんで同じような位置付けで、今Google検索をパープレクシティが食うのか食わないのか、みたいなことになってますからそういう方向で行くんだな、そうしたらそれはそれでわかるんですけど、その方向の上でハルシネーションをがっつり起こすっていうことは、それもできてないじゃんみたいな感じになっていて。

生成AIの分業制とその弱点

というちょっとまとめるとなので、生成AIの得意な生成AIっていうかこういうチャットGPTとかが得意なものっていうのは、外から持ってきた情報を踏まえて整理してもらったりとか、そこから何かをしてもらうっていうその分業制だったはずなのに、分業制外から何か持ってくるというのがまず弱いです。その上でその逆側の外から何か持ってくるとかも内側でやってくれるので、ゼロから何かしてくれるっていうパープレクシティみたいな強さがあるのかっていうとそれもありません。じゃあ何が強いんですかみたいな。

期待と現実のギャップ

めちゃくちゃ今文句言ってますけど、いや期待してたんですよ。それで一個思うのは今までチャットGPTで慣らされてきて、自分がそこに思考が1年かけてどんどんすり寄っていって、さらにパープレクシティみたいなものの使い方にも自分が慣れてきて、そういう中で第3のものが新しく出てきたのに、僕がそのマインドを過去の2つのものと合わせようとしてるから合わないのであって、そもそものそのマインドが違うんだよっていう、その可能性はあるなと思うので、それでまだちょっと頑張って使おうと思って、いろいろいつもと違う使い方みたいなことをしてるんですよね。

Geminiの人間に寄りすぎた感覚

という感じがあります。何ていうか人間にうまくすり寄りすぎてるんですよね、Geminiの方が。逆にチャットGPTとかもうちょっとプレーンなっていうか、何ていうかエディターを使ってプログラムを書いてるような、ブラウザ上で何かワードプレスみたいなのをいじってるというよりは、プログラムを触っているような感じに近いような、自由に使える感じであり、自分が思ったように持っていけるような大きな方向性みたいなのがあるのが、これまでの分野合いだったのに対して、Geminiの方がそういう感じというよりは、なんかよしなにやろうとしすぎて思ってるところとすり合わないみたいな感じがあるって感じです。

総括と今後の期待

だからフラットに喋るとすると、ハルシュネスとかも一旦無視すると、それはそれでいい会話になる可能性はあるなとは思ったりもするんですけど、なんかトータルとして、ちょっと思ってたのと違うな、残念な感じがしてるなっていうのが現状ですかね。だからここで期待しちゃいますね。こんな感じで出てきたので、OpenAIの方もそんな急いでGPT 4.5とか5とかを出さないといけないとかっていう感じじゃないなっていうので、もしかしたらそんなに早く出ないかもしれないんですけど、GPT 4.5、4.5なんじゃないかと思いますけど、これが楽しみですね。しばらくはもうちょっと、2ヶ月無料期間があるみたいなので、この2ヶ月の間でGeminiが思っている使い方、Geminiにとって一番いい使い方みたいなのが何かっていうのを、もう少し探っていきたいなとは思っています。