Google-IO-2024-cover-image

【Google I/O 2024 重點整理懶人包】Gemini AI 強大的超級助理

分享這篇文章

今年的Google IO 2024大會，延續了去年強勢的大量AI應用整合服務，繼續增強在Gemini AI技術上更加創新與貼近生活，除了一般常見的圖片和文字之外，現在直接透過App與手機鏡頭來對準任何目標，並且口頭詢問問題就能立即得到解答，越來越生活化了。

這篇我只會列出跟我們日常生活比較息息相關的部分，其他較技術方面的項目就直接跳過，有興趣的話可以前往觀看底下的開發者大會完整影片。


Gemini

今年Google IO最大的重點在於Gemini這套AI人工智慧模型，幾乎所有的發表項目都是基於它，未來Google AI將會成為每個人最貼心的超級助理。

Gemini


AI Overview

未來結合AI Overview的Google搜尋引擎，搜尋關鍵字的結果將會呈現如下列圖片的樣貌，從發問問題時就可以一次加入更多的條件，讓AI去幫你分析做出更精準的解答，因此搜尋結果會更傾向於「直接給出最佳答案」的方式。

AI Overview
AI Overview搜尋結果
AI Overview 提供的答案
AI Overview 結果


Google Photo 相簿 + Gemini AI

在Google Photo相簿中加入了Gemini AI功能，因此可以直接詢問AI關於照片的任何問題(Ask Photos)，例如問某人是什麼時候開始學會游泳的，這時候AI會去查看你的相簿，分析照片中該人學習游泳的照片及時間點。

Google Photo 相簿 + Gemini AI


Gmail 電子信箱 + Gemini AI

Google Gmail電子信箱結合Gemini AI功能，可以請AI協助像是統整內容、閱讀未讀信件、開始協助撰寫信件等等，任何需要幫忙的地方都可以直接輸入指令請求。

Gmail 電子信箱 + Gemini AI
Gmail 電子信箱 + Gemini AI
Gmail 電子信箱 + Gemini AI


整合更多的服務串聯，例如買了一雙鞋子但尺寸不合，這時候可以直接詢問如何協助換貨，AI將會自動幫你尋找最佳的換貨地點、鞋子尺寸、安排快遞收件等等完整流程。

買了一雙鞋子但尺寸不合，這時候可以直接詢問如何協助換貨，AI將會自動幫你尋找最佳的換貨地點、鞋子尺寸、安排快遞收件等等完整流程。


詢問AI如果要搬家到某個地方需要注意什麼，Google會提供各方面關於搬家到該地方的注意事項。

詢問AI如果要搬家到某個地方需要注意什麼，Google會提供各方面關於搬家到該地方的注意事項。


Gemini App

Gemini App除了文字和圖片可以使用AI協助之外，鏡頭中的即時畫面也都可以結合AI來協助。

例如打開Gemini App，一邊將鏡頭對準你想問問題的目標物(喇叭)，口頭直接詢問AI哪個部位會發出聲音，AI會立即透過鏡頭偵測出來並馬上給你答案。

一邊將鏡頭對準你有疑問的目標物(喇叭)來詢問哪個部位會發出聲音，AI會立即偵測出來並馬上給你答案


接著繼續在畫面上畫個箭頭指向發聲體，並口頭詢問AI這個喇叭的部位叫什麼名稱。

繼續在畫面上畫個箭頭指向發聲體，並口頭詢問AI這個喇叭的部位叫什麼名稱


同樣的Gemini會即時辨識出影像並提供解答

同樣的Gemini會即時辨識出影像並提供解答


直接用Gemini App掃描程式碼，也都可以即時馬上判斷出這段code是在寫什麼，有什麼用途，相當強大。

直接用Gemini App掃描程式碼，也都可以即時馬上判斷出這段code是在寫什麼，有什麼用途


直接將鏡頭對準任何空間環境，也都可以經由建築物或特徵點來判斷這個位置在哪裡。

直接將鏡頭對準任何空間環境，也都可以經由建築物或特徵點來判斷這個位置在哪裡。


手機對著白板上的圖片掃描並詢問建議如何改善，Gemini也都可以正確回答出來。

手機對著白板上的圖片掃描並詢問建議如何改善，Gemini也都可以正確回答出來。


Music AI Sandbox

這是一種結合音樂和AI的技術去生成結果，例如簡單演奏一段Bass line，再加入一段prompt語法如改編成巴西風格，這時候Music AI Sandbox就會依據這段Bass line來創造一段巴西風格的曲風。(立即試聽Music AI Demo音樂)

Music AI Sandbox


Veo

生成式AI影片技術Veo，可以依輸入的prompt指令來生成任何影片。

Veo


例如花朵盛開的縮時攝影影片片段。

例如花朵盛開的縮時攝影片段。


而影片也都可以依需求再自由調整長度，並非只有生成固定長度的素材。

而影片也都可以依需求再自由調整長度，並非只有生成固定長度的素材。


車子影片素材也可以利用詳細的指令來生成出來。

車子影片素材也可以利用詳細的指令來生成出來。


Circle to Search 圈起來搜尋

在Google搜尋時，你可以在圖片上的指定位置畫個圈進行搜尋，例如照片中的鞋子你有興趣想知道更詳細的資訊，只要畫個圈就能指定範圍進行搜尋。

Circle to Search 圈起來搜尋


Multi-step reasoning 多重問題搜尋

在Google搜尋時可持續不斷的接續詢問問題，由AI來判斷每一次的問題線索提供解答，並非像傳統的方式一次只能搜尋一個問題就結束。

Multi-step reasoning 多重問題搜尋


搜尋詢問問題時也可以打很長的關鍵字，AI可以根據你的問題描述來提供更精準的解答。

搜尋詢問問題時也可以打很長的關鍵字，AI可以根據你的問題描述來提供更精準的解答。


Planning in search

在搜尋引擎查東西時，也有提供所謂的計畫範例。

Planning in search


例如搜尋：如何用簡單的方式準備給一個團體三天份量的餐點，Google會提供各種不同的簡易餐點準備建議，還會依據天數幫你安排。

如何用簡單的方式準備給一個團體三天份量的餐點，Google會提供各種不同的簡易餐點準備建議，還會依據天數幫你安排


AI-organized search results page

搜尋引擎的查詢結果，會是以AI所規劃組織後的成果為主。

AI-organized search results page


例如查詢餐廳時，會提供關於這家餐廳的資訊和服務。

例如查詢餐廳時，會提供關於這家餐廳的資訊和服務。


Google除了會進行搜尋之外。

Google除了會進行搜尋之外。


還會自己進行研究。

還會自己進行研究。


Google也會自己進行規劃統整。

Google也會自己進行規劃統整。


以及腦力激盪集思廣益。

以及腦力激盪集思廣益。


我們只要問它問題就行了。

我們只要問它問題就行了。


AI Overview搜尋的結果還可依需求來進行分類，例如原始的搜尋結果、簡化版結果、分解結果等等。

AI Overview搜尋的結果還可依需求來進行分類，例如原始的搜尋結果、簡化版結果、分解結果等等。
AI Overview


表單 + Gemini AI

Google表單也可以直接要求請Gemini AI協助統整，不需要自己慢慢找工具就能快速完成。

表單 + Gemini AI


例如直接詢問AI這個表單的花費是在哪些地方，AI馬上就會依表格快速整理，並且以百分比提供答案。

例如直接詢問AI這個表單的花費是在哪些地方，AI馬上就會依表格快速整理，並且以百分比提供答案。


Google I/O 2024 完整影片


相關閱讀：

防毒相關推薦文章

最佳防毒軟體推薦

防毒軟體評價與教學

防毒應用知識分享

雲端硬碟相關文章

最佳網路雲端空間推薦

雲端硬碟評價與比較

雲端硬碟教學

雲端硬碟優惠碼

歡迎訂閱電子報


追蹤班老大的臉書粉專

班老大網站上所有的最新文章，都會在這裡第一時間貼文通知，歡迎追蹤我的臉書粉絲專頁。

班老大臉書粉專


歡迎訂閱 YouTube 頻道

各種360全景相機和運動相機評測、3C教學、旅行紀錄等等，所有影片創作都在班老大YouTube頻道，歡迎訂閱追蹤起來！


加入360互動星球

在這個360互動星球Facebook臉書社團，會發布所有關於360全景相關資訊，大家有任何問題討論或創作，也都可以在這裡互相交流，歡迎加入！

360互動星球臉書社團


360全景相機推薦必讀文章

虛擬導覽學院logo
360虛擬導覽學院

跟著班老大一起從零開始，到完整學會360全景攝影，並成功製作出具有品牌價值的虛擬導覽體驗。

前往查看360線上課程 →


有任何問題可以在底下留言~
如果喜歡我的文章，歡迎分享~


分享這篇文章
班老大(Ben)

班老大(Ben)

曾在AR、VR及體感互動領域打滾多年，熱愛科技、旅行及攝影，希望透過網路分享知識和經驗，幫助大家縮短在科技與生活之間的距離。