火狐瀏覽器將內(nèi)置AI為網(wǎng)站圖片生成描述內(nèi)容 幫助視障用戶理解圖片

在 HTML 超文本傳輸協(xié)議規(guī)范中，對(duì)于圖片類有個(gè) Alt 屬性用來(lái)描述圖片的內(nèi)容，這個(gè) Alt 屬性用來(lái)告訴搜索引擎爬蟲(chóng)這張圖片是什么，同時(shí)也可以被屏幕閱讀器讀取，為視力障礙用戶描述圖片從而理解內(nèi)容。

不過(guò)為圖片添加 Alt 屬性是個(gè)非常麻煩的事情，每張圖可能都需要根據(jù)圖片的實(shí)際內(nèi)容進(jìn)行描述，因此大多數(shù)網(wǎng)站都不會(huì)添加 Alt 屬性，于是這種情況導(dǎo)致視力障礙用戶無(wú)法理解圖片是什么內(nèi)容。

在 AI 時(shí)代下這個(gè)問(wèn)題就非常容易解決了：只需要利用 AI 模型讀取圖片并撰寫描述就行了，這個(gè)功能并非 Firefox 首發(fā)，不過(guò)現(xiàn)在 Firefox 也準(zhǔn)備這么做。

在 Mozilla Firefox 130 每夜構(gòu)建版中，火狐瀏覽器開(kāi)發(fā)團(tuán)隊(duì)在 PDF 編輯器中測(cè)試此功能，這將包含一個(gè)小型的 Transformer 機(jī)器學(xué)習(xí)模型來(lái)生成替代文本。

這個(gè)小型模型的參數(shù)為 0.2B 同時(shí)只占用不到 200MB 的磁盤空間，可以在幾秒鐘內(nèi)讀取圖片并生成描述，并且該模型擅長(zhǎng)描述圖像而不會(huì)產(chǎn)生太高的負(fù)載，即便在性能較差的設(shè)備上也可以使用。

現(xiàn)階段該功能僅在 PDF 文件中進(jìn)行測(cè)試，即用戶打開(kāi) PDF 文檔并使用屏幕閱讀器時(shí)，F(xiàn)irefox 會(huì)自動(dòng)調(diào)用模型生成圖片描述，在讀出文檔時(shí)一起將圖片描述讀出來(lái)，方便視力障礙用戶理解圖片內(nèi)容。

而使用本地模型的好處在于有更好的隱私保護(hù)，即圖片不會(huì)被發(fā)送到服務(wù)器上進(jìn)行識(shí)別，同時(shí)還可以獲得更好的資源效率提高響應(yīng)速度，這比發(fā)送到網(wǎng)絡(luò)、處理、描述再發(fā)回客戶端要快得多。

后續(xù)如果這個(gè)功能完成驗(yàn)證，火狐瀏覽器應(yīng)該會(huì)將其用于普通網(wǎng)頁(yè)的 Alt 描述中，到時(shí)候如果網(wǎng)站的圖片不含 Alt 屬性那么就可以由 Firefox 自動(dòng)描述了。