sponsored links

以開發之名|AI是如何幫助聽障者與世界“對話”的

你是否遇到過這樣的場景——公交車上、餐廳裡兩個人在用手語快速交流。科技發展日新月異,數字技術不斷創新,應該給包括聽障人士在內的所有人創造美好,不讓任何一個人在數字世界掉隊。我們能為聽障人士做些什麼呢?

為幫助聽障者在日常生活中自如交流,更方便地融入社會生活,有一群來自華中科技大學的青年學子透過大量實際調研並利用專業所學開發出了知音App,可透過語音識別、手語手勢識別等AI技術將語音轉文字,讓聽障者看到或將文字轉語音讓健聽人聽到。團隊還在App中嵌入了專業手語客服影片線上,希望未來能隨時隨地幫助聽障人交流。

以開發之名|AI是如何幫助聽障者與世界“對話”的


團隊聽障者馮桂傑的真實反饋讓知音App不斷最佳化,更貼近聽障人需求

“我們希望透過科技的力量幫助聽障人士解除生活靜音鍵,感受生活煙火、蟲鳴鳥叫和清風細雨。”秉持著這種信念,這群年輕人希望幫助聽障者活得有聲有色。對於這樣一個傾注了團隊熱情和心血的產品,團隊希望能借助更多的外部力量讓更多有需要的人瞭解並使用到知音App。而在產品二次最佳化過程中,知音App非常重要的體驗改進則來自華為HMS Core提供的語音識別與合成等技術支援。如今,知音App已經參加了2021華為HMS全球應用創新大賽,同時也加入了華為耀星計劃,這讓團隊有了更多動力和信心將知音App持續推向市場惠及更多聽障人群。

置身於聽障者日常生活,傾聽來自他們的“聲音”

“社會在飛速發展,聽障人群卻往往在溝通中遇到諸多障礙。很多看似日常的小事,對他們來說都格外奢侈,而他們又是非常渴望交流的。”知音App團隊對聽障人群有著特別的關注,這要源於他們長期在聾人學校做志願服務的經歷,不會手語和聾人兒童溝通非常麻煩。朱佳怡作為團隊一員,則講述了一次去養老院做義工的經歷,“當時遇到一位後天聽障老人,有著意料之外的開朗熱情,每次看到義工們,他就會特別開心地跑過來比手勢,想要交流。後來瞭解到由於聽障,他和家人疏於交流,長期在養老院的生活也讓他日顯孤單。我特別難過,覺得這部分群體不應該被忽略。”很多類似經歷讓團隊越來越清晰地瞭解到聽障人群的社會現狀,並深受觸動。於是,這群定期探訪聽障人群的年輕人一拍即合,希望發揮各自力量開發出一款能真正幫助聽障人群交流的產品。他們分別來自資訊系統專業、產品設計專業、市場營銷專業等,專業不同初衷相同的青年學子為此傾注著滿滿精力和熱情。

以開發之名|AI是如何幫助聽障者與世界“對話”的


知音App希望幫助聽障人群建立信心,更好融入社會生活

“產品的實用性一定要透過目標使用者的不斷體驗加以驗證,好的應用一定是能滿足使用者需求的。而要想開發出好的聽障輔助應用,就要深入到聽障人群當中。”為此,團隊與聽障人群保持著長期溝通,專案創始人周江南更曾跟聽障人群同吃同住過一段時間,有很強的同理心,因此非常熟悉他們的需求,這也是保證產品實用性的關鍵因素。團隊中的馮桂傑是一名聽障者,同時擔任產品體驗官,對知音進行更細緻更真實的反饋,並提出針對性的建議,從而確保產品的精準最佳化。他坦言:在知音不僅學到了很多技術和知識,還感受到了愛和力量。

此外,為促進聽障人交流溝通速度,更方便地享受生活,團隊目前在研發一款AR智慧眼鏡,由話筒、鏡片螢幕、攝像頭、喇叭等元件構成。藉助技術手段,話筒可捕捉健聽人語音,AI手語客服將語音轉化為文字顯示在螢幕上讓聽障人看見,同時攝像頭可獲取聽障人手語,AI演算法將其轉化為語音透過喇叭播放。目前相關功能均在完善中。

授人以魚不如授人以漁,華為HMS讓知音App更懂聽障人

從成員招募、調研、志願服務、設計,熱愛聽障公益事業且具備同理心是知音團隊不變的堅守,也是團隊像知音朋友一樣和聽障人群對話並幫助建立自信的初衷。而數字化時代,公益和科技有著更深層次的相輔相成關係,為開發出更契合聽障者的產品,知音團隊一直在積極尋找更具針對性的先進技術支撐。

“調研過程中,我們第一個想到的便是華為,因為語音識別與合成是產品的核心功能之一,這方面團隊無法自己完成,依託華為HMS Core的語音識別合成技術進行擴充套件是最優解。”知音App團隊介紹道,“整合HMS Core的ML Kit後,我們的產品有了更為具體的最佳化。比如聲音場景識別,可以充當聽障者的耳朵,幫助聽障者識別周圍的場景,而語音識別合成是非常快速的整合,可充當嘴巴發出聲音,從而產品更為理想化。”具體而言,語音識別、語音合成和聲音識別等頁面是知音App的核心功能頁面的一部分。聽障者可在聲音識別頁面按住“開始”按鈕,把說話人的實時語音轉化為文字;可在語音合成頁面輸入文字,點選“開始合成”按鈕把文字轉化為個性化語音播放出來。在產品測試過程中,整合HMS Core的ML Kit的則讓知音App對場景語音識別更精準,語音合成更快速,交流體驗更順暢。

說起整合HMS Core的ML Kit,團隊還分享道,“在這之前,我們對AI技術和機器學習的底層技術不太瞭解。加入華為開發者聯盟後,我們得以瀏覽到很多華為開發者文件,對AI技術有了更深入的瞭解,其中聲音場景的識別幫助我們優化了很多解決方案。”目前,二次最佳化已進入技術收尾階段,不久將在華為應用市場上線。

如果沒有聲音,我們的世界會變成怎樣呢?城市沒有喧囂、森林沒有鳥叫,圍繞我們的或許是一片沉寂。“聽障人群不應陷入沉寂。知音App願意搭建起聽障者資訊交流的橋樑,與他們有更好溝通並建立他們的信心,讓每一位聽障人士得以自由交流、表達感受、分享快樂。我們覺得這是一件特別有意義特別酷的事情。”知音App團隊年輕的聲音裡洋溢著堅定和憧憬。

分類: 科技
時間: 2021-09-19

相關文章

我,谷歌AI編舞師,能聽音樂來10種freestyle,想看爵士or芭蕾?

我,谷歌AI編舞師,能聽音樂來10種freestyle,想看爵士or芭蕾?
豐色 發自 凹非寺 量子位 報道 | 公眾號 QbitAI Transformer又又接新活了-- 這次谷歌用它搞了一個會根據音樂跳舞的AI. 話不多說,先讓它給大家來幾段freestyle(原影片見 ...

百度飛槳:紮根產業場景,降低AI應用門檻

百度飛槳:紮根產業場景,降低AI應用門檻
中國的數字化程序已經從消費網際網路為主導,轉向產業網際網路. 一個共識是,大資料會成為像水電一樣的基礎設施,而AI等技術則等同於工業革命的蒸汽機.電力,是推動未來產業革命的核心動力.以AI為代表的新一 ...

AI大模型時代快來了!未來或重新整理智慧終端體驗想象力

AI大模型時代快來了!未來或重新整理智慧終端體驗想象力
智東西(公眾號:zhidxcom) 作者 | 心緣 編輯 | 漠影 "生薑怎麼儲存?"."小孩能吃辣條嗎?"."魚的感覺器官是什麼?"-- ...

港科大團隊開發全腦基因編輯技術,已驗證可改善小鼠AD症狀

港科大團隊開發全腦基因編輯技術,已驗證可改善小鼠AD症狀
根據世界衛生組織的資料,隨著世界人口老齡化,每年有近 1000 萬阿爾茨海默症新增病例. 傳統的阿爾茨海默症治療藥物只能緩解症狀而不能改變疾病,因此科學家們開始尋找替代策略.在使用 CRISPR-Ca ...

外媒報道稱:HTC 正在開發“Viveport Verse”元宇宙平臺

外媒報道稱:HTC 正在開發“Viveport Verse”元宇宙平臺
編譯/VR陀螺 據外媒 Protocol 報道,HTC 正在開發具有持久社交層的定製版 Mozilla Hub. 雖然 HTC 已經擁有一個名為 Vive Sync 的專注於商業的 VR 社交平臺,但 ...

小冰建“島”,是要做AI時代 的“微信”嗎?

小冰建“島”,是要做AI時代 的“微信”嗎?
文/李佳師 9月22日,在小冰公司與微軟(亞洲)網際網路工程院聯合舉辦的第九代小冰年度釋出會上,小冰公司CEO李笛特別強調,當天釋出的全球首個人與AI的社交平臺APP "小冰島", ...

百度造芯背後 , 是國產自研AI晶片的一個關鍵節點

百度造芯背後 , 是國產自研AI晶片的一個關鍵節點
不久前 ,百度成立一個獨立的AI晶片企業籌集資金,在我們看來,百度造芯背後,是國產自研AI晶片在2021年迎來一個關鍵節點,量產出貨上到第一個臺階,今年百度在造芯上,都是大動作. 成為了百度要考慮的事 ...

騰訊X-Talk走進中科大,“拆盲盒”脫口秀花樣玩科普

騰訊X-Talk走進中科大,“拆盲盒”脫口秀花樣玩科普
中國科學技術大學校慶前夜,一場別開生面的月夜科學脫口秀吸引了不少中科大學子的"圍觀".9月19日晚,學校西區操場上,四位跨界學者與青年學生披著月光,共同探討"AI時代單身 ...

百度太會整活兒了

百度太會整活兒了
網紅黑科技 黑科技,正在成為社交生產力. 過往高門檻的科技產品,正在透過場景化呈現,變得更易於被感知. 自2016年首次公開展示以來,波斯頓動力Atlas機器人的"受虐"測試影片, ...

小梗說動漫:《死神》中的“十刃”實力究竟如何

小梗說動漫:《死神》中的“十刃”實力究竟如何
哈嘍哈嘍,大家好呀,中秋節馬上就到了,又到了和家人一起團聚賞月吃月餅的日子了,小梗提前祝大家中秋快樂哦[耶],在中秋假期小梗還在加班更文案,雖然封校回不去家,但小夥伴們的陪伴也讓小梗開始不已啦. 廢話 ...

可能被你忽略的經典動作遊戲

可能被你忽略的經典動作遊戲
平時總玩一些3A大作和一些熱門的遊戲,基本忽略了那些人氣低的優質單機遊戲,但人氣低並不代表它們當中的內容就差,就不好玩,那麼本期就為大家盤點6款,可能被你忽略了那些經典動作遊戲,每一款都值得重新回味. ...

跳鍋莊迎中秋 他鄉度節別樣濃

跳鍋莊迎中秋 他鄉度節別樣濃
恰逢"環西部火車遊"中秋首趟專列抵達甘肅省張掖市,來自瀋陽.哈爾濱.佳木斯.錦州等地的1000多名遊客在甘肅省張掖市甘州區平山湖大峽谷觀賞美景.點燃篝火.燃放焰火. 跳起鍋莊,在歡 ...

「早報」花唄全面接入央行徵信系統/蘋果免費送 6 個月 Apple Music

「早報」花唄全面接入央行徵信系統/蘋果免費送 6 個月 Apple Music
9 月 23 日[早報]導讀: ① 免費送 6 個月 Apple Music!前提是購買 AirPods 耳機 ② AirPods Pro/Max 的查詢功能缺席:推遲到今年秋季晚些時候 ③ 魅族居然 ...

人類可能起源於西部

人類可能起源於西部
李後強:顓頊和嫦娥在四川的故事 讀城2018-01-26關注 人類可能起源於喜馬拉雅,最早進入四川盆地活動."五帝"的黃帝,誕生在四川汶川茂縣一帶.三星堆可能是黃帝之國,縱目人就是 ...

非洲瑪瑙之天畫

非洲瑪瑙之天畫
天畫是一種非洲島國馬達加斯加土裡的瑪瑙類名玉髓,(名玉髓是報進口海關檢測內有透閃石和納長石玉的成份按玉料進口)玉髓其表面粗陋,內部卻冰清如玉,玩藏者需磨去皮或切開發現自然的表面或內含各種不可思議的影象 ...

程式設計師今日頭條-2021.9.23

程式設計師今日頭條-2021.9.23
0.騰訊或於本週宣佈合併搜狗,搜狗大部分業務將被整合進騰訊看點 據介面新聞報道,騰訊或將於本週正式宣佈合併搜狗.按照規劃,騰訊看點將吸收絕大部分搜狗業務和員工. 來自搜狗的多位中層表示,雙方官宣合併之 ...

一發入魂,天降邪惡,核彈玩不成它可以玩,非核常規巨型炸彈淺觀

一發入魂,天降邪惡,核彈玩不成它可以玩,非核常規巨型炸彈淺觀
1945年3月14日,一架英國蘭開斯特重型轟炸機投下了一枚被稱為"大滿貫"(Grand Slam)的炸彈,這是個重達22000磅(約9.98噸)的龐然大物,是二戰使用過的體積最大. ...

諾貝爾經濟學獎得主 到底為什麼獲獎 一篇人人可看懂的文章為你解答

諾貝爾經濟學獎得主 到底為什麼獲獎 一篇人人可看懂的文章為你解答
今年的諾貝爾經濟學獎出爐了,瑞典皇家科學院宣佈今年的獲獎者一共有三位,那麼他們到底發現了什麼關於經濟的驚天秘密才讓他們從一兩千名候選人中脫穎而出,奪得桂冠呢,今天就帶大家用最簡單的語言一覽他們的真本事 ...

三婚三離至今單身,怎麼還好意思教別人處理感情問題?

三婚三離至今單身,怎麼還好意思教別人處理感情問題?
2014年,樂嘉在綜藝<超級先生>上與謝娜舉止曖昧,他先是摸了謝娜的下巴,隨後又摸了幾下謝娜的頭,最後更是一把將謝娜摟入懷中,試圖親吻對方. 樂嘉還在節目上表示"自從認識了謝娜, ...