看板 TY_Research
FourCastNet 程式跟Model Weight https://github.com/NVlabs/FourCastNet 論文 https://arxiv.org/abs/2202.11214 Fourier + vision transformer。最早成功運用vision transformer? Pangu Weather 程式跟Model Weight https://github.com/198808xc/Pangu-Weather 論文 https://www.nature.com/articles/s41586-023-06185-3 3D mesh + vision transformer。暴力解法,model weight最龐大,1.1G GraphCast 程式跟Model Weight https://github.com/google-deepmind/graphcast 不想login拿weight 可到下面link https://huggingface.co/shermansiu/dm_graphcast 論文 https://arxiv.org/abs/2212.12794 graph + vision transformer。model weight不到200MB 這3個模型,家用電腦就可以輕鬆運算。 GraphCast跟PanguWeather都強調,颱風/颶風/氣旋的路徑預測,AI比傳統運算準確。但沒講的就.... 然後最重要的事,AI以後會不會大幅進步?答案是,不會,除非有新的AI演算法,或者找到新的資料來源。 AI(deep learning)要進步,就是要更多的資料,但氣象的資料就這麼多了,每年的新增資料也有限,所以AI天氣的準確度,大概就停滯在這裡吧。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 58.114.66.74 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/TY_Research/M.1721569600.A.932.html
aegis43210 : GraphCast真的不錯,只是Deepmind又把重心放到其他 07/21 21:52
aegis43210 : 領域了 07/21 21:53
mark0204 : 感謝分享 07/21 21:54
HellFly : 出道即巔峰的概念嗎 07/21 22:07
Kroner : 維他命b 07/22 00:20
JuiFu617 : 可以了啦,已經不給傳統模式活路 07/21 22:08
dildoe : 資料來源就那幾個reanalysis,training結果差很大嘛! 07/21 22:26
hedgehogs : 插更多測站放更多氣球取得更細緻資料能再改善嗎 07/21 22:39
Kroner : 益生菌 07/22 00:36
zxc445567 : 這些AI模型都離不開 NVDA H100 還有模組Earth -2 07/21 22:40
shiauber : AI會進步的....即使演算法不變 07/21 23:04
shiauber : 但演算法是會持續進化的 07/21 23:04
Kroner : 益生菌的功效 07/22 01:00
shiauber : 單純算力的增加都會提高準確率 07/21 23:04
shiauber : 然後隨時都會有新資料進入 07/21 23:04
shiauber : 會release的只是basic model 07/21 23:04
Kroner : 鋅功效女性 07/22 01:06
shiauber : 真正在評估的都是實時在更新資料的 07/21 23:04
shiauber : 資料,算力,演算法,都在讓AI更準確 07/21 23:04
handfoxx : 怎麼可能不會....光AI會自我學習 未來就有無限可能 07/21 23:04
Chricey : 苦瓜胜肽副作用 07/22 06:33AI自我學習?股版看太多了
shiauber : 所以資料要錢 演算法要錢 算力要錢 07/21 23:06
lsd25968 : data augmentation跟GAN: am i a joke to you? 07/21 23:09
什麼樣的discriminator才能GAN?如果有這樣的discriminator,傳統預測早就飛天了。 data augmentation也行不通,LLM已經玩過了。好的curated dataset才有好的AI
canandmap : 砸錢買最強的老黃顯卡RTX4090就有可能吧? 07/21 23:10
Chricey : 鋅功效 07/22 07:50
canandmap : 我有個同事,他的公司電腦就插了4090來算AI的說 07/21 23:11
fajita : Deep learning把網絡層數加深,相同的資料可以榨出 07/21 23:14
fajita : 更多細節特徵,其實對於準確性都大有幫助 07/21 23:15
Kroner : 葉黃素功效 07/22 08:00
ryan823520 : 演算法繼續訓練會進化Chatgpt 4o相比前幾代就聰明 07/21 23:20
ryan823520 : 很多。 07/21 23:21
canandmap : 嗯,好像真的在培養一個小孩的說 07/21 23:30
Kroner : 苦瓜胜肽的功效 07/22 09:48
hnjsh : 除非AI能自創出新的模型,不然用現有的模型去餵能算 07/21 23:37
hnjsh : 出來的東西還不是一樣 07/21 23:37
newsnew : 問題是你每年只有幾個颱風颶風的資料可以訓練 07/21 23:50
Chricey : GABA推薦 07/22 09:54這就是最大的侷限。DL需要大量正確的data來進步
ludwig0201 : AI只會持續進化,而且速度加快,毋庸置疑 07/21 23:52
ludwig0201 : 你如果有能力預測AI的極限,應該忙到沒時間在ptt發 07/21 23:55
ludwig0201 : 文 07/21 23:56
Chricey : 苦瓜胜肽 07/22 09:54
timidwei : AI會進化 而且不會累 真的是未來趨勢 07/22 00:08
kevin0316 : AI以後如果是像黃爸說的 連地面建築物對風的影響都 07/22 00:14
kevin0316 : 能算進去 那精準度一定是很高的 07/22 00:14
Kroner : 馬卡 07/22 09:54
yamelody : 如果這次路徑真能提早這麼多天精準預測 其實以時間 07/22 00:20
yamelody : 序列模型來說已經非常厲害了 同時也達到可提早防颱 07/22 00:20
yamelody : 的任務 07/22 00:20
Chricey : 瑪卡功效女性 07/22 00:20
OBTea : 主要是人類用數學模型還不足以描述大氣現象,AI可以 07/22 00:22
OBTea : 彌補這部分 07/22 00:22
steven3abc : 運算能力、模型架構、資料量都能夠讓AI能力提升 07/22 00:36
Chricey : 葉黃素 07/22 00:36
orze04 : 氣象你怎用GAN生資料== 07/22 00:58
orze04 : 每年的資料就只會多那一點點 07/22 00:58
orze04 : 重train會怎樣誰也不保證 07/22 01:00
Chricey : 苦瓜胜肽功效 07/22 01:00
OBTea : 但是算力提升應該可以做到更早預測 07/22 01:01
orze04 : 增加節點數量和網路深度算最直關粗暴的方法了 07/22 01:03
orze04 : 另外更細部的接近前地形效應,這個還很有潛力 07/22 01:06
Chricey : 甘露糖 07/22 01:06
aegis43210 : 算力提升不會更早預測,這不是LLM 07/22 01:08
aegis43210 : 掌握強化學習的方向,使模型遵守物理定律更重要 07/22 01:11
oopFoo : 現在對AI的期待太高了,AI是好用,但有它的侷限。 07/22 06:33
Kroner : 蔓越莓功效 07/22 06:33
oopFoo : 就像5年前的AI自駕,吹太高了,如果當初簡單 07/22 06:36
※ 編輯: oopFoo (58.114.66.74 臺灣), 07/22/2024 06:39:40
oopFoo : 開始,只專注高速公路,也許現在早就有普及的自駕 07/22 06:42
CCNK : 你有足夠的資料量和數據給他學習 很可怕的 07/22 07:50
Chricey : 益生菌 07/22 07:50
hnjsh : 放給AI隨機自己去產模型,等等就算出人類應當是三頭 07/22 08:00
hnjsh : 六臂這種東西,沒有人類糾正算出來就是一坨垃圾。交 07/22 08:00
hnjsh : 給隨機的話怎麼不乾脆去廟裡擲杯,反正是一樣的 07/22 08:00
Kroner : 魚油功效 07/22 08:00
wj12240522 : 16樓標準的普通人思維 問題是有多少東西可以給AI學 07/22 09:45
wj12240522 : 什麼方法學 07/22 09:45
down : 我看到了不懂AI的人在談論AI.... 07/22 09:48
Kroner : 甘露糖 07/22 09:48
wj12240522 : AI算颶風大概就是給定一個曾經出現的颱風,然後給他 07/22 09:54
wj12240522 : 當時的大氣環境,最後就是不停的給他算,算到最後要 07/22 09:54
wj12240522 : 無限接近吻合當時的真實情形,AI訓練不是普通的機器 07/22 09:54
Chricey : 透納葉 07/22 09:54
wj12240522 : 人做事,給他訓練他就會無限變好,要給於懲罰與獎勵 07/22 09:54
wj12240522 : ,除了已發生的真實案例,可以明確的讓算法設計者知 07/22 09:54
wj12240522 : 道如何給予目標獎勵外,要他憑空捏造一個人類都不知 07/22 09:54
Kroner : 魚油 07/22 09:54
wj12240522 : 道正確解答的問題,只會越來越歪像樓上講的一樣算出 07/22 09:54
wj12240522 : 個三頭六臂,按照樓上什麼架構優化 運算算法什麼算 07/22 09:54
wj12240522 : 力進步都根本不是重點 07/22 09:54
Chricey : ​UC2 07/22 09:54
canandmap : 不過AI應該很早就出現了吧?只是因為去年開始嶄露頭 07/22 09:57
canandmap : 角,會有人不懂好像也很正常? 07/22 09:57
wj12240522 : 就跟智慧型手機跟平板剛出的時候一堆人吹取代電腦, 07/22 09:59
wj12240522 : 最後兩者根本是不同類型的工具 07/22 09:59
t95912 : AI這幾年被廠商濫用的結果 就是讓一堆人似懂非懂 07/22 10:24
t95912 : 好像只要加上AI就是一個很厲害的東西?@@ 07/22 10:24
minervava : 這樓怎麼一大堆普信仔半瓶水響叮噹== 無知還那麼大 07/22 11:34
minervava : 聲還以為來到股民討論區 07/22 11:34
ludwig0201 : Ai平台和模型的重大突破也只是去年的事,怎麼老有人 07/22 12:21
ludwig0201 : 愛扯到祖宗十八代 07/22 12:21
ludwig0201 : 如同工業革命前早有蒸汽機,只是瓦特做了突破性的 07/22 12:26
ludwig0201 : 改良,日後世界就產生重大變革 07/22 12:26
savishu : 地球平均一年80個熱帶氣旋,每年能餵的資料也不少 07/22 12:56
savishu : 吧 07/22 12:57
oopFoo : 問題是,要減少誤差,你需要多多少資料?減半是需要 07/22 13:30
KyuubiKulama: 一年80個,觀測的數據抓個50年也才4000筆算少的 07/22 13:32
oopFoo : 多50%?多2x?3x?4x?。這幾個model都是用約40年的資料 07/22 13:32
oopFoo : 來訓練。你要減半誤差,要多少個40年的資料? 07/22 13:34
djmez : 一般模型訓練資料大小至少要是feature10倍以上 07/22 13:52
djmez : 上面最小的graphcast每個網格點都要474個input fea 07/22 13:54
djmez : tures了 07/22 13:54
hinajian : 自駕車真的被吹得很厲害 感覺現在還是會有判斷錯誤 07/22 14:27
kevin0316 : 自駕車最大的問題不是因為人嗎 07/22 14:50
nuc1earsub : 自駕車的問題是車禍責任歸屬,就像有人吹AI看病一樣 07/22 15:05
nuc1earsub : 醫療糾紛算誰的? 07/22 15:05
shiauber : 你可以信與不信 科學的盡頭是玄學 07/22 15:20
shiauber : 自駕你隨便google waymo就知道了 =.= 07/22 15:20
shiauber : 人家都在盈利了 07/22 15:20
snocia : 然而隨便Google也能看到在加州發生重大車禍 07/22 16:09
shiauber : 台灣也天天在車禍 XD 07/22 16:51
anachronism : AI準,下周股票大漲, 反之。。。 07/22 17:00
sus304 : ChatGPT 去年才出來,今年開始熱絡。 可以期待十年 07/23 00:08
sus304 : 後吧 07/23 00:08
canandmap : 然後到時就可以唱「十年之前 我不認識你...(下略)」 07/23 00:53