PIXNET Logo登入

Java瑪奇朵-非本科系的IT吃喝電玩日誌

跳到主文

歡迎光臨Java工程師在痞客邦的小天地

部落格全站分類:職場甘苦

  • 相簿
  • 部落格
  • 留言
  • 名片
  • 1月 27 週三 202122:31
  • 搞懂機器學習非知不可的十大Python函式庫都在這~(三)


十大Python函式庫是人工智慧和機器學習必學的!!有興趣成這方面發展的同學快收這篇!!(一)
本系列文章為【2020年度十大Python函式庫-人工智慧 · 機器學習必備 】的第三篇。上一篇介紹了美化了 Python 錯誤信息的「Pretty Errors」,堪稱是療癒系的工程師的 debug 神器、還有「Diagrams」讓工程師不需要使用設計軟體,只要使用 Python 就能畫出美輪美奐的雲系統架構圖。請點看上一篇閱讀了解 。
Hydra 與 OmegaConf:結構化複雜的機器學習項目
在機器學習項目中做研究與實驗時,總是有五花八門的環境配置工作。在這些非平凡(non-trivial)的應用程式中,配置管理可能會變得也複雜。是否有結構化的方法來處理這種複雜性?
Hydra 可藉由「組合」的方式來建構配置,並從命令列或 config 設定檔中覆蓋某些特定的部分,而加快了執行速度。
為了要說明 Hydra 函式庫可簡化一些特定的任務,tryolabs 舉了他們正在試驗的模型的基本架構以及它的多種變化為例。借助 Hydra,可以定義基本配置,然後運行多個工作並對其進行變化:
 
 

 
 
Hydra 的表親「OmegaConf」為分層配置系統的基礎提供了一致的 API,並支援不同的來源如 YAML、config 設定檔、物件與 CLI 參數。
PyTorch Lightning:PyTorch 版的 Keras,告別沒完沒了的 Debug
PyTorch 是一款熱門的的深度學習框架,可以簡單的方式建構複雜的 AI 模型。但是當作大量實驗的時候,很多東西都會變得複雜過頭,代碼也隨之變得龐大,此時還是容易出錯。
於是,PyTorch Lightning 就為了減少錯誤而誕生:它可以重構 PyTorch 代碼、抽出複雜重複的部分,讓工程師可以專注於核心的建構、實驗也更快更便捷地開展迭代。
 
 
PyTorch Lightning重構PyTorch 代碼

 


▲ PyTorch Lightning 可以重構 PyTorch 代碼、抽出複雜重複的部分,讓工程師可以更專注在研究代碼上


 


 


 
 
Lighting 的原理是藉由將研究代碼從重複性強的工程代碼區分開,讓工程師可以專注在研究代碼上,思緒就會更加清晰,整體代碼也更加簡潔。
Hummingbird

並不是所有的機器學習都是深度學習。通常,你的模型是由更多傳統的演算法在 Python 的機器學習套件 scikit-learn(像是 Random Forest)中組成;或者你也可以選擇時下流行的 LightGBM和 與 XGBoost 的梯度提升技術 (Gradient boosting)演算法。
然而,機器學習領域一直都在進步。像是上述的 PyTorch 框架正以令人屏息的速度在進步,硬體設備也不斷優化,以更低的耗能、更快的速度完成張量計算。假如我們能將這些優勢套用到傳統的演算法中,不是很好嗎?因此 Microsoft 就發布了新的 Python 函式庫「Hummimgbird」。
Hummingbird 可以將已經訓練好的傳統機器學習模型,編譯至張量計算。這個強大的功能讓你不用設計新的模型!
截至目前為止,Hummingbird 支援轉換到 PyTorch、TorchScript、ONNX 與以及多種機器學習模型以及向量器。其實這跟上述提到的 scikit-learn(Sklearn)非常相似,讓你重複使用現有的代碼,但可將成品變成由 Hummingbird 生成的代碼
(繼續閱讀...)
文章標籤

Java瑪奇朵 發表在 痞客邦 留言(0) 人氣(42)

  • 個人分類:程式設計課程相關
▲top
  • 1月 26 週二 202122:31
  • 搞懂機器學習非知不可的十大Python函式庫都在這~(二)

搞懂機器學習非知不可的十大Python函式庫都在這~(二)

十大Python函式庫是人工智慧和機器學習必學的!!有興趣成這方面發展的同學快收這篇!!(一)
(繼續閱讀...)
文章標籤

Java瑪奇朵 發表在 痞客邦 留言(0) 人氣(1)

  • 個人分類:程式設計課程相關
▲top
  • 1月 25 週一 202122:31
  • 搞懂機器學習非知不可的十大Python函式庫都在這~(一)

搞懂機器學習非知不可的十大Python函式庫都在這~(一)

十大Python函式庫是人工智慧和機器學習必學的!!有興趣成這方面發展的同學快收這篇!!(一)
(繼續閱讀...)
文章標籤

Java瑪奇朵 發表在 痞客邦 留言(0) 人氣(3)

  • 個人分類:程式設計課程相關
▲top
  • 1月 21 週四 202100:40
  • 比AlphaGo更厲害的人工智慧MuZero你非知不可~(下)


竟然有人能打敗最強人工智慧AlphaGo!!MuZero的各種無師自通讓你大開眼界!!(下)
本系列文章為【終極版AlphaGo-MuZero 】的下篇,MuZero竟然不用靠人類訓練,就可以自我摸索出西洋棋規則?請點比AlphaGo更厲害的人工智慧MuZero你非知不可~(上)看上篇閱讀了解
除了下棋⋯⋯人工智慧 MuZero 還可壓縮影片!有望降低 YouTube 成本
除了下棋玩遊戲之外,MuZero 也被投入商業用途。
David Silver 表示,DeepMind 正嘗試用 MuZero 來開發新型的影片壓縮技術:「如果查看整個網路世界的資料流量,會發現影片占了很大的比例,如果可以更有效地壓縮影片的大小,可以省下大量資金、縮減經營成本。」
「初步實驗顯示,只是單純壓縮影片能取得的收益也非常可觀,我們對此感到很興奮。」
 
 
一個人在瀏覽網路影片的示意圖

 


▲ 思科(Cisco)預估 2022 年時,影片將佔據全球 82 %的網路流量。來源:CardMapr on Unsplash


 


 


 
 
由於同為 Alphabet 旗下的 Google 握有世界上最大的影音平台 YouTube,因此 YouTube 很有可能成為最大獲益者。然而 David Silver 拒絕透露 Google 將在何時、何地使用 MuZero的功能,只表示未來一年內將會公布更多細節。
此外,MuZero 也計畫被用於解決化學或量子物理等問題,潛在應用領域也包括新一代虛擬助理、個人化醫療與搜索救援技術等。
AI 人工智慧更像人了
DeepMind 的核心理念是利用人工智慧為世界做出貢獻,MuZero 的能力與多種實際應用的可能,是 AI 走出理論的象牙塔、更貼近現實的重要里程碑。
但突破性的進步往往也伴隨著隱憂。南安普敦大學電腦科學教授、人工智慧委員會成員 Wendy Hall 認為,DeepMind 一心追求提升 AI 性能,但對於可能造成無法預料的嚴重後果:「就像是噴射機的發明者可能沒考慮過汙染問題。人們必須要在發展與風險中取得平衡。」
MuZero 可以歸納實際情況與當下的行動,不需要通曉所有的可能性,也能表現出色。這個特色非常人性化,也很接近人類處事的模樣。但這是會讓人工智慧 成為更出色的虛擬助理呢?還是會讓 AI 離取代人類越來越接近?只能拭目以待了。
人工智慧「AlphaFold」解決困擾人類半世紀的「蛋白質」難題
全世界最知名的人工智慧公司 DeepMind 除了曾經研發過擊敗人類棋王的 AlphaGo、它的進階版 AlphaZero 以及它的終極版 MuZero 之外,還曾開發出名叫「AlphaFold」的 AI,解決了困擾生物學界超過 50 年的「蛋白質折疊」難題!以往要精確得知一個蛋白質的完整結構,需要數月、數年甚至數十年的實驗研究,而這個人工智慧只要花費幾小時就能完成。詳細資訊請看本篇文章:「生物學最大謎團被人工智慧 破解!DeepMind 攻克「蛋白質折疊」奧秘」

▲ DeepMind 的科學家與工程師的幕後故事,談論他們如何創建出 AlphaFold。
  • 人工智慧 Suphx 打敗人類雀聖!微軟:麻將 AI 比圍棋 AI 難

  • 人工智慧快毀了西洋棋比賽?前西洋棋冠軍聯手AlphaZero AI改寫西洋棋

  •  
     
    更多人工智慧相關文章請點閱下方連結~
     
     
     
    其他閱讀
    外貌影響面試?新人工智慧機器人 Tengai 面試不再以貌取人
    秀程式設計也能交女友!工程師專屬交友App:VSinder
    生物學最大謎團被人工智慧 破解!DeepMind 攻克「蛋白質折疊」奧秘
    測試員"微痛"轉職前端工程師,現在切版和網站開發一把罩!
    只要更新這個工具就能讓SEO完整掌握檢索狀況!!
    Google更新演算法啦!!SEO人員都準備好了嗎?(上)
    熊臉辨識你聽過嗎?最新人工智慧運用此技術保育棕熊喔~
    (繼續閱讀...)
    文章標籤

    Java瑪奇朵 發表在 痞客邦 留言(0) 人氣(11)

    • 個人分類:程式設計課程相關
    ▲top
    • 1月 20 週三 202100:40
    • 比AlphaGo更厲害的人工智慧MuZero你非知不可~(上)


    竟然有人能打敗最強人工智慧AlphaGo!!MuZero的各種無師自通讓你大開眼界!!(上)
    比打敗人類棋王的AlphaGo更強!無師自通的人工智慧MuZero誕生
    2016 年,DeepMind 開發的人工智慧圍棋軟體 AlphaGo 打敗了韓國棋王李世乭,成為第一個擊敗人類棋手的 AI。2018 年,它的繼任者 AlphaZero 從零開始,靠自學學會西洋棋、將棋、圍棋。
    近日,DeepMind 發表超越 AlphaGo、AlphaZero 的人工智慧系統 MuZero,就算不知道規則也能精通西洋棋、圍棋、將棋,以及 57 款雅達利(Atari)遊戲,甚至還能用來壓縮影片。
     
     
    終極版 AlphaGo!DeepMind 最新人工智慧「MuZero」能下棋、玩遊戲、壓縮影片

     


    ▲ 來源:DeepMind 官網。


     


     


     
     
    AlphaGo還需靠真人來訓練,MuZero卻能自我摸索出規則
    DeepMind 過去研發出的幾款人工智慧,都在各種棋類遊戲上展現出壓倒性的優勢。但無論是 AlphaGo、AlphaGo Zero 或 AlphaZero,都是基於已知規則,再加上人類資料訓練或是自我學習訓練而成。
    而最新登場的 MuZero 與其他的 AI「前輩」們最大的不同在於,它未事先輸入任何的已知規則,在未知的動態環境下能自行摸索出規則,並作出最佳的判斷。
    MuZero 的拿手範圍不只圍棋、西洋棋和將棋等棋類遊戲,還包含經典電腦遊戲公司雅達利(Atari)出品的 57 款遊戲,且都拿出了亮眼的表現。
    跟人類一樣的「規劃能力」 MuZero 以有限資訊做出最佳決策
    2019 年 DeepMind 就曾透露過 MuZero 的存在,但直到 2020 年底才正式於《自然》期刊發表論文,詳細介紹它的能力與原理。DeepMind 表示,MuZero 最大的突破在於表現了「對未知環境的掌握能力」。
    「我們只是告訴人工智慧:用你自己建構的認知,去了解這個世界怎麼運作。」曾任 AlphaGo 與 AlphaZero 首席研究科學家、現正領導 DeepMind 強化學習研究小組的 David Silver 表示,「只要內部的理解成功對上了某個現實事物,那我們就滿意了。」
     
     
    Muzero運作示意圖

     


    ▲ MuZero 不需要先備知識與規則,就能精通更多的領域。來源:DeepMind 官網。


     


     


     
     
    與 AlphaGo、AlphaZero 相似,MuZero 也使用蒙地卡羅樹搜尋法(Monte Carlo tree search,MCTS),匯總神經網路的預測,並選擇適合當前環境的動作。
    MCTS 是一種「最佳優先」的樹狀搜尋演算法,與傳統方法(如廣度、深度優先)相比,最佳優先搜尋利用啟發式估算法,使其在未知的搜索空間中也可以找到有效的解決方案。簡單來說,該演算法不使用學習模型,而是找出「最好的下一步是什麼」。
    MCTS 的每個迴圈包括四個步驟:選擇(Selection)、擴充(Expansion)、仿真(Simulation)和反向傳播(Backpropagation)。通過重覆執行這些步驟逐步建構出樹狀圖。
     
     
    蒙地卡羅樹搜尋法示意圖

     


    ▲ 蒙地卡羅樹搜尋法應用於 MuZero 的示意圖。來源:DeepMind 官網


     


     


     
     
    更簡單地來說,MuZero 會對依照三種要素建立樹狀模型:1. 當前位置、狀況的好壞;2. 最好的下一步是什麼,3. 最後會有怎樣的結果。
    DeepMind 比喻,MuZero 的運作邏輯就像是「知道雨傘能讓人不被淋濕,比對雨滴建模更有用」,它只對重要的資訊進行建模,不但讓 MuZero 不懂規則也能掌握遊戲,也讓它能保持高效率、高性能。MuZero 在棋類遊戲的性能與 AlphaZero 匹敵,在雅達利遊戲上的表現更大幅超越現有的最佳系統 DQN、R2D2 與 Agent57。
     
     
    雅達利示意圖

     


    ▲ 雅達利曾視為家用遊戲主機的代表。來源:Lorenzo Herrera on Unsplash


     


     


     
     
    其實人類生活在真實世界時,也常要解決沒有規則可循、沒有指南可看的問題,但人類有規劃能力,能在混沌又複雜的世界制定出下一步該怎麼走。當你看到天空烏雲密布,於是決定攜帶雨具出門,這就是一種規劃能力,因為你預測到了可能會下雨。
    David Silver 說:「這是我們第一次打造這種系統,它能建立對世界如何運作的理解,並用這種理解做複雜的規劃,例如下西洋棋。」
    在下棋時,MuZero 也能以較少的運算量,達到與 AlphaZero 同樣甚至更好的結果;在需當機立斷、立即做出行動的遊戲如小精靈(Pac-Man)中,MuZero 不需要算出所有可能性才能行動,若限制它的每個行動只能選擇 6、7 個規畫模擬,依舊能取得亮眼的成績。
    (繼續閱讀...)
    文章標籤

    Java瑪奇朵 發表在 痞客邦 留言(0) 人氣(11)

    • 個人分類:程式設計課程相關
    ▲top
    • 1月 19 週二 202123:51
    • 網路行銷課程手刀報名學起來!!大把鈔票也賺起來!!

    網路行銷課程手刀報名學起來!!大把鈔票也賺起來!!

     
    (繼續閱讀...)
    文章標籤

    Java瑪奇朵 發表在 痞客邦 留言(0) 人氣(4)

    • 個人分類:網路行銷
    ▲top
    • 1月 18 週一 202123:51
    • SEO和付費廣告關鍵字大不同!!對網路行銷的重要程度你知道嗎?

    SEO和付費廣告關鍵字大不同!!對網路行銷的重要程度你知道嗎?

     
    你了解真正SEO的作用嗎?知道這和付費廣告有何不同嗎?都不清楚的話千萬不要錯過今天的文章!!
    (繼續閱讀...)
    文章標籤

    Java瑪奇朵 發表在 痞客邦 留言(0) 人氣(7)

    • 個人分類:SEO
    ▲top
    • 1月 14 週四 202122:32
    • 真實度直逼真人模特兒?!超專業人工智慧模特兒登場啦!!(下)

    真實度直逼真人模特兒?!超專業人工智慧模特兒登場啦!!(下)

    人工智慧這次要來挑戰真人模特兒啦!!各項專業都難不倒AI阿....真人模特兒從此要被取代了嗎?!(下)
    (繼續閱讀...)
    文章標籤

    Java瑪奇朵 發表在 痞客邦 留言(0) 人氣(3)

    • 個人分類:程式設計課程相關
    ▲top
    • 1月 13 週三 202122:32
    • 真實度直逼真人模特兒?!超專業人工智慧模特兒登場啦!!(上)


    人工智慧這次要來挑戰真人模特兒啦!!各項專業都難不倒AI阿....真人模特兒從此要被取代了嗎?!(上)
    服裝麻豆要失業了?讓你無法分辨的超逼真人工智慧models
     

    時裝模特兒拍照示意圖


     


    ▲ 時裝模特兒拍照示意圖。來源:Cody Lannom on Unsplash。


     


     
    隨著各大產業經歷數位轉型,人工智慧也在時尚服裝產業掀起變革。
    過去各大服飾品牌都會印刷製作商品型錄,以展示出樣裝的款式特色。此類平面型錄的成本高昂,即使漸漸轉變為線上電子型錄,但撇開印刷成本之外,聘請模特兒、定裝、換裝拍攝、選片、修片、排版等過程依然費時又耗力;
    另一方面,對現在十分普遍的「網拍電商」而言,為了應對流行的快速變化與多變的風格,需要快速上架大量新款服飾,因此如何在短時間內拍攝大量新款服飾商品宣傳圖,也是很大的負擔。
    不過這個看似難解的問題,在引入人工智慧後,將能迎刃而解!
    超逼真「AI 模特兒」 試衣、棚拍、擺 Pose 都難不倒它
    現今已有 4 間公司,實際開發出用於時尚產業的 AI 技術:
    1. DataGrid(株式会社データグリッド)

    (繼續閱讀...)
    文章標籤

    Java瑪奇朵 發表在 痞客邦 留言(0) 人氣(2)

    • 個人分類:程式設計課程相關
    ▲top
    • 1月 12 週二 202120:45
    • 日文系錄取竹科知名百大企業只因報了Python課程?!


    日文系畢業生全靠Python 課程錄取竹科知名企業!!不要懷疑~是日文系畢業生沒錯!!他可以~你也一定可以!!
    被日文耽誤的Python工程師?Excel函式啟發coding潛能!
     
    被日文耽誤的工程師魂 Python課程結業後錄取全球百大企業

     


    ▲ 大學讀日文系的朱姓學員,工作後發現自身對coding的興趣而報名 Python 課程,現職為竹科某全球百大企業的工程師。


     


     
    我畢業於某私立大學日文系,第一份工作就順著本科系所學,擔任外銷業務。在工作上,因為需要使用不同的函式來整理多份 Excel
    試算表,所以就上網搜尋了各式各樣的 Excel 函式。

    在學習這些函式的過程中,進而到了解到 SQL 語法之餘,更察覺到自己對程式語言的興趣:我會試著用程式語言解開各式各樣的難題,不解成功就會渾身不對勁!
    雖說對寫程式有興趣,但對於文組出身、本科為語文系的我而言,學程式語言仍是一項大挑戰。當時聽說時下很紅的程式語言 Python ,因為靈活度高加上趨近於英文文法的編碼特性,所以對文科生來說,相較於 C 或是 Java 都相對好學,便決定試試看。

    延伸閱讀:



    • 根據美國Nature旗下期刊發表的文章顯示:實驗文組天才比理科人更有寫程式的天份

    • IBM背書!入行AI人工智慧必學Python的8大理由


    選擇達內教育 Python 課程的原因
    在挑選教育機構時,我看上了達內教育Python 課程的完善,從基礎、進階(OOP)、資料庫、網頁製作、爬蟲到數據分析,都是在未來就業時能馬上應用的技能,且老師們都是從概念教起,讓根基更牢固,後續才能更快速融會貫通。
    Python 有問題?安啦!線上真人老師立即解惑
    學習過程中若有任何問題,能立即線上發問,線上的解題老師會快速的協助解惑。必要時還可以即時連線,讓老師立即協助你釐清問題,找出你絲路的盲點,讓你不會卡在同一個地方太久、浪費時間,對於非本科生的我,有很大的幫助。
    每月一次的總監日 抓住最新趨勢
    此外,達內每個月都有總監日,讓你能除了學習當前的程式語言外,也能同時了解目前業界都在流行甚麼,能習得更多實用工具,例如 AWS、Git、GA 等,除了解基礎概念外,也有簡單的實作。
    非本科系?不怕!照樣當上竹科工程師
    學習達內教育的Python 課程的同時,也順利考上大數據相關研究所,因為Python Coding能力打的夠穩,因此在研究所時,課程進度不會跟不上,程式能力也不會遜色於其他資訊相關科系出身的同學。
    目前在新竹科學園區擔任開發工程師,非常感謝達內的教學內容與方法,讓我能持之以恆,完成大跨領域的挑戰,並一步一步把興趣和工作結合在一起!
     
     
    更多Python課程或程式語言相關文章請下方連結~
     
     
     
    其他閱讀
    Nature:語言天才比數學高手更適合學 Python!別在嘴文科生、女性不能寫程式了
    人工智慧能「聽咳嗽聲認出新冠患者」!成功率達 98.5%
    Google 正測試人工智慧系統,助盲人和視障人士獨立參加路跑
    用說的就能寫程式!人工智慧替手傷工程師開發語音程式工具
    人工智慧來當月老啦!!這次真能找到命中注定的那個他嗎?!
    Sony攜手人工智慧玩轉美食界!你也有機會嘗到AI做的美食喔~
    工程師們不擅聊天交友?那就用最厲害的程式設計上吧!!(上)
    (繼續閱讀...)
    文章標籤

    Java瑪奇朵 發表在 痞客邦 留言(0) 人氣(5)

    • 個人分類:程式設計課程相關
    ▲top
    «1...13141595»

    個人資訊

    Java瑪奇朵
    暱稱:
    Java瑪奇朵
    分類:
    職場甘苦
    好友:
    累積中
    地區:

    熱門文章

    • (442)Java課程的第一課-Java為何被取名為可以喝的Java咖啡?
    • (34)日本首座自駕車公園盛大完工~人工智慧讓自駕車不再是夢!!
    • (1,222)HTML5教學教你如何做出逼真的書本翻頁動畫!!
    • (10,711)想做出精美的翻頁效果? HTML5教學6種變化直接告訴你!!
    • (25)你玩過人工智慧合成人臉,但你聽過貓也可以合成嗎? 貓咪合成後竟變這樣?
    • (369)HTML和CSS網頁顏色代碼複製貼上!! 前端工程師快比這篇收起來放!!
    • (13)前端工程師RWD教學:做好流動圖片幫網頁加分
    • (66)Python不是大蟒蛇也不唸“派桑”~那到底怎麼唸呢?
    • (2,315)Python控制結構一次懂:實作簡單的計算機
    • (17)前端工程師和後端工程師的差別是什麼?

    文章分類

    • SEO (1)
    • SEO (30)
    • 設計 (1)
    • 設計 (36)
    • 網路行銷 (1)
    • 網路行銷 (1)
    • 網路行銷 (1)
    • 網路行銷 (15)
    • 前端工程師CSS基礎課程 (36)
    • 11月第四週分享 (5)
    • 11月第三週分享 (5)
    • 11月第二週分享 (5)
    • 11月第一週分享 (5)
    • 第五週學習 (5)
    • 第四週學習 (5)
    • 第三週學習 (5)
    • 第一週學習 (5)
    • 第二週學習 (5)
    • 程式設計課程相關 (444)
    • Java課程心得 (7)
    • 吃喝電玩 (7)
    • 未分類文章 (1)

    最新文章

    • 人工智慧如何在戰火連天的烏俄地區幫助烏克蘭?
    • 討論度爆棚元宇宙時裝周竟犯這種失誤?完美步上20年前的後塵?
    • Google一出手就要打趴YouTube零廣告第三方撥放器?
    • 2022討論度最高的七大面向突破不可不知!!
    • 前端工程師開發網頁好助手非Emmet莫屬?為什麼?
    • Python和Java搞清楚差別了嗎?到底該怎麼選擇呢?
    • 日本最新發明讓你在虛擬的元宇宙裡也能體驗觸覺和痛覺!!
    • 人工智慧專業操盤手幫你選好潛力股和加密貨幣~真的能信嗎?
    • 台大打造人工智慧眼科診斷軟體,助糖尿病友預防視網膜病變!!
    • 使命必達的人工智慧機器人也要丟飯碗了?!人類不用再怕被取代了?

    動態訂閱

    文章精選

    文章搜尋

    誰來我家

    參觀人氣

    • 本日人氣:
    • 累積人氣: