作者vacuityhu (真空管)
看板Math
標題[微積] 最佳化的概念
時間Fri Sep 13 03:07:43 2024
抱歉大學學的東西不小心都還給老師了...請各路大神幫忙QQ
假設我有一組數據F_data
有一個函數F(a, θ, c) = a*cos(θ) + c
則可定義出我的objective function
min|| F-F_data ||_2, minimize的對象是a, θ, c, 且0<=θ<=2pi
為了求解這個最佳化問題
我可能可以選擇Gauss–Newton algorithm
或是Levenberg–Marquardt algorithm
或其他不同的演算法等等
我的問題是, 當我選擇不同算法的時候
這各種算法理論上應該要收斂到同一個最佳解嗎?
我以為當objective function決定的當下, 最佳解就跟著決定了
而不同算法只是走著不同的路線往最佳解收斂
不知道我的理解是不是對的QQ
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.171.17.65 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Math/M.1726168065.A.3EF.html
1F：→ saltlake : 不同的起始點可能導致「收斂」到不同的解 09/13 07:15
2F：→ saltlake : 都看到「牛頓」法了。求根問題用牛頓法解，就知道 09/13 07:16
這可以理解, 但我對問題的定義應該已經讓根只有一個了才是?
又或著我控制各算法的起始點也一致的話, 就能讓大家都收斂到同一個解了嗎?
※ 編輯: vacuityhu (1.171.17.65 臺灣), 09/13/2024 09:24:16
3F：推 arrenwu : 欸 看你用什麼演算法。就我知道的演算法通常是收斂 09/13 10:10
4F：→ arrenwu : 到一個區域性的極值 09/13 10:10
5F：→ arrenwu : 但根據問題的性質，區域性的極值可能就是全域性的 09/13 10:10
6F：→ arrenwu : 極值。比如 comvex optimization problem 就有這種 09/13 10:11
7F：→ arrenwu : 性質 09/13 10:11
8F：→ mantour : 如果有幾個不同的局部極值,即使起始點一樣走不同路 09/14 16:43
9F：→ mantour : 徑也有可能最後落在不同洞裡阿 09/14 16:44
10F：→ mantour : 甚至用同一種算法, 比如梯度下降的步長不同也有可能 09/14 16:49
11F：→ mantour : 導致從同一個起點出發最後落在不同的山凹裡 09/14 16:49
12F：→ saltlake : 高中數學，求函數極大極小值，要看可能的極值點 09/15 00:07
13F：→ saltlake : 要對函數做一次微分後求根。那些根包括極點和拐點 09/15 00:08
14F：→ saltlake : 先看只有一個資料點的情況，目標函數微分後出現正弦 09/15 00:09
15F：→ saltlake : 函數，所以零點和二拍是兩選項。一次微分的括號裡面 09/15 00:10
16F：→ saltlake : 因為C是代入資料點，一般有誤差而不會滿足 09/15 00:10
17F：→ saltlake : 零點和二拍代入於弦函數得相同值，又剛好在區間端點 09/15 00:12