導讀：個性化推薦在電商領域的作用不言而喻，推薦演算法直接影響產品體驗、使用者留存和平臺收益。本次分享結合電商推薦和廣告營銷兩個領域，介紹複雜業務形態下的演算法技術應用，以及如何打通業務領域的壁壘，達到整體收益更優的目的。
主要內容包括：
- 業務介紹：場景、目標、架構；
- 召回最佳化：幾個召回的最佳化點；
- 多工探索：排序的多工探索，迭代路徑以及一些小的trick；
- 推薦、廣告結合：推薦和廣告產品形態以及能力的一些結合複用。
01業務介紹
- 業務場景：包括分期商城推薦頁、樓層推薦頁、京東出眾、營銷推薦等頁面，中間兩欄為app截圖。
- 業務指標：主要是CTR、GMV、ARPU（使用者價值）、單量、加購、收藏、瀏覽時長、分享等。
- 使用者的決策路徑：如，從曝光(看到) > 點選 > action > 支付。
右圖是推薦系統的架構圖，流量透過接入層到推薦系統中控，中控依次取畫像、帶畫像調多個召回服務，彙總召回結果，分發到排序服務進行特徵加工，進行線上預測；預測結果經過重排後，將展示列表的特徵快照資料經MQ落庫，如畫像、商品特徵及一些實時特徵，落庫後拼接接入層落的label資料，形成最終樣本，進行模型迭代、測試、推到線上完成模型更新。
02召回最佳化
1. 畫像召回-最佳化
首先我們在常規的畫像召回上進行了最佳化。常規畫像召回的流程是取畫像、取對應倒排索引，根據索引分用規則打分，返回topN。
這裡我們採用畫像預召回+模型的方式，主要可以解決畫像召回量大，召回內部人工規則排序效果差，難以迭代的問題。
模型選型：
從LR模型迭代到FFM，挖掘特徵交叉資訊，離線效果FFM優於LR、FM，常規的思路是使用排序的樣本，但這樣未能考慮從未曝光過的樣本，和推斷空間有差異，因此負樣本不僅採用曝光資料，也加入了部分召回資料，上線後取得不錯的效果；後面又迭代到更復雜的NN模型。
FFM模型主要是特徵對不同的field有不同的embedding表達，如圖所示，由於引入了field，無法像FM那樣降低計算複雜度。在FFM隱向量的長度為k，特徵數為n時，預測的計算複雜度為o(kn2)。
右下圖是畫像+模型的流程，透過spark生成樣本及特徵，在docker上訓練，把畫像預召回結果根據模型分排序截斷，返回topN。
2. 相似召回&評測
相似召回的基本思想是根據行為序列，推薦相似的item，實時性好。線上常規使用的幾類相似召回，典型的代表是itemCF ，我們根據不同週期、過濾方法、相似度計算方式，活躍使用者降權等進行迭代最佳化。後來使用embeding方式解決泛化性問題，embedding的發展過程，由最早的MF、ALS發展到word2vec，再到多對1的tag2vec，以及近幾年的randomWalk、line、node2vec，item的embedding表徵能力也逐漸增強。
我們透過構建使用者和商品的graph，利用randomwalk的方式得到一系列item序列；這裡容易控制序列長度和以每個節點開始的序列個數，將該序輸入word2vec得到item對應的embeding向量，完成對複雜關係鏈路建模。
接下來是怎樣評估embedding的好壞：
- 比較直接的是將i2i召回上線，上線評估核心指標，適合快速迭代等場景；
- 離線評測，將embedding輸入到排序模型，看對離線loss和AUC的一個收益；也可以離線生成U2I的推薦列表，評估召回的精確率、召回率、F1值等；
- 第三種，使用排序模型對U2I列表進行打分，評估均值、分佈。
但這幾種評測成本較高，i2i的相似關係怎麼評測，以及相似閾值怎麼確定沒有解決。
我們採用的方式是，先找一路線上效果較好的相似召回，比如ICF，使用item pair的內容特徵、統計特徵去擬合ICF的物品相似關係，離線生成模型。這個模型可以離線評估embedding生成的i2i相似列表，例如相似分均值等；
另外，我們使用該模型將線上相似召回彙總成一路。一般召回系統中有多路相似物品召回，每路相似召回，線上預測壓力較大，我們使用得到的模型離線對所有ICF結果彙總後離線評分，輸出一路相似召回，在效果略漲的前提下，也緩解了線上推斷壓力。
03排序最佳化
問題和挑戰：有CTR、單量、GMV等多個目標，多個目標會此消彼長、轉化資料稀疏，影響建模。
任務迭代的過程：主要經過單模型loss加權，多模型獨立學習，單模型hard share+聯合訓練，soft share以及調優探索等過程。下面為大家詳細介紹下：
1. 樣本調權
先看樣本調權，樣本調權是解決正負樣本比例不均衡的一種方法。由於業務中考慮多個目標，我們將轉化相關的行為樣本進行不同程度的加權，同時根據轉化金額、根據點選後轉化時間對部分樣本進行調權，這裡可使用log平滑等方式。
另外嘗試使用了focus loss，緩解正負樣本不均，相比交叉熵，放大了分錯樣本的loss影響，也取得一些提升。
總而言之，調loss權重，會干預學習的梯度，嚴格來講還是單目標最佳化，這種過取樣方式兼顧了其他目標指標；其優點是，可以複用線上整套流程，無需改動，實現簡單，效果明顯。缺點是AB成本較高，線上需維護多個模型，加權權重難定義，調節成本大，週期較長，模型分含義不好解釋，對線上轉化相關收益，難以達到全域性最優。
右圖是使用的特徵，除了上下文、使用者、商品側等常規特徵外，hash類特徵交叉，匹配類特徵交叉都對最終效果有正向影響。
2. 多模型整合
第二種方式，是多模型獨立訓練，然後整合的方式。
線上按訂單和GMV導向時，分別採用右圖的公式，追求訂單是，使用CTR*CVR，會對price做些特殊處理；優點是任務解耦，模型獨立，缺點也很明顯，模型多維護成本高，引數共享困難，資料稀疏問題；同時由於線上使用期望成交額排序，也就是說乘了price，這裡需要pCTR pCVR預估的準確性要求較高，且分佈要和實際分佈相似，這樣才能保證期望成交額的準確性。
那為什麼要預估校準？前面的模型，考慮到效能和訓練效果，一般會對負樣本抽樣、正樣本加權等方式訓練模型，從左圖的預估CTR（橫軸）和真實CTR（縱軸）的散點分佈，可以看到預估CTR高於真實CTR，尤其是預估CTR高的那部分，偏差更大。
- 首先對取樣進行校準，校準的公式在sigmoid的入參中加入了ln(r），r為負取樣率，比如說5%；
- 對預估使用保序迴歸去校準；保序迴歸是一個加權最小二乘的二次規劃問題 。舉個具體例子，把測試樣本按預測值降序排列，依次計算每1w樣本的CTR統計均值，使用保序迴歸，輸出一個非遞減序列，也就是圖中的橘色這條線，最小化預估值和真實統計值的MSE誤差。線上維護pCTR和真實統計值的對映關係，查表使用。保序也就意味著正負樣本的相對序不變，AUC也就不變，但交叉熵和均方誤差均有大幅降低。
右圖是在對樣本使用不同分桶大小時，校準前後，預估值和真實值的MSE的大小，藍色這條線是pCTR和真實值的MSE，紅色線是校準後，保序值和真實值的MSE，可以看出，在各分桶大小下，MSE下降都非常明顯的，在我們場景下，下降了約88%，在實際中根據業務規模採用不同分桶大小，一般分桶在幾百、幾千這個量級，logloss也由0.1499降低至0.1234，降低了17%的。
3. 多工模型
首先我們使用hard share，同時訓練ctr和ctcvr的方式，既類似ESMM的方式訓練神經網路模型。遇到的問題是ctcvr的AUC，GAUC偏低，如左圖所示，我們嘗試調節了網路結構，也觀察倆個塔訓練過程中指標的變化。具體是，ctr側的loss隨著訓練降低，AUC提升；ctcvr側的loss雖然在降低，但auc在0.5附近。
這裡考慮，交叉熵作為損失函式，auc作為評估函式，模型在最佳化過程對資料進行迭代訓練，使loss達到最小，當loss為0極端值時，auc為1，但在不同資料訓練的中間過程時，loss的最佳化降低和auc的提升不一定成正比。在實際的業務資料中，曝光到轉化過於稀疏，原始比值約10000:1，即使對曝光資料進行負取樣也無法緩解極低比例。因此結合上圖具體訓練過程中ctcvr的loss明顯比ctr的loss小一個數量級這個情況，當pctcvr預估值都在0附近時，loss能達到很低，但ctcvr的auc只在0.5附近，同時調出模型訓練過程中ctr側和ctcvr側fc層權重的變化，可以看到CTR側引數分佈有明顯變化，ctcvr側fc層的引數分佈沒有明顯變化，fc層的引數沒有充分學習出來，導致AUC較低。我們對ctcvr的loss加強正樣本錯誤的懲罰力度，可以直接對轉化樣本進行過取樣或對ctcvrloss進行加權，是會影響點選樣本的分佈，進而影響ctr側的學習，嘗試發現對ctcvr側發生轉化的樣本學習錯誤l的oss進行常數量倍加大解決了此問題，ctr和ctcvr都進行了充分學習。
我們後面又探索了幾種hard share的最佳化，例如後期固定CTR側的引數，只學習CTCVR側；在CTCVR側，將曝光樣本的反傳梯度置為0，防止影響CTR學習，嘗試使用swish啟用函式，提升模型學習能力。
由於特徵在點選階段和轉化階段的表徵，及使用者關注差異的不同，像這個圖所示，又嘗試了softshare ，即MMOE+轉化序列的方式，加attention網路，考慮到使用者購買的決策過程，將加購、下單未支付等也當做正樣本來訓練，只是設定較小的權重；這裡列了加購到轉化間隔天數的一個分佈，當天加購當天下單，和之後下單的比例約符合8:2的關係，加購一天及之後的轉換比例，如圖所示。
預估GMV也引入了pAVR這個任務。還有是關於position bias的一些探索實踐，將postion置為0，使用PAL塔預測曝光機率等，減小bias。
04推薦+廣告業務概覽
1. 推薦+廣告業務
首先介紹下兩塊營銷業務，目前我們營銷演算法主要在最佳化萬川RTA和DSP的投放。RTA是19年左右新興的廣告投放模式，其集廣告主自身資料、演算法能力以及媒體的畫像資料，兩方兩階段預估，聯合投放，實現廣告效益最大化。
但很多廣告主沒有足夠的資料和演算法能力，為最佳化廣告投放效果，就將該工作委託給專業的第三方平臺，我們的產品萬川RTA就是這麼一個投放平臺，孵化於20年初。對外提供投放引擎、演算法預估、參競動態控制、分桶效果展示等一系列能力DSP投放，這裡列了個簡單示意圖，RTB是一種利用預估技術在數以十億計的流量上，針對每個流量進行質量評估以及出價的競價技術。在該模式的廣告投放中，DSP提供流量接入、反作弊、CTR/CVR預估及智慧出價技術，採買流量，在ADX平臺成交，以最大化投入產出為目標，為眾多廣告主提供優質服務。推薦+廣告結合，指的是：
- 第一，一些廣告聚合頁，頁內是活動推薦或者相關推薦，這裡和推薦很類似；比如我們採用CPM方式引流，推薦頁內部使用CPC結算的方式，這種模式也在探索。
- 第二，推薦能力在廣告上的複用，例如RTA深層轉化預估模型，CPC、ROI約束下的智慧出價問題，這些都複用了推薦演算法能力。
2. 冷啟動投放
RTA客戶一般轉化成本較高，轉化樣本數量過少，模型難以學習充分，前期效果一般，但廣告主又想盡快看到效果；還有，媒體不回傳曝光資料。
這裡我們採用部分參競爭樣本作為曝光資料，複用推薦的多工建模能力，輔助學習轉化模型，受RTA模式限制，RTA無法決策出哪個廣告創意，這裡僅用CVR線上預估；因為樣本量過下，我們先後嘗試了幾種方式對樣本進行增廣，達到提升線上指標的目的，使用了樣本融合的方式，即融合客戶提供或其他場景的一些正負樣本，效果一般。
我們還使用了SMOTE線性插值的方式對連續特徵進行擾動增廣，取得一定效果；但mixup及類似的增廣方法與隨機噪聲的增廣方法可擴充套件性較弱，後來使用GAN進行增廣。
難點:
- 如果生成embedding形式的樣本，由於模型訓練時，其embedding的權重也在改變，會出現二者不在一個空間的問題。
- 如果生成真實樣本，由於使用了類別特徵，對GAN非常不友好，其梯度的稀疏程度較高。(在這裡使用該方法，並使用onehot方式降低梯度的稀疏程度)
- 生成的樣本不像圖片一樣可以肉眼檢查有效性，只能看樣本的大致情況，或者重新訓練模型，或者將正樣本替換成增廣的正樣本並檢視訓練好的模型的auc。
主要方法：
- 使用WGAN即基於W距離的GAN，提高訓練GAN的穩定性。
- 判別器同時預測樣本的真實性和轉化機率，即將先增廣樣本再分類，改為同時預測，即端到端的訓練。
- 條件GAN強制生成不平衡類別的樣本，比如轉化樣本，防止模式崩塌。
- 不只增廣單一類別的樣本，為了防止不同類別的樣本存在“包裹” 問題，比如正樣本的空間包裹負樣本的空間，那麼透過正樣本空間增廣得到的樣本很有可能是負樣本。
- 利用半監督學習的方法將增廣樣本打上soft偽標籤，從而一定程度上指導判別器解決轉化的分類問題。
3. CPC控制
DSP主要有三類客戶，CPM跑量不跟單客戶、CPC投放客戶、ROI效果客戶。
根據使用者真實的ROI或期望值，ROI由客戶指定，根據投放，ROI不斷調整，如果設定ROI不合理，投不出去；演算法預測使用者的轉化價值，得到CPM出價，會投很多外部流量，無法按ECPM出價；流量價值的預估也複用了推薦的多工能力；我們的挑戰是流量按CPM採買，但按照CPC與客戶結算，這裡同時需要保證對CTR的精準預估和CPC的穩定控制，其中CPC是否穩定會影響客戶的預算決策，這裡採用了控制理論中經典的PID演算法去解決這個事；像無人機定高懸停、溫室控制都用到了該技術。
PID是比例、積分、微分單詞的首字母縮寫，公式如上圖所示，err(t)代表t時刻的差值，Kp代表對差值的放大幅度。第一項是目標值和實際值的差值，然後是差值的積分和變化率，也就是微分。
舉個例子說明這幾項的作用，比如說透過加熱的方式使水溫保持在60度，每秒鐘使用感測器採集下水溫，比如第一次採集是20度。
根據差值決定加熱幅度，加熱過快容易將水溫燒過60，加熱較慢時，根據實時反饋差值調節加熱力度，會進入到加熱和散熱持平，水溫一直保持在比如50度以下不變了，這個叫做靜態誤差。
解決的方法是對誤差進行積分，也就是這些部分，也用來干預加熱力度。為了減小震盪，這裡引入微分，也就是提前減速，更平穩的接近目標值。
右上圖是根據目標成本調控出價以及成交價，線上透過誤差監控不斷的調整出價，進而調整成交價；右1是出價和成交價的一個擬合關係；右下圖是幾個價格之間的關係，橘色代表出價，藍色代表成交價，最後調控結果實際成交均價等於目標成交價。
調控公式如左下圖，UT為誤差，經過函式變換後作用到CPM出價公式。
4. 轉化反饋延遲
因為使用者在下單前有決策時間，延遲轉化這中情況在推薦和廣告中都有，但由於廣告的歸因週期較長，一般為30天跟單，尤為明顯；由於客戶屬於週期性投放，每天新增計劃較多，這是每日新增計劃的一個佔比。
圖二是廣告主日訂單佔比的情況，大約在10天左右能跟到60%的訂單，這個廣告主間還是有差異的；我們根據網上論文，採用同時建模轉化機率和第幾天轉化的方式，對轉化時間做了個指數分佈的假設；做廣告的朋友應該對這個比較熟。
公式1即為轉化機率，公式2是轉化，且在第d天轉化的機率；在右圖，Y=1，代表label。這裡分別推匯出了d天轉化，以及負樣本的機率，使用交叉熵損失函式，學習wc，wd引數。推薦中也能借鑑使用，感興趣的同學可以研究下。
05成果與規劃
看下業務成果：
- 在推薦業務，從單目標切換到多目標模型，點選率和UV價值具有明顯提升，尤其是UV價值，第二個圖是我們推薦場景GMV，場景GMV上升趨勢顯著；
- 在DSP的廣告業務上，點選率提升顯著，同時降低了引流成本CPC，ROI資料也有穩步提升；
- 萬川RTA，對外部客戶的產品的轉化率提升累計到達15%，主要基於資料探勘和演算法能力。
右圖是演算法能力矩陣，是我們之後重點打磨建設物件，包括演算法總控，畫像、檢索、預估能力，分層實驗，預算分配能力，結合NLP和CV多模態特徵，對外輸出演算法能力，並承接上游的多個業務。
這裡的預算分配是指，DSP業務分桶實驗，一般是指按device或請求id分桶，但AB時會有預算消耗不均的問題，即一個分桶效果好，但預算被其他分桶搶去，擴量後效果變差，我們採用對預算進行切分，分桶到計劃下的單元維度。
後續攻克方向，例如uplift這類增量模型、轉化時延模型、多工+ROI精準預估，引數自動尋優（CEM、遺傳演算法），行業特徵挖掘等。
今天的分享就到這裡，謝謝大家。
嘉賓介紹：
分享嘉賓：李欣如 京東 演算法工程師
編輯整理：Hoh
出品平臺：DataFunTalk
