在線零售站點(diǎn)自適應(yīng)和商業(yè)智能的發(fā)現(xiàn)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

1 引言

電子商務(wù)已經(jīng)被稱為是Internet最重要的應(yīng)用之一www正以其簡(jiǎn)單易用性熹得越來(lái)越多的用戶，為用戶和商家提供了雙向交流、”虛擬“交易的理想空間在電子商務(wù)環(huán)境下一個(gè)聯(lián)機(jī)零售商在Web上開(kāi)展電子商務(wù)的業(yè)務(wù)模型如圖戶二。其中市場(chǎng)數(shù)據(jù)存儲(chǔ)商品信息和用戶的交易信息；Web結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)Web頁(yè)和Web的結(jié)構(gòu)。服務(wù)數(shù)據(jù)存儲(chǔ)訪問(wèn)日志。

一個(gè)標(biāo)準(zhǔn)的在線零售網(wǎng)站的分類(lèi)設(shè)計(jì)結(jié)構(gòu)如圖2所示其中：每一個(gè)節(jié)點(diǎn)表示一個(gè)頁(yè)面。N節(jié)點(diǎn)表示導(dǎo)航頁(yè)或分類(lèi)頁(yè)；C節(jié)點(diǎn)表示內(nèi)容頁(yè)或購(gòu)買(mǎi)貞。網(wǎng)站的結(jié)構(gòu)是介于樹(shù)形和網(wǎng)狀層次結(jié)構(gòu)之間的一種結(jié)構(gòu)。網(wǎng)站的設(shè)計(jì)者會(huì)盡量考慮到達(dá)一個(gè)購(gòu)買(mǎi)頁(yè)存在多個(gè)路徑；而且從物品的分類(lèi)結(jié)構(gòu)匕說(shuō)。很多物品屬于多個(gè)類(lèi)，如電子書(shū)。既屬于書(shū)籍類(lèi)又屬于電子產(chǎn)品規(guī)模越大的站點(diǎn)。其結(jié)構(gòu)越復(fù)雜。

開(kāi)展在線零售業(yè)務(wù)的一個(gè)主要向題就是；用戶面對(duì)廠家提供的大量產(chǎn)品信息，不知如何有效提?。欢鴱S家面對(duì)大量的用戶，不知他們的興趣和要求所在，因而不知如何調(diào)整其服務(wù)方式和產(chǎn)品結(jié)構(gòu)：

1.全體用戶對(duì)零售商品的興趣不一致。對(duì)物品的興趣存在著一個(gè)概率分布，即全體用戶對(duì)某些物品的興趣要遠(yuǎn)遠(yuǎn)大于另一些物品。但Weh站點(diǎn)Web頁(yè)面結(jié)構(gòu)的分類(lèi)層次設(shè)汁必須嚴(yán)格遵循商品的分類(lèi)結(jié)構(gòu)，因?yàn)槿绻皇沁@樣，一般用戶就無(wú)法訪向。于是這兩者之間就存在一種矛盾這種矛盾所導(dǎo)致的結(jié)果是大量用戶不得不瀏覽許多不相關(guān)的頁(yè)面，進(jìn)人Web站點(diǎn)的很多層次最終才能找到自己所需要的商品。解決這個(gè)問(wèn)題的一種思路是將圖1上的導(dǎo)航頁(yè)（N頁(yè)）變成導(dǎo)航內(nèi)容頁(yè)（NC頁(yè)）。這樣用戶就可以在N頁(yè)上直接購(gòu)買(mǎi)自己需要的商品。

2. 許多用戶購(gòu)買(mǎi)的物品類(lèi)似于啤酒和尿布這樣的物品—屬于數(shù)據(jù)挖掘中的經(jīng)典問(wèn)題，即在頁(yè)面結(jié)構(gòu)分類(lèi)上兩者相距很遠(yuǎn)。但很多顧客會(huì)同時(shí)購(gòu)買(mǎi)干是這些用戶就不得不反復(fù)進(jìn)入退出多個(gè)Web頁(yè)，來(lái)完成購(gòu)買(mǎi)對(duì)于這樣具有關(guān)聯(lián)購(gòu)買(mǎi)的物品集，要做的就是如何自動(dòng)發(fā)現(xiàn)關(guān)聯(lián)物品集。并且自動(dòng)

建立包含它們的導(dǎo)航內(nèi)容頁(yè)，以幫助用戶訪問(wèn)。

所以需要建立一個(gè)模型和相應(yīng)的算法在各導(dǎo)航頁(yè)上標(biāo)注購(gòu)買(mǎi)物品快捷清單。即經(jīng)過(guò)算法處理后，N頁(yè)要自動(dòng)變成NC頁(yè)，即導(dǎo)航助買(mǎi)頁(yè)。原有的N頁(yè)之問(wèn)的導(dǎo)航關(guān)系不被破壞。NC頁(yè)將滿足大部分用戶的需求，使他們不需訪問(wèn)過(guò)多的層次或盡量不需繞路而進(jìn)行購(gòu)買(mǎi)。

解決這個(gè)問(wèn)題的方法是根據(jù)在線零售站點(diǎn)的Web訪問(wèn)到推薦點(diǎn)通過(guò)關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法從用戶的交易數(shù)據(jù)中，發(fā)現(xiàn)關(guān)聯(lián)購(gòu)買(mǎi)集合；在推薦點(diǎn)上標(biāo)注這些商品及其關(guān)聯(lián)購(gòu)買(mǎi)集合；當(dāng)處理完所有的關(guān)聯(lián)購(gòu)買(mǎi)集合后，通過(guò)竟?fàn)巵?lái)決定出現(xiàn)在導(dǎo)骯頁(yè)面上的物品集，最終將導(dǎo)航頁(yè)合理地變成導(dǎo)航購(gòu)買(mǎi)頁(yè)。這樣全體用戶對(duì)這樣的站點(diǎn)進(jìn)行訪問(wèn)，他們的總的訪問(wèn)遍歷教就會(huì)減小于是通過(guò)這樣的過(guò)程卜這個(gè)站點(diǎn)就可以自動(dòng)根據(jù)用戶的訪向購(gòu)買(mǎi)情況，進(jìn)行自適應(yīng)。

文中首次提出將數(shù)據(jù)挖掘的技術(shù)應(yīng)用于電子商務(wù)的環(huán)境下。以發(fā)現(xiàn)市場(chǎng)智能。挖擁的對(duì)象不僅包括日志、Web頁(yè)面，也包括市場(chǎng)數(shù)據(jù)。文中還給出了在電子商務(wù)環(huán)境下挖擁的一個(gè)總的框架。但他們的方法依然局限在傳統(tǒng)的挖掘手段。本文所述方法是建立在其基礎(chǔ)之上，更好地發(fā)現(xiàn)并應(yīng)用了市場(chǎng)智能。不僅應(yīng)用傳統(tǒng)的挖掘手段（如關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法）而且新定義和建立了自適應(yīng)模型進(jìn)行Web站點(diǎn)結(jié)構(gòu)的有限智能調(diào)整，即使站點(diǎn)能夠根據(jù)群體用戶的訪問(wèn)而自適應(yīng)。

文中首次給出Web挖掘的定義，并且給出一個(gè)關(guān)于Web訪向信息挖掘的系統(tǒng)WEBMINER。文中提到的思路是通過(guò)對(duì)Web站點(diǎn)的日志進(jìn)行處理[ss7將數(shù)據(jù)組織成傳統(tǒng)的數(shù)據(jù)挖掘方法能夠處理的事務(wù)數(shù)據(jù)形式，然后利用傳統(tǒng)的數(shù)據(jù)挖掘方法（如傳統(tǒng)的關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法）進(jìn)行處理。其得出的挖掘結(jié)果也是傳統(tǒng)的數(shù)據(jù)挖掘結(jié)果，并沒(méi)有根據(jù)挖掘的結(jié)果調(diào)整站點(diǎn)的組織結(jié)構(gòu)。找們的方法是在這種方法的墓礎(chǔ)上。不但得到挖掘的結(jié)果而且把挖掘的結(jié)果用于改進(jìn)在線零售站點(diǎn)的組織結(jié)構(gòu)，以利于群體用戶的訪問(wèn)。

Web Log Miner方法用OLAP技術(shù)來(lái)實(shí)現(xiàn)對(duì)Web日志數(shù)據(jù)的預(yù)測(cè)、分類(lèi)、時(shí)間序列分析。其分析的結(jié)果沒(méi)有用于Web站點(diǎn)的重新設(shè)計(jì)，而我們的方法是要主要用于站點(diǎn)的自動(dòng)重新設(shè)計(jì)，且不破壞原有的分類(lèi)結(jié)構(gòu)，即自適應(yīng)在文中，這些方法的目的是自動(dòng)定制不同的用戶訪問(wèn)界面。其特點(diǎn)是：1）W eb站點(diǎn)或代理動(dòng)態(tài)地把一些增強(qiáng)的當(dāng)前可視的Web頁(yè)面給用戶即定制個(gè)性化的頁(yè)面；2）頁(yè)面上的信息針對(duì)的是基于某種模型而得到的特定的某一個(gè)，或某一類(lèi)用戶；3）該棋型基于該用戶或該類(lèi)用戶以前的訪問(wèn)方式。對(duì)比來(lái)說(shuō)，找們的方法1）是一種優(yōu)化方法；2）周期性、離線地進(jìn)行挖掘；3）挖掘的對(duì)象是全體用戶的交互行為，挖掘的是全體用戶的共同訪問(wèn)購(gòu)買(mǎi)興趣，挖掘的結(jié)果面向全體用戶；

4）不需要特定的某一個(gè)或某一類(lèi)用戶的信息。文中用聚類(lèi)方法實(shí)現(xiàn)Web站點(diǎn)對(duì)外部訪問(wèn)的自適應(yīng)。它通過(guò)PageGather聚類(lèi)方法的結(jié)果：索引頁(yè)，來(lái)幫助用戶進(jìn)行訪間。這種方法使用聚類(lèi)挖掘，在一個(gè)Web站點(diǎn)上尋找相關(guān)頁(yè)面的集合。這種相關(guān)頁(yè)面集合是根據(jù)總休用戶的相關(guān)訪問(wèn)來(lái)決定的。采用的手段是創(chuàng)立相似矩陣，矩陣的元素是根據(jù)訪間日志所得出的頁(yè)面之間的共同被訪問(wèn)的頻度。然后在這個(gè)矩陣中尋找每一個(gè)聚類(lèi)，根據(jù)每一個(gè)聚類(lèi)創(chuàng)立一個(gè)索引頁(yè)。這種方法自適應(yīng)的基本元素是侮個(gè)Web頁(yè)面，而且算法需要建立大量的索引頁(yè)；而在本文方法中，自適應(yīng)的基本元素是商品。方法本身不破壞Web站點(diǎn)原有的分類(lèi)結(jié)構(gòu)，不會(huì)形成附加的索引頁(yè)。被提升的內(nèi)容，自然而然地出現(xiàn)在它們應(yīng)該出現(xiàn)的地方。

在零售業(yè)務(wù)中，客戶對(duì)商品的興趣和對(duì)商品的購(gòu)買(mǎi)是兩個(gè)不同的概念。在傳統(tǒng)的零售業(yè)務(wù)中，只能記錄對(duì)商品的購(gòu)買(mǎi)信息，而無(wú)法直接得到用戶對(duì)商品的興趣信息。而對(duì)比傳統(tǒng)的零售業(yè)務(wù)在在線零售站點(diǎn)中，用戶訪問(wèn)信息可以記錄更為詳細(xì)的客戶對(duì)商品的訪問(wèn)，因而通過(guò)挖掘可以得到用戶對(duì)商品的興趣知識(shí)一旦服務(wù)方了解到顧客的興趣知識(shí)和購(gòu)買(mǎi)知識(shí)，那么就可以采用相應(yīng)的商業(yè)促銷(xiāo)手段把潛在的用戶轉(zhuǎn)變?yōu)閷?shí)際的用戶。本文給出一些關(guān)于商業(yè)智能的定義以幫助服務(wù)方發(fā)現(xiàn)用戶的瀏覽興趣。并給出相應(yīng)的OLAP方法以發(fā)現(xiàn)這些商業(yè)智能以幫助服務(wù)方更好地開(kāi)展商業(yè)服務(wù)。和文中所述方法相比本文方法將用戶的訪問(wèn)興趣與用戶的購(gòu)買(mǎi)行為分開(kāi)。利用OLAP技術(shù)進(jìn)行挖掘。

2 數(shù)據(jù)準(zhǔn)備

2.1 挖掘?qū)ο?/P>

挖掘的對(duì)象存在于圖1所示的后臺(tái)數(shù)據(jù)存儲(chǔ)層之中。具體分為：

1）用戶的訪問(wèn)日志（在圖1的服務(wù)數(shù)據(jù)中）。服務(wù)器上的日志格式遵循W3C標(biāo)準(zhǔn)；2）用戶的交易紀(jì)錄即傳統(tǒng)的交易事務(wù)數(shù)據(jù)（在圖1的市場(chǎng)數(shù)據(jù)中）。交易數(shù)據(jù)記錄用戶對(duì)物品的購(gòu)買(mǎi)信息。

2.2 生成用戶訪問(wèn)任務(wù)

進(jìn)行挖掘時(shí)。首先要將一段時(shí)間用戶的訪向日志組織成用戶訪問(wèn)事務(wù)數(shù)據(jù)。設(shè)L為用戶訪問(wèn)日志，其中的一個(gè)項(xiàng)包括用戶的IP地址l.巾，用戶的標(biāo)識(shí)符1.ui d.被存取頁(yè)的URL地址1.ur l.以及存取訪問(wèn)的時(shí)間time,

這里C是一個(gè)固定的時(shí)間窗。對(duì)Log進(jìn)行處理，找到每一個(gè)事務(wù)，然后就可以對(duì)這些事務(wù)進(jìn)行關(guān)聯(lián)規(guī)則發(fā)現(xiàn)。尋找訪問(wèn)事務(wù)的算法為

1.對(duì)日志進(jìn)行預(yù)處理。

2.根據(jù)睡一個(gè)訪問(wèn)者IF,劃分日志即在Log中找到每一個(gè)訪問(wèn)者的訪問(wèn)記錄集。

3.對(duì)訪問(wèn)者的訪間記錄集。根據(jù)c進(jìn)行分割。找到每一個(gè)訪問(wèn)者的每一次訪問(wèn)記錄集，這時(shí)，每一個(gè)訪問(wèn)者的每一次訪同記錄集就構(gòu)成r一個(gè)訪問(wèn)事務(wù)

4.最終按時(shí)間排序的所有訪問(wèn)事務(wù)構(gòu)成我們進(jìn)行挖掘的基礎(chǔ)。

處理完日志后我們就有了用戶訪問(wèn)事務(wù)集T;此時(shí)，對(duì)了進(jìn)行處理，把用戶每次發(fā)生購(gòu)買(mǎi)行為和由此而進(jìn)行的路徑訪間提取出來(lái)，形成用戶訪間購(gòu)買(mǎi)事務(wù)集其中每一條記錄不僅包括每一個(gè)用戶的交易記錄而且也包括該用戶發(fā)生一次購(gòu)買(mǎi)時(shí)，他對(duì)Web站點(diǎn)的訪問(wèn)記錄即他的存取路徑3 在線。售站點(diǎn)的自適應(yīng)模型

在線零售自適應(yīng)模型荃于如下四種基本元素

1）物品為用戶購(gòu)買(mǎi)的目標(biāo)。

2）頁(yè)面頁(yè)面本身分為導(dǎo)航頁(yè)、購(gòu)買(mǎi)頁(yè)、導(dǎo)航購(gòu)買(mǎi)頁(yè)每個(gè)頁(yè)面，或?qū)Ш劫?gòu)買(mǎi)頁(yè)面包含一些物品一個(gè)物品可能出現(xiàn)在多個(gè)購(gòu)買(mǎi)頁(yè)面，或?qū)Ш劫?gòu)買(mǎi)頁(yè)面頁(yè)面中。

3）頁(yè)面之間的層次關(guān)系：這種層次關(guān)系反映出用戶購(gòu)買(mǎi)一個(gè)物品至少需要訪問(wèn)的頁(yè)面的個(gè)數(shù)。如果一個(gè)常被購(gòu)買(mǎi)的

物品處于較低的層次。那么需要將其提升以減少這些用戶的訪間層次數(shù)。

4）用戶的訪問(wèn)通過(guò)對(duì)用戶訪問(wèn)狀況的挖捆?？梢缘玫饺后w用戶購(gòu)買(mǎi)一個(gè)物品時(shí)所通過(guò)的每一個(gè)頁(yè)面的次數(shù)4 系統(tǒng)總的處理框架

整個(gè)系統(tǒng)按圖4所示結(jié)構(gòu)進(jìn)行處理在一個(gè)T時(shí)間段內(nèi)，經(jīng)過(guò)群體用戶的訪問(wèn)，會(huì)得到新的挖掘?qū)ο?，然后?zhí)行如下處理過(guò)程：

1）數(shù)據(jù)準(zhǔn)備：根據(jù)用戶訪問(wèn)記錄和用戶交易記錄得到用戶訪問(wèn)購(gòu)買(mǎi)事務(wù)集TP,

2）關(guān)聯(lián)規(guī)則發(fā)現(xiàn)：在TP中尋找關(guān)聯(lián)物品集，

3）建立自適應(yīng)模型：根據(jù)用戶的訪問(wèn)購(gòu)買(mǎi)事務(wù)集TP和原有站點(diǎn)的拓?fù)浣Y(jié)構(gòu)在每一個(gè)節(jié)點(diǎn)4，

4）生成新的導(dǎo)航購(gòu)買(mǎi)頁(yè)在每個(gè)節(jié)點(diǎn)上根據(jù)放置物品集和關(guān)聯(lián)物品集以及原有頁(yè)面的拓?fù)浣Y(jié)構(gòu)生成新的導(dǎo)航購(gòu)買(mǎi)頁(yè)。

3 了結(jié)論以及將來(lái)的工作

開(kāi)展在線零售業(yè)務(wù)存在的問(wèn)題是群體用戶必須瀏覽許多不相關(guān)的頁(yè)面。才能最終找到自己所需要的商品。為了解決該問(wèn)題，本文建立一個(gè)在線零售站點(diǎn)的自適應(yīng)模塑。在在線零售站點(diǎn)中，服務(wù)方需要了解用戶的瀏覽興趣以把潛在的用戶轉(zhuǎn)變?yōu)閷?shí)際的用戶。本文給出相應(yīng)的利用OLAP發(fā)現(xiàn)商業(yè)智能的方法，以幫助服務(wù)方更好地開(kāi)展有針對(duì)性的服務(wù)。

本文所述的自適應(yīng)方法本質(zhì)上是Web訪間信息挖掘中（WebUsageMlning）的一種推薦方法，即根據(jù)群體用戶對(duì)在線零售電子商務(wù)站點(diǎn)的訪向，在We卜站點(diǎn)上推薦根據(jù)對(duì)以前群體用戶的訪問(wèn)興趣挖掘而得到的知識(shí)，以加速當(dāng)前群體用戶對(duì)站點(diǎn)的訪問(wèn)效率。在該方法中，建立模型的訓(xùn)練過(guò)程較為簡(jiǎn)單。相應(yīng)的各個(gè)公式比較容易計(jì)算。該工作朝著建立完全自適應(yīng)的Web站點(diǎn)作出了貢獻(xiàn)：

1）分析了在線零售站點(diǎn)，用戶訪問(wèn)時(shí)存在的冗余訪問(wèn)問(wèn)題并給出了解決這種間題的辦法，即建立網(wǎng)站的自適應(yīng)模

2）在校型中，對(duì)頻繁被購(gòu)買(mǎi)商品通過(guò)放置策略和后退策略找到推薦點(diǎn)，通過(guò)關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法發(fā)現(xiàn)關(guān)聯(lián)購(gòu)買(mǎi)集合；在推薦點(diǎn)上標(biāo)注這些商品及其關(guān)聯(lián)購(gòu)買(mǎi)集合；最終將導(dǎo)骯頁(yè)合理地變成導(dǎo)航購(gòu)買(mǎi)頁(yè)即站點(diǎn)可以自動(dòng)根據(jù)群體用戶的訪問(wèn)購(gòu)買(mǎi)情況進(jìn)行自適應(yīng)。

3）在模型中，關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法被合理地結(jié)合起來(lái)，可以發(fā)現(xiàn)并且解決在在線零售電子商務(wù)站點(diǎn)上依然存在的啤酒和尿布的問(wèn)題。而且利用Web站點(diǎn)的優(yōu)點(diǎn)，可以更容易地解決這個(gè)向題

4）該方法完全是自動(dòng)的，不需要人工的干預(yù)。

在本文所述商業(yè)智能發(fā)現(xiàn)方法中?？梢园l(fā)現(xiàn)在傳統(tǒng)的零售業(yè)務(wù)中，無(wú)法直接得到用戶對(duì)商品的興趣信息所表征的興趣知識(shí)。那么結(jié)合傳統(tǒng)的晌買(mǎi)知識(shí)的發(fā)現(xiàn)一旦服務(wù)方了解這些知識(shí)，那么就可以采用相應(yīng)的商業(yè)促梢手段把潛在的用戶轉(zhuǎn)變?yōu)閷?shí)際的用戶。本文給出一些關(guān)于商業(yè)智能的定義以幫助服務(wù)方發(fā)現(xiàn)用戶的瀏覽興趣。并給出相應(yīng)的OLAP方法以發(fā)現(xiàn)這些商業(yè)智能。幫助服務(wù)方更好地開(kāi)展商業(yè)服務(wù)。

我們進(jìn)一步的工作將不僅是web訪問(wèn)信息挖掘中的推薦方法而且是預(yù)側(cè)方法。通過(guò)將這兩種方法結(jié)合起來(lái)。我們不但能夠在Web站點(diǎn)上推薦找們所發(fā)現(xiàn)的用戶的興趣，而且也將能夠預(yù)側(cè)用戶的興趣。結(jié)構(gòu)、群體用戶的訪問(wèn)日志和群體用戶的交易記錄，建立網(wǎng)站的自適應(yīng)模型。在模型中。對(duì)頻繁被購(gòu)買(mǎi)商品通過(guò)搜索算法找。（萬(wàn)方數(shù)據(jù)）