迅睿CMS框架是一款PHP8高性能·簡(jiǎn)單易用的CMS開源開發(fā)框架,基于MIT開源許可協(xié)議發(fā)布,免費(fèi)且不限制商業(yè)使用,是免費(fèi)開源的產(chǎn)品,以萬端互聯(lián)為設(shè)計(jì)理念,支持的微信公眾號(hào)、小程序、APP客戶端、移動(dòng)端網(wǎng)站、PC網(wǎng)站等多終端式管理系統(tǒng)。
聯(lián)系官方銷售客服
1835022288
028-61286886
請(qǐng)教一個(gè)問題,機(jī)器人爬蟲能對(duì)需要登陸權(quán)限的內(nèi)抓取不?
肯定抓不了的
回復(fù)@張大山
謝謝
用python都可以爬,爬完了把數(shù)據(jù)返回給php,然后php進(jìn)行處理入庫,這樣就可以,要登錄的都可以
回復(fù)@琉惗
如果要登陸才能瀏覽的內(nèi)容也可以?我的意思是如果我要綁定硬件才能登陸,爬取者是不能登陸的,這樣也可以?
這樣的就要先獲取到硬件設(shè)備信息才行,具體的得問python大神,不過應(yīng)該是沒問題的
回復(fù)@黃老邪
我是要防止爬取,不是我要爬別人,
好吧。我以為你要爬別人呢,那我估計(jì)沒啥號(hào)辦法,淘寶都躲不過被人爬,何況是你的站呢,大神還是很多的
淘寶被爬的應(yīng)當(dāng)是游客能瀏覽的內(nèi)容吧?
有些是需要登錄的
那應(yīng)該是他在登陸后才能爬,沒登陸應(yīng)當(dāng)不能吧
可以的,能繞過去,我之前找了個(gè),他就能繞過去
比如,你出價(jià)一萬,要爬的網(wǎng)站會(huì)員是一千,那我買個(gè)會(huì)員,登錄了采集給你,我賺9000,也不是不可能的
但是說,繞過權(quán)限采集,我覺得吧,可能性不大,或者說,需要很厲害的技術(shù),還要通過類似上面說的操作
否則,銀行網(wǎng)站怎么辦?
比如要加密狗訪問的,如果說要獲取硬件信息,那他得去弄到這個(gè)加密狗先啊
有驗(yàn)證的吧,python弄個(gè)cookie的驗(yàn)證
肯定抓不了的
回復(fù)@張大山
謝謝
用python都可以爬,爬完了把數(shù)據(jù)返回給php,然后php進(jìn)行處理入庫,這樣就可以,要登錄的都可以
回復(fù)@琉惗
如果要登陸才能瀏覽的內(nèi)容也可以?我的意思是如果我要綁定硬件才能登陸,爬取者是不能登陸的,這樣也可以?
這樣的就要先獲取到硬件設(shè)備信息才行,具體的得問python大神,不過應(yīng)該是沒問題的
回復(fù)@黃老邪
回復(fù)@琉惗
我是要防止爬取,不是我要爬別人,
好吧。我以為你要爬別人呢,那我估計(jì)沒啥號(hào)辦法,淘寶都躲不過被人爬,何況是你的站呢,大神還是很多的
回復(fù)@黃老邪
回復(fù)@琉惗
淘寶被爬的應(yīng)當(dāng)是游客能瀏覽的內(nèi)容吧?
有些是需要登錄的
回復(fù)@琉惗
那應(yīng)該是他在登陸后才能爬,沒登陸應(yīng)當(dāng)不能吧
可以的,能繞過去,我之前找了個(gè),他就能繞過去
回復(fù)@黃老邪
比如,你出價(jià)一萬,要爬的網(wǎng)站會(huì)員是一千,那我買個(gè)會(huì)員,登錄了采集給你,我賺9000,也不是不可能的
但是說,繞過權(quán)限采集,我覺得吧,可能性不大,或者說,需要很厲害的技術(shù),還要通過類似上面說的操作
否則,銀行網(wǎng)站怎么辦?
比如要加密狗訪問的,如果說要獲取硬件信息,那他得去弄到這個(gè)加密狗先啊
有驗(yàn)證的吧,python弄個(gè)cookie的驗(yàn)證