Скрипта за автоматски внесување податоци во МySql База

[username]

Па вака,

Дали постои, и ако постои каде можам да најдам скрипта напишана во php или javascript која ќе ми овозможи превземање на податоци од една веб страна и да внесува во моја датабаза mysql. Е сега ако постои нормално ќе треба да се модифицира и да се прилагоди на моите потребни но за почеток дали има таква или некој да ме упати како би можел да направам такво нешто..

Фала, Поздрав

 

[SkyDriver]

Незнам дали постои, али можеш сам да искуцаш една таква скрипта, не е некоја филозофија, веб сервиси + регекс за превземање на податоци од друг сајт и после обработените податоци од другиот сајт само ги запишуваш во база кај тебе.

П.С. Имај во предвид дека без дозвола од другиот сајт, ова е незаконско крадење информации.

 

[gdamjan]

П.С. Имај во предвид дека без дозвола од другиот сајт, ова е незаконско крадење информации.

тоа во законите не го пишува

@username
имаш идеја како ќе ги вадиш тие податоци кои ги сакаш од страната?
со php може но е малку потешко бидејќи не е баш наменет за таа работа.

со python е многу полесно и во хаклабот КИКА сме правеле веќе неколку такви проекти... така да може да поминеш на сподели знаење некој ден да видиш како изгледа тоа.

 

[SkyDriver]

тоа во законите не го пишува

Значи можам да земам сега да регнам домен, да земам Django + Python custom scripts кои ќе превземаат информации од македонските сајтови и да ги објавувам кај мене на сајт без согласност од сајтовите (не зборам за RSS туку за целосни статии) и на крај маркетинг да стаам $500/неделно ?

Ако тоа е законски, ондак ајде ќе праиме сајт, јас ќе го искуцам целиот код, после ја и ти делиме 50-50.

Диал ?

 

[username]

ОК значи како прво не се работи за комерцијала така да не е проблем да користам таква скрипта. Се работи за проект за на факултет, Онлајн кладилница па ми треба да зема натпревари и коефициенти од некоја страница и да ги внесува во мојата база.

Иначе немам идеја како тоа да го направам или од каде да почнам дека досега такво нешто немам работено, значи немам идеа како да ги земам, а би требало да од кога би ги зел лесно би било да ги обработам и да ги ставам кај мене во база.

А за тој халабакот незнам кај е а и не сум од Ск.

Па ако може ако ништо више да ме упатите некако кон оваа проблематика

 

[sdarko]

Може истото да се изведе со пхп со Curl може да се изведе ако не се лажам или пак со некој а друга класа. Обиди се со Curl па ако не успееш ке видиме за понатаму

 

[SkyDriver]

ОК значи како прво не се работи за комерцијала така да не е проблем да користам таква скрипта. Се работи за проект за на факултет, Онлајн кладилница па ми треба да зема натпревари и коефициенти од некоја страница и да ги внесува во мојата база.

Се зезав друже, нормално дека нема да седнам и да направам нешто такво

Иначе немам идеја како тоа да го направам или од каде да почнам дека досега такво нешто немам работено, значи немам идеа како да ги земам, а би требало да од кога би ги зел лесно би било да ги обработам и да ги ставам кај мене во база.

А за тој халабакот незнам кај е а и не сум од Ск.

Па ако може ако ништо више да ме упатите некако кон оваа проблематика

Иначе вака:

<?php
$html = file_get_contents('http://www.example.com/');
echo $html;
foreach($html->find('img') as $element)
echo $element->src . '<br>';
?>

сори што не се во code тагови, ама незнам зашто несакаше варијавлите така да ги прикаже. :S

Е сега, кај foreach таговите промени ги соодветно со содржината што сакаш да ја превземеш.
Значи, избери некој сајт со поедноставна „структура“ за да немаш проблеми при вчитувањето на резултатите.

П.С. Тоа горе е само пример како да ги земеш и испринташ резултатите, ти среди си го превземените резултати да ги запише во база кај тебе... Претпоставувам дека со тоа нема да имаш проблем.

Ако нешто не ја бива работата кажи, ќе ја наредиме.

 

[outlawbt]

Кажи од кои страници конкретно сакаш да ги влечиш информациите, и кои информации точно, па ќе ја наредиме работата со curl и regular expressions.

 

[username]

Кажи од кои страници конкретно сакаш да ги влечиш информациите, и кои информации точно, па ќе ја наредиме работата со curl и regular expressions.

Па еве пример да речеме од www.vilhil.com.mk на пример од овој линк
да ги земе домаќин, гостин,час, и коефициентите.

 

[gdamjan]

Значи можам да земам сега да регнам домен, да земам Django + Python custom scripts кои ќе превземаат информации од македонските сајтови и да ги објавувам кај мене на сајт без согласност од сајтовите (не зборам за RSS туку за целосни статии) и на крај маркетинг да стаам $500/неделно ?

епа сега ја мењаш првобитната теза.. никој не збореше за објавување на целата таа содржина - а тоа е веќе друго.

 

[SkyDriver]

Па еве пример да речеме од www.vilhil.com.mk на пример од овој линк
да ги земе домаќин, гостин,час, и коефициентите.

Еве бе друже, ова само:

<html>
<body>
<?php
$html = file_get_contents('http://vilhil.com.mk/Football.asp?l=England%20Premier&j=1');
echo $html;
foreach($html->find('tr') as $element)
echo $element->td . '<br>';
?>
</body>
</html>

Со ова ќе ти ги испише и останатите табели, ти само дообработи ги вчитаните информации и тоа е тоа.
Претпоставувам дека нема да имаш проблем со обработка на стрингови и потоа тие стрингови да ги внесеш во база.

епа сега ја мењаш првобитната теза.. никој не збореше за објавување на целата таа содржина - а тоа е веќе друго.

Just kidding
Иначе како и да е, невкусно е некој да ти прибира информации без ти да знаеш за истото. :/

 

[outlawbt]

Еве нешто набрзинка шо склопив, не е баш најубо решение али ги вади резултатите кои ти требаат. Треба само да ги допроцесираш низите кои ти ги враќам, не би требало да е проблем.

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "http://vilhil.com.mk/Football.asp?l=England%20League%20Two&j=1");
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_TIMEOUT, 30);
curl_setopt($ch, CURLOPT_FRESH_CONNECT, 1);

$buffer = curl_exec($ch);
curl_close($ch);

preg_match_all('/<div\salign="(right|left)">\b(?!<a\shref)(.+)<\/div>/', $buffer, $timovi);
preg_match_all('/(\d{1},\d{2})<\/a>/i', $buffer, $koeficienti);

print('<pre>' . print_r($timovi[2], true) . '</pre>');
print('<pre>' . print_r($koeficienti[1], true) . '</pre>');

 

[username]

A оваа функцијава прва curl_init(); каде да ја најдам, вика дека не е дефинирана?

 

[outlawbt]

curl e модул за PHP кој доколку го нема, треба дополнително да се инсталира.

 

[WhiteDeath]

На тебе ти треба web crawler едена од подобрите класи за ова е simplehtmldom можеш од овде да си го симнеш http://sourceforge.net/projects/simplehtmldom/files/ и добар туториал за како работи имаш овде http://simplehtmldom.sourceforge.net/manual.htm и се работиш преку ДОМ структурата на страната и така ке ги земаш сите потребни информации од страната.