• Здраво и добредојдовте на форумот на IT.mk.

    Доколку сеуште не сте дел од најголемата заедница на ИТ професионалци и ентузијасти во Македонија, можете бесплатно да се - процесот нема да ви одземе повеќе од 2-3 минути, а за полесна регистрација овозможивме и регистрирање со Facebook и Steam.

Скрипта за автоматски внесување податоци во МySql База

  • Ја почнал/а темата
  • #1

username

Gaining Experience
4 јули 2009
526
66
Па вака,

Дали постои, и ако постои каде можам да најдам скрипта напишана во php или javascript која ќе ми овозможи превземање на податоци од една веб страна и да внесува во моја датабаза mysql. Е сега ако постои нормално ќе треба да се модифицира и да се прилагоди на моите потребни но за почеток дали има таква или некој да ме упати како би можел да направам такво нешто..

Фала, Поздрав
 

SkyDriver

Intern
18 јули 2009
61
10
Незнам дали постои, али можеш сам да искуцаш една таква скрипта, не е некоја филозофија, веб сервиси + регекс за превземање на податоци од друг сајт и после обработените податоци од другиот сајт само ги запишуваш во база кај тебе.

П.С. Имај во предвид дека без дозвола од другиот сајт, ова е незаконско крадење информации.
 

gdamjan

Practice makes perfect
3 април 2008
2,631
1,087
Скопје
damjan.softver.org.mk
gdamjan's setup  
Processor & Cooler
AMD Ryzen 5 Pro 4650G / Cooler Master Hyper 212 Black
Motherboard
MSI MAG B550m Mortar Wifi
Storage
NVME: 1TB AData XPG SX8200 Pro / HDD: 2x 2TB Toshiba P300
PSU
Gigabyte G750H
RAM
G. SKILL Ripjaws V Series 2x 16GB / DDR4 3200Mhz/CL16
Video card
Vega 7 on APU
Case
Bequiet! PureBase 500
Mouse
Logitech MX Anywhere 2S
Keyboard
ThinkPad USB Keyboard With TrackPoint (sk-8855)
OS
Arch Linux
П.С. Имај во предвид дека без дозвола од другиот сајт, ова е незаконско крадење информации.
тоа во законите не го пишува

@username
имаш идеја како ќе ги вадиш тие податоци кои ги сакаш од страната?
со php може но е малку потешко бидејќи не е баш наменет за таа работа.

со python е многу полесно и во хаклабот КИКА сме правеле веќе неколку такви проекти... така да може да поминеш на сподели знаење некој ден да видиш како изгледа тоа.
 

SkyDriver

Intern
18 јули 2009
61
10
тоа во законите не го пишува
Значи можам да земам сега да регнам домен, да земам Django + Python custom scripts кои ќе превземаат информации од македонските сајтови и да ги објавувам кај мене на сајт без согласност од сајтовите (не зборам за RSS туку за целосни статии) и на крај маркетинг да стаам $500/неделно ?

Ако тоа е законски, ондак ајде ќе праиме сајт, јас ќе го искуцам целиот код, после ја и ти делиме 50-50. :)

Диал ? :)
 
  • Ја почнал/а темата
  • #5

username

Gaining Experience
4 јули 2009
526
66
ОК значи како прво не се работи за комерцијала така да не е проблем да користам таква скрипта. Се работи за проект за на факултет, Онлајн кладилница па ми треба да зема натпревари и коефициенти од некоја страница и да ги внесува во мојата база.

Иначе немам идеја како тоа да го направам или од каде да почнам дека досега такво нешто немам работено, значи немам идеа како да ги земам, а би требало да од кога би ги зел лесно би било да ги обработам и да ги ставам кај мене во база.

А за тој халабакот незнам кај е а и не сум од Ск.:D

Па ако може ако ништо више да ме упатите некако кон оваа проблематика
 

sdarko

Gaining Experience
28 септември 2008
1,051
64
Може истото да се изведе со пхп со Curl може да се изведе ако не се лажам или пак со некој а друга класа. Обиди се со Curl па ако не успееш ке видиме за понатаму :D
 

SkyDriver

Intern
18 јули 2009
61
10
ОК значи како прво не се работи за комерцијала така да не е проблем да користам таква скрипта. Се работи за проект за на факултет, Онлајн кладилница па ми треба да зема натпревари и коефициенти од некоја страница и да ги внесува во мојата база.
Се зезав друже, нормално дека нема да седнам и да направам нешто такво :)


Иначе немам идеја како тоа да го направам или од каде да почнам дека досега такво нешто немам работено, значи немам идеа како да ги земам, а би требало да од кога би ги зел лесно би било да ги обработам и да ги ставам кај мене во база.

А за тој халабакот незнам кај е а и не сум од Ск.:D

Па ако може ако ништо више да ме упатите некако кон оваа проблематика
Иначе вака:

<?php
$html = file_get_contents('http://www.example.com/');
echo $html;
foreach($html->find('img') as $element)
echo $element->src . '<br>';
?>

сори што не се во code тагови, ама незнам зашто несакаше варијавлите така да ги прикаже. :S

Е сега, кај foreach таговите промени ги соодветно со содржината што сакаш да ја превземеш.
Значи, избери некој сајт со поедноставна „структура“ за да немаш проблеми при вчитувањето на резултатите.

П.С. Тоа горе е само пример како да ги земеш и испринташ резултатите, ти среди си го превземените резултати да ги запише во база кај тебе... Претпоставувам дека со тоа нема да имаш проблем. :)

Ако нешто не ја бива работата кажи, ќе ја наредиме. :)
 

outlawbt

Intern
10 јануари 2010
11
3
Кажи од кои страници конкретно сакаш да ги влечиш информациите, и кои информации точно, па ќе ја наредиме работата со curl и regular expressions.
 
  • Ја почнал/а темата
  • #9

username

Gaining Experience
4 јули 2009
526
66
Кажи од кои страници конкретно сакаш да ги влечиш информациите, и кои информации точно, па ќе ја наредиме работата со curl и regular expressions.
Па еве пример да речеме од www.vilhil.com.mk на пример од овој линк
да ги земе домаќин, гостин,час, и коефициентите.
 

gdamjan

Practice makes perfect
3 април 2008
2,631
1,087
Скопје
damjan.softver.org.mk
gdamjan's setup  
Processor & Cooler
AMD Ryzen 5 Pro 4650G / Cooler Master Hyper 212 Black
Motherboard
MSI MAG B550m Mortar Wifi
Storage
NVME: 1TB AData XPG SX8200 Pro / HDD: 2x 2TB Toshiba P300
PSU
Gigabyte G750H
RAM
G. SKILL Ripjaws V Series 2x 16GB / DDR4 3200Mhz/CL16
Video card
Vega 7 on APU
Case
Bequiet! PureBase 500
Mouse
Logitech MX Anywhere 2S
Keyboard
ThinkPad USB Keyboard With TrackPoint (sk-8855)
OS
Arch Linux
Значи можам да земам сега да регнам домен, да земам Django + Python custom scripts кои ќе превземаат информации од македонските сајтови и да ги објавувам кај мене на сајт без согласност од сајтовите (не зборам за RSS туку за целосни статии) и на крај маркетинг да стаам $500/неделно ?
епа сега ја мењаш првобитната теза.. никој не збореше за објавување на целата таа содржина - а тоа е веќе друго.
 

SkyDriver

Intern
18 јули 2009
61
10
Па еве пример да речеме од www.vilhil.com.mk на пример од овој линк
да ги земе домаќин, гостин,час, и коефициентите.
Еве бе друже, ова само:

<html>
<body>
<?php
$html = file_get_contents('http://vilhil.com.mk/Football.asp?l=England%20Premier&j=1');
echo $html;
foreach($html->find('tr') as $element)
echo $element->td . '<br>';
?>
</body>
</html>

Со ова ќе ти ги испише и останатите табели, ти само дообработи ги вчитаните информации и тоа е тоа.
Претпоставувам дека нема да имаш проблем со обработка на стрингови и потоа тие стрингови да ги внесеш во база. :)

gdamjan напиша:
епа сега ја мењаш првобитната теза.. никој не збореше за објавување на целата таа содржина - а тоа е веќе друго.
Just kidding :)
Иначе како и да е, невкусно е некој да ти прибира информации без ти да знаеш за истото. :/
 

outlawbt

Intern
10 јануари 2010
11
3
Еве нешто набрзинка шо склопив, не е баш најубо решение али ги вади резултатите кои ти требаат. Треба само да ги допроцесираш низите кои ти ги враќам, не би требало да е проблем.

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "http://vilhil.com.mk/Football.asp?l=England%20League%20Two&j=1");
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_TIMEOUT, 30);
curl_setopt($ch, CURLOPT_FRESH_CONNECT, 1);

$buffer = curl_exec($ch);
curl_close($ch);

preg_match_all('/<div\salign="(right|left)">\b(?!<a\shref)(.+)<\/div>/', $buffer, $timovi);
preg_match_all('/(\d{1},\d{2})<\/a>/i', $buffer, $koeficienti);

print('<pre>' . print_r($timovi[2], true) . '</pre>');
print('<pre>' . print_r($koeficienti[1], true) . '</pre>');
 
  • Ја почнал/а темата
  • #13

username

Gaining Experience
4 јули 2009
526
66
A оваа функцијава прва curl_init(); каде да ја најдам, вика дека не е дефинирана?
 

outlawbt

Intern
10 јануари 2010
11
3
curl e модул за PHP кој доколку го нема, треба дополнително да се инсталира.
 

WhiteDeath

Intern
2 јуни 2008
117
1
На тебе ти треба web crawler едена од подобрите класи за ова е simplehtmldom можеш од овде да си го симнеш http://sourceforge.net/projects/simplehtmldom/files/ и добар туториал за како работи имаш овде http://simplehtmldom.sourceforge.net/manual.htm и се работиш преку ДОМ структурата на страната и така ке ги земаш сите потребни информации од страната.
 

Нови мислења

Последни Теми

Статистика

Теми
43,531
Мислења
846,094
Членови
29,330
Најнов член
Leonard
На врв Дно