1. Tämä sivusto käyttää keksejä (cookie). Jatkamalla sivuston käyttämistä hyväksyt keksien käyttämisen. Lue lisää.

Kysymys Social mapper (haku useilta sometileiltä) asennus

Viestiketju Ajuri- ja softaongelmat -osiossa. Ketjun avasi Eevertti 18.08.2020.

  1. Eevertti

    Eevertti Member

    Liittynyt:
    13.09.2009
    Viestejä:
    25
    Kiitokset:
    0
    Pisteet:
    11
    Tervehdys! Tavoitteena on asentaa työkalu useilta eri sometileiltä hakemista varten. Omat taidot loppuivat pian, mutta yrittänyt olen. Tarkempia ohjeita löydän Linuxia varten, vaan en Windowsia. Lisäksi katsoin hindin(!) ja portugalin kielisiä videoita YouTubesta. Jälkimmäisestä toivoin jotain ymmärtäväni espanjan taidon perusteella.

    Ajatus on siis tältä sivustolta. Itselläni on Windows 10 ja 64-bittinen suoritin läppärissäni.
    https://medium.com/@SwiftSafe/socia...edia-profiles-using-only-a-photo-527f1c536851

    Ensin siis Geckodriver ja Selenium. Geckosta latasin zip-tiedoston, jonka purin 7-Zipillä. Kun klikkaan geckodriver.exe tiedostoa, aukeaa mustapohjainen ikkuna, jossa kursori vilkkuu. Onko se siis nyt asennettu?

    Toinen kyssäri koskee Seleniumia. Heidän verkkosivuillaan on kolme versiota. Jossain ohjeessa mainitaan Selenium API, joka puolestaan ei ole tarjolla.
    https://www.selenium.dev/

    Olen siis ottanut itselleni melkoisen urakan. Mutta ehkä tämä aihe alkaa kiinnostaa jotain muutakin.

    Toivon apuanne asennusten kanssa.
     
  2.  
  3. 1pertti

    1pertti Senior member

    Liittynyt:
    10.09.2008
    Viestejä:
    9,093
    Kiitokset:
    1,208
    Pisteet:
    243
  4. Eevertti

    Eevertti Member

    Liittynyt:
    13.09.2009
    Viestejä:
    25
    Kiitokset:
    0
    Pisteet:
    11
    Kiitos, se oli täsmäohje. Alla olevaa sijaintia en ymmärrä. Katsoin C:tä hakemistopuussa, eikä minulla mielestäni ole tuollaista kansiota. Ohjelmointikieli, joka tulisi nyt hankkia?

    3. Copy that .exe file and put your into python parent folder (e.g., C:\Python34)
    4. write your scripts.

    Toinen tapa samassa ketjussa. Mutta minne nuo lauseet kirjoitetaan?

    The easiest way if you are on windows:
    driver = webdriver.Firefox(executable_path=r'[Your path]\geckodriver.exe')
    Example:
    driver = webdriver.Firefox(executable_path=r'D:\geckodriver.exe')
     
  5. Eevertti

    Eevertti Member

    Liittynyt:
    13.09.2009
    Viestejä:
    25
    Kiitokset:
    0
    Pisteet:
    11
    Lukukerrat: 342, vastauksia omani lisäksi: 1. Eikös tämä siis olekaan ketju, jossa saa apua ajuri- ja softaongelmiin?
     
  6. tarantella

    tarantella Senior member

    Liittynyt:
    20.10.2012
    Viestejä:
    6,148
    Kiitokset:
    1,199
    Pisteet:
    243
    Ei kannata tulla ihmettelemään tänne tuota asiaa, miksi vastauksia tai apuja ei tule.

    Mainitaan selvyyden vuoksi, että tällä foorumilla kaikki vastaajat ovat vapaaehtoisia, joille palkkaa ei makseta. Varmasti he vastaavat, jos asia on heille tuttu tai ratkaisu tiedossa. Sait jo yhden vastauksen ja linkin, jota kiittelit täsmäohjeena. Oma-aloitteisesti voit tutkia ja selvittää sitä, se on hyvä alku ja lähtökohta ratkaisulle.

    Monet vastaajat etsivät netistä ohjeita ja tietoja, uhraavat aikaansa kysymyksiin ja käyttävät aikaansa ongelmien mahdolliseen ratkaisuun. Suositteken sinullekin paneutumista Googlen käyttöön, niin huomaat, ettei sieltä aina löydä vastauksia kuin apteekin hyllyltä, mutta yrittänyttä ei laiteta, eikä lanniusteta.
     
    Viimeksi muokattu: 26.08.2020
  7. Eevertti

    Eevertti Member

    Liittynyt:
    13.09.2009
    Viestejä:
    25
    Kiitokset:
    0
    Pisteet:
    11
    Tulin tänne saadakseni apua. Ja kyllä; tulin ihmettelemään sen puutetta.

    Omia toimiani tiedon hankkimiseksi kuvasin aloitusviestissäni. Lue sieltä, jos muka menivät ohi.

    On selvää, että jokaisen aika on arvokasta ja yhtä selvää on, että joskus jokaiselle tulee seinä vastaan. Aivan jokaiselle. Ratkaisu voi lopulta olla helppokin, mutta ei vain löydy ilman ulkopuolista apua.

    Eli mistään en voinut tarkasti tietää, millainen kysymys on Afterdawnissa hyväksyttävän rajan yläpuolella. Nyt tiedän: lukukertoja 390 ja yksi vastaus.:)
     
  8. tarantella

    tarantella Senior member

    Liittynyt:
    20.10.2012
    Viestejä:
    6,148
    Kiitokset:
    1,199
    Pisteet:
    243
    Kehtaatkin ilmaiseen auttamispalveluun tulla kiukuttelemaan kuin pikku kakara. Ei täältä kaikkiin marginaalisiin asioihin apua aina löydy. Kuten näet, ongelmasi on luettu monasti, mutta heidän keskuudestaan ongelman ratkaisua ei ole löytynyt.

    Turhat itkut pois ja panosta ratkaisuun kiukuttelun sijasta tuokin tarmosi.
    Ulkopuolinen apu: Siirry maksullisiin palveluihin ja itke sitten rahankulua.

    Edit: Ongelmien selvittämisprosentti on todella korkea, jos vaivaudut selamaan foorumia.
     
  9. 1pertti

    1pertti Senior member

    Liittynyt:
    10.09.2008
    Viestejä:
    9,093
    Kiitokset:
    1,208
    Pisteet:
    243
    Aika vaikea on neuvoa asiassa, jota ei itsekään tunne. Mitä nyt vähän googlailin, niin näyttää siltä, että edistyäksesi projektissasi sinun on ensin valittava, millä ohjelmointikielellä aiot skriptisi kirjoittaa. Ellei kieli ole ennestään tuttu, (kuten kysymystesi perusteella vaikuttaa,) kannattanee aloittaa sen opiskelulla.

    Seleniumista sitten löytyy oppimateriaalia Googlella:
    https://www.guru99.com/introduction-to-selenium.html

    GeckoDriver on esitelty esimerkiksi tuolla:
    https://www.edureka.co/blog/selenium-chromedriver-and-geckodriver/

    Tuolta taas löytyy ohjeita GeckoDriverin käyttöön Selenium-projekteissa:
    https://www.softwaretestinghelp.com/geckodriver-selenium-tutorial/
     
  10. Eevertti

    Eevertti Member

    Liittynyt:
    13.09.2009
    Viestejä:
    25
    Kiitokset:
    0
    Pisteet:
    11
    Eli työkalun monissa blogeissa toistettu esittely antaa liian helpon kuvan sen asentamisesta ja käytöstä. Ohjelmointikielen hallinta on ainakin minulta ja uskoisinpa, että suurimmalta osalta liikaa vaadittu. Ensimmäisen viestini ohjeessa todetaan vain lyhyesti, että asenna Gecko ja Selenium (sekä uusin versio Firefoxista).

    Kiitos linkeistä, etsin nyt vastauksen siihen, missä oma asennukseni meni metsään. Jos nyt kuitenkin on niin, ettei varsinaista kielen osaamista tarvita, vaan mainittujen lauseiden

    git clone https://github.com/SpiderLabs/social_mapper
    cd social_mapper/setup
    pip install -r requirements.txt


    syöttäminen riittää, niin onko oikea paikka "Komentokehote" -ikkuna? Em. ohjeen kuvakaappauksessa nuo lauseet on syötetty ikkunaan, jossa on samanlainen musta pohja.
     
  11. pentsu

    pentsu Active member

    Liittynyt:
    07.03.2008
    Viestejä:
    1,388
    Kiitokset:
    24
    Pisteet:
    68
    Näin mä ainakin luulisin. Tällöin tiedosto r requirements.txt täytyy olla valmiiksi viestissäsi mainitussa polussa
     
  12. 1pertti

    1pertti Senior member

    Liittynyt:
    10.09.2008
    Viestejä:
    9,093
    Kiitokset:
    1,208
    Pisteet:
    243
    Kuten jo sanoin, en tunne tätä asiaa. Windowsia luulen sen verran tuntevani, ettei sen komentokehote (cmd) tunne tuollaisia komentoja. Olisiko kyse Pythonista, joka vilahti tuolla aikaisemmassa tekstissä?
     
    tarantella kiitti tästä.
  13. pentsu

    pentsu Active member

    Liittynyt:
    07.03.2008
    Viestejä:
    1,388
    Kiitokset:
    24
    Pisteet:
    68
    Tuntee. Ainoa komento tuossa on Cd+ polku. Cd= change directory
     
  14. 1pertti

    1pertti Senior member

    Liittynyt:
    10.09.2008
    Viestejä:
    9,093
    Kiitokset:
    1,208
    Pisteet:
    243
    Mites cmd ymmärtää nuo git clone ja pip install ja mitä ne ovat?

    cd on kyllä tuttu jo vanhasta DOSista
     
    tarantella kiitti tästä.
  15. tarantella

    tarantella Senior member

    Liittynyt:
    20.10.2012
    Viestejä:
    6,148
    Kiitokset:
    1,199
    Pisteet:
    243
    Minusta nuo ovat Pythonista, ei Windowsin komentotulkki niitä tunne.
     
  16. pentsu

    pentsu Active member

    Liittynyt:
    07.03.2008
    Viestejä:
    1,388
    Kiitokset:
    24
    Pisteet:
    68
    No enpä mä siihen ottanutkaan kantaa millä kielellä scripti on tehty, vai otinko?

    Tämä saattaa auttaa kysyjää ongelmassa.:

    https://phoenixnap.com/kb/install-pip-windows

    E:lisäys. Missä Tarantella näit tuon scriptin sisällön?
     
    Viimeksi muokattu: 27.08.2020
  17. tarantella

    tarantella Senior member

    Liittynyt:
    20.10.2012
    Viestejä:
    6,148
    Kiitokset:
    1,199
    Pisteet:
    243
    En mistään sisällöstä kirjoittanut. Onko nuo jälkimäisen linkit komennot sinusta toimivia Windowsin komentotulkissa. Sanoin, että vaikuttavat Pythonin komennoilta, mitä vähän Googlailin ja nettiä selailin. Muuten en Pythonia tunne.
     
  18. Eevertti

    Eevertti Member

    Liittynyt:
    13.09.2009
    Viestejä:
    25
    Kiitokset:
    0
    Pisteet:
    11
    Yllä mainitut komennot ovat luullakseni pythonia ja tarvitaan tulkki (Python interpreter). "py" Komentokehote -ikkunaan ei toiminut, sitten latasin tuon linkkisi package managerin ja nyt py tuottaa litanian, jossa lukee mm. "Python 3.8.5". Eli toivon, että tämä nyt riittäisi komentojen syöttämistä varten.

    Ennen sitä yritän kuitenkin saada selvää Seleniumista, tarvitaanko jotain erillistä kirjastojen asennusta vai ei.
     
  19. pentsu

    pentsu Active member

    Liittynyt:
    07.03.2008
    Viestejä:
    1,388
    Kiitokset:
    24
    Pisteet:
    68
    Sori, oletin näin koska ketjussa ei näy missään mitään scriptiä ja sanoit kuitenkin:

    Kyllä. Kuten linkkaamassani ohjeessa lukee:

    "PIP for Python is a utility to manage PyPI package installations from the command line."

    "Open the Command Prompt if it isn’t already open. Use the cd command followed by a folder name to navigate to the location of the get-pip.py file. This is the folder you previously used as the download location."


    Minäkään en tästä kauheasti ymmärrä, mutta tunnistan scriptin sellaisen nähdessäni. Tässä ketjussa en sellaista nähnyt. Ei kuitenkaan auta johtaa kysyjää harhaan vastaamalla:

     
  20. Eevertti

    Eevertti Member

    Liittynyt:
    13.09.2009
    Viestejä:
    25
    Kiitokset:
    0
    Pisteet:
    11
    Kiitos vastauksista tähän saakka. Eräällä forumilla sanotaan näin: "you just need to understand that geckodriver.exe is the driver itself, not an installer that will eventually install the driver on your machine"

    Etsin vielä aiheesta lisää, mutta minusta se näyttäisi asennettuna tältä, kuten kuvakaappaus omalta koneeltani. Osaako joku vahvistaa asian?

    Gecko.JPG
     
  21. tarantella

    tarantella Senior member

    Liittynyt:
    20.10.2012
    Viestejä:
    6,148
    Kiitokset:
    1,199
    Pisteet:
    243
    @pentsu aiheeton hyökkäys minun niskaani, en tuota keksinyt, olin samaa mieltä @1pertti n kanssa, etteivät ole normaali cmd (kometotulkki) käskyjä, eikä se tunne niitä ilman erikoistoimenpiteitä.
    Hyvä kuitenkin, jos asia alkaa selvitä, miten nuo saadaan toimimaan.
     

Jaa tämä sivu