Ongelma Foorumi tökkii rajusti!

Ei mitään hajua miksi se on nyt vaihtunut noin päin. Alkukesästä suhdeluku oli vielä 9:1 jenkkipuolen hyväksi, eli spämmiä napsui lähinnä sinne.

Nyt uskallan jo sanoa, että tämä on nyt selätetty. Useampi kuukausi tuota on selvitelty, kaivettu logeja ja yritetty tutkia mikä h...tti aiheuttaa klo 12:00 UTC *molempien* servereiden kippaamisen.

Syyksi taisi löytyä erittäin kehnolla säkällä osuneet kaksi yhtäaikaista skriptiä. Servereiden Apache siis restartataan 3h välein joka päivä: 00:00, 03:00, jne. Siten, että toinen tuotantopurkki ensin, odotellaan tovi ja sitten toinen.

Noh, klo 12:00 UTC (eli Suomen talviaikaa klo 14:00) olikin sitten CentOS:ssa skripti, joka ajoi temppihakemistoa tyhjäksi - ja joka kestää noin 10-15min ajaa. Kyseisessä hakemistossa on mm. noin 1,4 miljoonaa cachefileä sivustoiltamme.

Noh, kun Apache yritti käynnistyä takaisin, samalla kun tuo puhdistusskripti oli ajamassa, se tilttasikin täysin. Syy siihen, miksi se ei onnistunutkaan käynnistymään uudestaan on edelleen hieman mysteeri, mutta ilmeisesti serverin palautuessa takaisin rotaatioon, sinne iskee kerralla liian iso kuorma - kun skripti jumittaa cachehakemistoa samalla ja tulee jonkinlainen timeout. Valitettavasti Apachen errorlogit eivät tämän suhteen olleet mitenkään selvät, eikä niistä voinut päätellä yhtään mitään.

Oikeastaan homma selvisi sillä, että alettiin katsomaan dataa taaksepäin että milloin tuo klo 1200 UTC kippaaminen alkoi ja tutkittiin mitä servereillä on muutettu tuolloin, ongelmien alkaessa.

Tiistaina siirsimme ajastuksia niin, että asioiden ei pitäisi tapahtua enää yhtäaikaa ja nyt käyttökatkoja ei ole ollut 72 tuntiin. Joten melkein jo uskaltaa hengittää...

 

Tähän on vähän vaikea tehdä mitään enempää kuin nyt ollaan tehty. Kovasti yritetään kaikkea mahdollista estettä laittaa. Tänään muutettiin xenForon asetuksia niin, että nyt uusien käyttäjien rekisteröinnin spam flag level on alimmillaan, eli oikeastaan vähänkään epäilyttävästä (jännä nickname, tms) napsahtaa estot rekisteröitymiseen.

Tätä, että miksi meille tulee niin jumalaton määrä spämmiä, selviteltiin tuossa myös:

Netissä leviää listoja, joissa on maailman 1000 suurinta keskustelualuetta ja AfterDawn on yhtenä niistä listattu. Tuota listaa levitetään nimenomaan hakukonespämmereiden keskusteluryhmissä. Nopealla kaivamisella sama lista löytyi ainakin 300 eri sivulta, Kiinasta Ruotsin kautta Yhdysvaltoihin.

Eli noi tyypit eivät niinkään hae sitä, että meidän käyttäjät klikkailisivat niitä linkkejä, vaan sitä, että saavat linkkejä meidän forumeille ja sitä kautta Google antaa heidän sivustolleen enemmän painoarvoa hakutuloksissa.

Pienemmässä mittakaavassa samaa ongelmaa oli tosiaan io-techilläkin. He olivat ratkaisseet ongelman niin, että rekisteröitymään ei pääse kuin Suomesta. Meillä tuo on mahdoton toteuttaa, kun xenForo pyörittää sekä meidän suomiforumeita että meidän jenkkiforumeitamme.


EDIT:

Ja väittäisin, että spämmäys ei ole bottien tekemää, vaan siellä on ihan ihmisiä tekemässä niitä roskaposteja, joka tekee niiden estämisestä vielä vaikeampaa.

Eli rekisteröitymislomakkeessammehan on Googlen CAPTCHA, 10 sekunnin viive napin painamiseen, jne estot. Noista ei *pitäisi* tulla ihan tavallisen spämmibotin läpi tuosta vaan.

 

Näyttäisi, että estoja kierretään sillä, että ensin tehdään numeroista otsikko ja viestiin laitetaan myös numeroita.
Niiden mentyä kontrolin läpi editoidaan viestin otsikkoon harakanvarpaita. Näin ainakin muutamat spammaajat toimii, mitä niitä on tullut seurattua.
Aika tehokas olisi varmaan 1pertin ehdotus vähän mukattuna, esim. uuden viestin kirjoituksen aikarajoitus xx minuuttia oman viestin perään, tiettyyn vistimäärään asti. Aikarajoitus voisi kumoutua jonkun toisen kirjoittamaan viestiin, niin ei rajoittaisi nopeatempoistakaan viestittelyä.

Edit: siitä olen samaa mieltä, että harakanvarvasviestit ovat ihmisen kirjoittamia, eikä spambotin ja kun vielä viestien otsikkoihin tehdään editointeja.

Edit: Sekoitin uudet viestit ja keskustelun, sorry.

 

Mitä katselin noita spammien poistoja, niin kyllä meitä täällä ainakin pari modea niitä poistelee jo aamuisin tarpeen mukaan.

 

Tutkitaan. Joku palikka tuohon löytyi:

https://xenforo.com/community/resources/new-thread-limit.3439/