lunes, 30 de julio de 2018

Peligro en todos lados . . . Analizando URLS

Peligro en todos lados  . . . Analizando URLS

Viendo cabezeras en Privoxy . . . . es posible que una url sospechoza aun no se encuentre enlistada en algun Hosts-File Block-List . . . como en el recomendable Steven Black . . .
 .. (En la imagen inferior solo un ejemplo . . . ese dominio ni permito que ingrese. . :D )



No hay problema .. Aun se pueden enviar a analizar . . UFF excelente .. como? .. XD

1.-- El afamado VirusTotal ..:: https://www.virustotal.com/es/
Armado con varios motores antivirus y revisiones a Listas-Negras para llevar a cabo sus analisis.



En la imagen inferior muestra de un analisis; señalado solo malo por los usuarios.
En la imagen inferior muestra de un analisis; señalado no solo malo por los usuarios sino tambien detectado como malicioso por motores antivirus.

2.-- URL Void ..:: www.urlvoid.com
Tambien utiliza varios motores antivirus y revisiones en Listas-Negras para llevar a cabo sus analisis. .. .. :D



3.-- ¿ Donde ? ..:: https://myip.es/
Brinda un excelente servicio de geolocalizacion de IPs . . .

 . . .
4.-- Otro muy completo es ..:: https://www.whatismyip.com/
. . . Brinda muchos servicios como geolocalizacion de IPs, Revision en Listas-Negras y Escaner de puertos vulnerables.
. . . Notese en la imagen de abajo que al copiar la cabecera de privoxy hay que añadir antes  https://  ; se conoce por el puerto utilizado 443 para https://  . . . . para otros http://


La revison se lleva a cabo en varias listas negras de bloqueo (aproximadamente 30).
Notese el resulado obtenido en la imagen inferior; dos listas bloquean esa url . . . es decir 2/30.

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
. . .
Ahora conoces la reputacion del sitio, su peligrosidad y donde estan sus oficinas . . . que maravilla . .   . . .  :D



Steven Black; Unificado Hosts-File; Sobre los hombros de los mas grandes.

Steven Black; Unificado Hosts-File; Sobre los hombros de los mas grandes  ;D.

https://github.com/StevenBlack/hosts

Extending and consolidating hosts files from several well-curated sources like adaway.org, mvps.org, malwaredomainlist.com, someonewhocares.org, and potentially others. You can optionally invoke extensions to block additional sites by category.

Una lista necesaria para cualquiera que tenga un poco de sentido de seguridad . . . Basada y enriquecida con una gran cantidad de fuentes que te aligeraran el andar por la red . . :D
Por supuesto actualizada frecuentemente, cuenta con varias categorias y con muchos seguidores.




. . . Aligerar por que te detendra ..:: Ads, Tracks, Coin Miners, Spiders ... etc ... ; visible e invisible. . . XD; al no cargarlos el sistema todo sera mas fluido . . . XD






Obvio ..::
- Para el uso tradicional en File-Hosts ( ó adaptado a sus listas de bloqueo ).
- Excelente fuente de deduccion de Wild-Cards --> Privoxy.
- Invisible por Anti-Adblocks; generalmente.
- Excelente pero no infalible; pero que lo es. . . ;D


domingo, 29 de julio de 2018

"Top": Dominios oscuros de nivel superior


De acuerdo con . . .
https://www.symantec.com/blogs/feature-stories/top-20-shady-top-level-domains
...
Informe sobre los TLD (Top-Level Domains) más sospechosos que existen hoy en día.
...


No parece haber muchos sitios legítimos -- útiles en los siguientes dominios . . . a menos que le guste el peligro .. XD ..

De acuerdo con . . .
https://www.spamhaus.org/statistics/tlds/
. . .
Spam ..:: Correo basura y mensaje basura. Incluyen grupos de noticias, usenet, motores de búsqueda, redes sociales, páginas web, wiki, foros, blogs, a través de ventanas emergentes y todo tipo de imágenes y textos en la web.
https://es.wikipedia.org/wiki/Spam
. . .
Lo peor de lo peor . . . .
The World's Most Abused TLDs
The World's Worst Spam Enabling Countries
. . .


De acuerdo con . . .
https://promos.mcafee.com/en-US/PDF/MTMW_Report.pdf
.. .. .. De los mas completos y profesionales .

Track sites containing malicious or potentially dangerous content and activities including:
Malware—Code that can damage a system, steal data, or perform malicious activities on another computer (includes keyloggers, password stealers, and zombie kits).
Browser exploits—Attacks and malware that take advantage of vulnerable software.
Phishing—Fake sites that appear to be legitimate but are designed to “phish” for information or install malicious code.
Spamminess—Sign-up forms that will cause the person to receive large amounts of commercial email, or spam.
Risky affiliations—Sites with links that take the user to a malicious site, and sites that have suspicious associations, such as their site ownership, registration, or hosting service.
En la imagen inferior . . . Lo mejor de lo peor al comienzo de la lista . . .

 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
Una forma sencilla de protegerse mediante Privoxy . . . (una lista mas inflada por precaucion XD )
Seria añadiendo a su action-file +block ..::
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
## ## ## ## ## ## ## ## ## ## ## ##
# -------------------------------------------------------------------------------------
{+block{MisBloqueos-Dominios}}
# -------------------------------------------------------------------------------------
.accountant/
.accountants/
.am/
.asia/
.bid/
.biz/
.cc/
.cf/
.christmas/
.click/
.cm/
.country/
.cricket/
.date/
.download/
.faith/
.fun/
.ga/
.gb/
.gdn/
.ge/
.gq/
.info/
.jetz/
.kim/
.kz/
.link/
.loan/
.me/
.men/
.ml/
.mobi/
.mom/
.ms/
.name/
.ninja/
.nu/
.online/
.party/
.ph/
.pk/
.pro/
.racing/
.realtor/
.ren/
.review/
.ro/
.science/
.space/
.st/
.stream/
.study/
.su/
.tc/
.tech/
.tk/
.to/
.top/
.trade/
.tt/
.tv/
.vip/
.vn/
.wang/
.win/
.work/
.ws/
.xin/
.xyz/
.yokohama/
.zip/
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
Con la creciente libertad en TLDs genericos la lista se volvera inmensa . . .
Bloquear por medio Dominios de nivel superior (TLDs)
- cTLDs; de pais como: .mx, .jp, .us . . .
- ngTLDs; nueva identidad en pais como: .tokyo, .london, .nyc . . .
- gTLDs; genericos como: .info, .top, .club, .vip . . .

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
Algo mas osado en Privoxy; Con ayuda de PowerShell W10 . ..::
- Bloquear todos los dominios execto los comunes y mas limpios (por decirlo de algun modo XD )
- Most popular web domains worldwide:  .com .org .net .us .co .de .uk .ru .jp .cn .fr .it .br
- Cada uno debe determinar sus "Dominios a mantener abiertos": br/, co/, com/, es/, mx/, net/, org/, tv/, uk/ .. . . .... como ejemplo note abajo la propuesta para ser utilizada en Privoxy ..::

## ## ## ## ## ## ## ## ## ## ## ##
# -------------------------------------------------------------------------------------
{+block{MisBloqueos-Dominios}}
# -------------------------------------------------------------------------------------
# Dominios - No .com/ .mx/ .net/
# -------------------------------------------------------------------------------------
# .*/ # cerrar todos los dominios.
# ----------- Dominios inusuales bloqueados
#.[0-9]*/
#.*[0-9]/
#.*[0-9]*/
?.?/
?.*/
*/
# most popular web domains worldwide, Most Common Domain Extensions
# .com .org .net .us .co .de .uk .ru .jp .cn .fr .it .br
# - Dominios abiertos: br/, co/, com/, es/, mx/, net/, org/, tv/, uk/
# cerrando los otros dominios ..: a[b][c]d[e]fghijkl[m][n][o]pqrs[t][u]vwxyz
.[adf-lp-sv-z]*/
# eludiendo .br/ . . . .
.b[a-qs-z]/
.b[a-z][a-z]*/
# eludiendo .co/ . . . .
.c[a-np-z]/
# eludiendo .com/ . . . .
.c[a-np-z][a-ln-z]/
.co[a-ln-z]/
.c[a-np-z]m/
.c[a-z][a-z][a-z]*/
# eludiendo españa .es/ . . . .
.e[a-rt-z]/
.e[a-z][a-z]*/
# eludiendo mexico .mx/ . . . .
.m[a-wy-z]/
.m[a-z][a-z]*/
# eludiendo .net/ . . . .
.n?/
.n[a-df-z][a-su-z]/
.ne[a-su-z]/
.n[a-df-z]t/
.n[a-z][a-z][a-z]*/
# eludiendo .org/  . . . .
.o?/
.o[a-qs-z][a-fh-z]/
.or[a-fh-z]/
.o[a-qs-z]g/
.o[a-z][a-z][a-z]*/
# eludiendo .uk/  . . . .
.u[a-jl-z]/
.u[a-z][a-z]*/
# eludiendo .tv/  . . . .
.t[a-uw-z]/
.t[a-z][a-z]*/
#--------------------------------------------

Notese que con Dominios abiertos: br/, co/, com/, es/, mx/, net/, org/, tv/, uk/ .. me refiero a que no los estoy afectando por lo que no se bloquean . . :D . . .Muy efectivo no importa que tipo o nuevos dominios surjan solo pueden cruzar los que yo permito. . . ;D

- Eliminar esos dominios de mi filehosts action-file +Block debido aque esas urls en si ya no pasaran. logrando aligerar el archivo.

Del sitio ... https://github.com/StevenBlack/hosts
copiar y nombrar ... ... ... StevenBlackhosts-original.txt

----------------------------------------------------------------
 Dejando las puras urls Steven Black 
----------------------------------------------------------------
# reemplazando 0.0.0.0  por nada
# eliminando lineas con # y vacias
# borrando hasta la 9 linea

Get-Content "StevenBlackhosts-original.txt" | Select-Object -Skip 30 | Foreach-Object {$_ -Replace('^0.0.0.0 ', '')} | Where-Object {$_ -notmatch '#'} | ? {$_.trim() -ne "" } | Set-Content "StevenBlackhosts-urls.txt"

----------------------------------------------------------------
Elimando la carga extra de urls en Steven Black Hosts
----------------------------------------------------------------

Get-Content "StevenBlackhosts-urls.txt" | Foreach-Object {$_ -Replace('^.+:\d*:','')} |
Where-Object {$_ -notmatch '\.[adf-lp-sv-z]\w*$'} |
Where-Object {$_ -notmatch '\.b[a-qs-z]$'} |
Where-Object {$_ -notmatch '\.b[a-z][a-z]\w*$'} |
Where-Object {$_ -notmatch '\.c[a-np-z]$'} |
Where-Object {$_ -notmatch '\.c[a-np-z][a-ln-z]$'} |
Where-Object {$_ -notmatch '\.co[a-ln-z]$'} |
Where-Object {$_ -notmatch '\.c[a-np-z]m$'} |
Where-Object {$_ -notmatch '\.c[a-z][a-z][a-z]\w*$'} |
Where-Object {$_ -notmatch '\.e[a-rt-z]$'} |
Where-Object {$_ -notmatch '\.e[a-z][a-z]\w*$'} |
Where-Object {$_ -notmatch '\.m[a-wy-z]$'} |
Where-Object {$_ -notmatch '\.m[a-z][a-z]\w*$'} |
Where-Object {$_ -notmatch '\.n.$'} |
Where-Object {$_ -notmatch '\.n[a-df-z][a-su-z]$'} |
Where-Object {$_ -notmatch '\.ne[a-su-z]$'} |
Where-Object {$_ -notmatch '\.n[a-df-z]t$'} |
Where-Object {$_ -notmatch '\.n[a-z][a-z][a-z]\w*$'} |
Where-Object {$_ -notmatch '\.o.$'} |
Where-Object {$_ -notmatch '\.o[a-qs-z][a-fh-z]$'} |
Where-Object {$_ -notmatch '\.or[a-fh-z]$'} |
Where-Object {$_ -notmatch '\.o[a-qs-z]g$'} |
Where-Object {$_ -notmatch '\.o[a-z][a-z][a-z]\w*$'} |
Where-Object {$_ -notmatch '\.u[a-jl-z]$'} |
Where-Object {$_ -notmatch '\.u[a-z][a-z]\w*$'} |
Where-Object {$_ -notmatch '\.t[a-uw-z]$'} |
Where-Object {$_ -notmatch '\.t[a-z][a-z]\w*$'} |
Where-Object {$_ -notmatch '^.\.\w*$'} |
Where-Object {$_ -notmatch '^cfvod\.kaltura\.com$'} |
Where-Object {$_ -notmatch '^cdnapi\.kaltura\.com$'} |
Where-Object {$_ -notmatch '^jwpltx\.com$'} |
Sort-Object -Unique | Set-Content "StevenBlackhosts-urls-clean.txt"

----------------------------------------------------------------
Notese
-- Al final elimino algunos sitios del Hosts-File; sitios para mi frecuentes pero revisados en VirusTotal .. XD
-- Claro Dominios abiertos: br/, co/, com/, es/, mx/, net/, org/, tv/, uk/ ... son mis frecuentes usted añada los suyos . . . por lo que tendra que modificar . . XD .. pero el ejemplo esta expuesto .. XD
-- Claro si usa WildCards en Privoxy al elimar las urls ya afectadas el peso final del archivo sera una pluma comparado al original . . .Feliz Caceria . . ;D

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
Mas informacion de por que no arriesgarse . . XD
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
 Referencias:
#   - https://www.symantec.com/blogs/feature-stories/top-20-shady-top-level-domains
#   - https://promos.mcafee.com/en-US/PDF/MTMW_Report.pdf
#   - https://www.spamhaus.org/statistics/tlds/
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 






sábado, 28 de julio de 2018

PRIVOXY - DENSIDAD DE PALABRAS

PRIVOXY - DENSIDAD DE PALABRAS

Anteriormente ya he hablado de esto en el uso de determinacion de Wild Cards en Privoxy . . .
ahora es solo para mensionar estos metodos que he utilizado . . .


----------------------------------------------------------------
Determinando densidad de palabras . . . con powershell . . . muy lento . . .
----------------------------------------------------------------

$contents = ( Get-Content "StevenBlackhosts-original.txt" | Select-Object -Skip 30 | Foreach-Object {$_ -Replace('^0.0.0.0 ', '')} | Where-Object {$_ -notmatch '#'} | ? {$_.trim() -ne "" } | foreach { $_ + '/' } )
$words = $contents.split(" .,?()") | Where-Object {$_} # this removes any empties/spaces
($words | Group-Object | Sort-Object -Property Count -Descending | Format-Table name,count -auto ) | select -First 1000 | Out-File "StevenBlackhosts-dp1.txt"



----------------------------------------------------------------
Determinando densidad de palabras . . . con https://www.online-utility.org/text/analyzer.jsp . . . mas rapido . . . 
----------------------------------------------------------------
- Antes una pequeña adaptacion . . . 

Get-Content "StevenBlackhosts-original.txt" | Select-Object -Skip 30 | Foreach-Object {$_ -Replace('^0.0.0.0 ', '')} | Where-Object {$_ -notmatch '#'} | ? {$_.trim() -ne "" } | foreach { $_ + '/' } | Set-Content "SBH-dp0.txt"

copiar y pegar a   https://www.online-utility.org/text/analyzer.jsp

localizar ..::  Unfiltered word count:
copiar y pegar en notepaq++ .. .. Dejar hasta "Order" 

----------------------------------------------------------------
Powershell  --  VS  --  https://www.online-utility.org/text/analyzer.jsp
----------------------------------------------------------------
En la imagen inferior una pequeña confrontacion entre ambos metodos . . . resultados siimilares ... muy recomendables . . . FELIZ  CAZERIA ... XD

XD

viernes, 27 de julio de 2018

Wild Cards-Privoxy - -> Regex Powershell

Wild Cards-Privoxy  - ->  Regex Powershell


El proposito es eliminar las urls (en este caso  https://github.com/StevenBlack/hosts ) que abarcan sus Wild Cards . . . para ello usando Regex Powershell W10 . . . obteniendo una conversion como la presentada en la imagen.


 Descargando Hosts block list de Steven Black .. ir al sitio ... https://github.com/StevenBlack/hosts
copiar y nombrar ... ... ... StevenBlackhosts-original.txt
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- - Descarga con powershell . .
iwr "https://raw.githubusercontent.com/StevenBlack/hosts/master/alternates/fakenews-gambling/hosts" -OutFile "StevenBlackhosts-original.txt"

----------------------------------------------------------------
 Dejando las puras urls Steven Black 
----------------------------------------------------------------
# reemplazando 0.0.0.0  por nada
# eliminando lineas con # y vacias
# borrando hasta la 9 linea

Entre lineas punteadas (Obviamente funciona con copiar y pegar a Powershell + Enter .. :D )
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
Get-Content "StevenBlackhosts-original.txt" | Select-Object -Skip 30 | Foreach-Object {$_ -Replace('^0.0.0.0 ', '')} | Where-Object {$_ -notmatch '#'} | ? {$_.trim() -ne "" } | Set-Content "StevenBlackhosts-urls.txt"
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
Notese me salte 30 lineas , quite 0.0.0.0, # y vacios. El resultado a "StevenBlackhosts-urls.txt"
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
(Get-Content "WildCardsHF.action") | Where-Object {$_ -notmatch '#'} | Where-Object {$_ -notmatch '\{\+block\{WildCardsHF\}\}'} | ? {$_.trim() -ne "" } |
 Foreach-Object {
    $_ -replace '\s+', '' `
       -replace '^', '.' `
       -replace '$', '.' `
       -replace '\.\.', '.' `
       -replace '\.', '\.' `
       -replace '\-', '\-' `
       -replace '^..', '(^|\.)' `
       -replace '..$', '($|\/|\.)' `
       -replace '\*', '\w*' `
       -replace '\?', '\w' `
       -replace '\[0..9\]', '[0-9]' `
       -replace '\[a..z\]', '[a-z]' `
       -replace '\\w\*\(.......\)$', '\w*' `
       -replace '^\(....\)\\w\*', '\w*' `
       -replace '^\\w\*\[', '[' `
       -replace '\]\\w\*$', ']' `
       -replace '^\\w\*', '' `
       -replace '\\w\*$', '' `
         } | ? {$_.trim() -ne "" } | Set-Content "WildCardsHF-Conv.txt"

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
Notese  mi texto es "WildCardsHF.action" .. elimino lineas con # (comentarios), {+block{WildCardsHF}} y vacios . . . posterior empiezan los reemplazos y el resultado es vaciodo en  "WildCardsHF-Conv.txt"

Para no olvidar al ir añadiendo mas wildCards sigo las siguientes reglas . . .
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
# WildCardsHF Host file
# -------------------------------------------------------------------------------------
# -- No poner comentario despues de la wildcard ... osea ..:: .wildcard. # comentario
# -- solo usar [0-9] y [a-z] .. y no como [a-bd-z] .. por problemas con guiones
# -- se pueden usar .. del tipo seleccion probar con una ú otra letra como: .. [as89]
# debido a que luego hay que covertir a Regex para usar con powershell
# Las  WildCardsHF  se van sacando de la densidad de palabras ..
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

Obtener la lista de urls que no fueron afectados ... para añadirlos a su action file . . :D

Eliminando lineas con..:: "contenido de BorrarLineas.txt" (ahi puede poner urls que estan presentas en StevenBlack pero que visita usted XD; una url por linea ),  reemplazos ..:: # quitar ruta de archivo y eliminar lineas duplicadas y ordena ascendente
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
Get-Content "StevenBlackhosts-urls.txt" | Select-String -notmatch (Get-Content "WildCardsHF-Conv.txt") | Select-String -notmatch (Get-Content "BorrarLineas.txt") | Foreach-Object {$_ -Replace('^.+:\d*:','')} | Sort-Object -Unique | Set-Content "SBH-NoAfectadosXWC.txt"
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 
 Agregar contenido (en mi caso llamo "BlocksHosts.action" a la lista ) . . . @("Line 1 text", "Line 2 text", "etc..") . . . y uniendo listas
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 
@("#","# Este archivo contiene el resto de urls que ","# no se afectaron con WildCardsHF.action ","# Project home page: https://github.com/StevenBlack/hosts", "{+block{blocksHosts} +handle-as-empty-document}", "## ## ## ## ## ## ## ## ## ## ## ##") + (Get-Content "SBH-NoAfectadosXWC.txt") | Set-Content "BlocksHosts.action"
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 
Divertido . . no . . . . lo puede condensar para un solo enter . . XD pero aun lo sigo modificando  XD