add MJ12bot user agent

add toutiao lang string

gen_router.go

@@ -609,8 +609,9 @@ var agentMapEnum = map[string]int{
 	"suspicious": 35,
 	"semrush": 36,
 	"dotbot": 37,
-	"aspiegel": 38,
-	"zgrab": 39,
+	"majestic": 38,
+	"aspiegel": 39,
+	"zgrab": 40,
 }
 var reverseAgentMapEnum = map[int]string{ 
 	0: "unknown",
@@ -651,8 +652,9 @@ var reverseAgentMapEnum = map[int]string{
 	35: "suspicious",
 	36: "semrush",
 	37: "dotbot",
-	38: "aspiegel",
-	39: "zgrab",
+	38: "majestic",
+	39: "aspiegel",
+	40: "zgrab",
 }
 var markToAgent = map[string]string{ 
 	"OPR": "opera",
@@ -690,6 +692,7 @@ var markToAgent = map[string]string{
 	"ia_archiver": "alexa",
 	"SemrushBot": "semrush",
 	"DotBot": "dotbot",
+	"MJ12bot": "majestic",
 	"AspiegelBot": "aspiegel",
 	"zgrab": "zgrab",
 }

langs/english.json

@@ -203,6 +203,7 @@
 		"slurp":"Yahoo! Slurp",
 		"exabot":"Exabot",
 		"sogou":"Sogou",
+		"toutiao":"Toutiao",
 		"baidu":"Baidu",
 		"duckduckgo":"DuckDuckBot",
 		"seznambot":"SeznamBot",
@@ -220,6 +221,7 @@
 		
 		"semrush":"SemrushBot",
 		"dotbot":"DotBot",
+		"majestic":"MJ12bot",
 		"aspiegel":"AspiegelBot",
 		"zgrab":"Zgrab App Scanner",
 		"suspicious":"Suspicious",

router_gen/main.go

@@ -268,6 +268,7 @@ func main() {
 		"suspicious",
 		"semrush",
 		"dotbot",
+		"majestic",
 		"aspiegel",
 		"zgrab",
 	}
@@ -315,6 +316,7 @@ func main() {
 
 		"SemrushBot",
 		"DotBot",
+		"MJ12bot",
 		"AspiegelBot",
 		"zgrab",
 	}
@@ -357,6 +359,7 @@ func main() {
 
 		"SemrushBot":  "semrush",
 		"DotBot":      "dotbot",
+		"MJ12bot":"majestic",
 		"AspiegelBot": "aspiegel",
 		"zgrab":       "zgrab",
 	}